AIの「根拠は？」を詰めてみた
きっかけは、GoogleのAI検索です。製品のおすすめを聞いたら、自信満々に答えが返ってきました。「根拠は？」と聞くと、「公開ページに書いてありました」。「その根拠は？」と続けると、だんだん怪しくなる。表面のページを読んだだけで、その先の裏付けまでは見ていませんでした。
そこで思いました。逆の立場ならどうなのか。AIがうちのサイトを読んだとき、書いてあることの裏付けまで、ちゃんと辿り着けるのか。
1ページから、根拠を辿らせる
作ったのは、こういうプロンプトです。
調べたいページのURLを1つ渡します。AIはそのページを読んで、「この主張を導入判断の材料にするなら、何を裏取りしたくなるか」という確認事項を自分で作ります。そして、サイトの中を辿って、裏付けになる記述へどこまで到達できたかを、AからEで記録します。
| 判定 | 意味 |
|---|---|
| A | 1つのページで、推測せずに答えられた |
| B | 複数のページを組み合わせれば答えられた |
| C | 関連する説明はあるが、一部推測が必要だった |
| D | 関連する説明はあるが、結論を確定できなかった |
| E | 今回の条件では、裏付けを見つけられなかった |
辿る量には上限を付けました。サイト内リンクを辿るのは最大3回、Web検索も最大3回。人がサイトで関連情報を探すとき、だいたいそのくらいだろう、という初期値です。
大事な注意がひとつ。Eは「裏付けが存在しない」という意味ではありません。「この条件では見つけられなかった」というだけです。上限を付けた探索なので、見つからなかったことの証明はできません。逆に、見つかったことも、内容が正しいことの保証にはなりません。この道具が記録するのは、「AIがどこまで辿り着けたか」だけです。
実際にやってみた
自分のサイトの導入プランのページでやってみました。結果はこうです。
| 確認したこと | 判定 |
|---|---|
| クラウド版とインストール版の書き分け | A |
| 「お問合せください」の行は、機能が個別なのか価格が個別なのか | C |
| 動作環境の表は、現行の条件として読めるか | D |
| 「運用途中からのプラン変更も可能」の手順 | E |
Dになった動作環境の表を追いかけて、わかったことがあります。この表、サイトの中で照合できる場所がひとつもありませんでした。FAQにも、機能リファレンスにも、環境の情報がない。書いてあるのはこの表だけで、新しいのか古いのかを判断する材料が、サイトのどこにもない。
自分では気づきませんでした。書いた本人は中身を知っているので、「照らし合わせる先がない」ことに気づけないのです。
面倒になったので、全部つないだ
このプロンプト、1ページずつ実行して、次にどのページを調べるか選んで、結果をためて、というのを人が手で回します。数ページやったところで、面倒になりました。私がやっていたのは判断ではなく、結果の受け渡しでした。
なので、全部つないだ一括版を作りました。この仕組みは AI Audit、略して AA と呼んでいます。最初に対象のサイトを渡すと、AIが次に調べるページを自分で選び、検証して、また選んで、を繰り返します。新しい「切れ目の型」が2回続けて出なかったら、そこでいったん止まるというルールです。終わると、見つかったことを重複をまとめた一覧表にして返してきます。
人がやるのは、最初に対象を渡すことと、最後に表を見ることだけです。
返ってきたのは、21個の宿題でした
うちのサイトで回した結果、一覧表は21件になりました。たとえば、こんなものが出てきています。
- 古いカタログへのリンクが、現行ページに残っていた
- FAQの本文は正しいのに、titleとmeta descriptionだけ別の質問になっていた
- 「パスワードも移行できる」という説明の裏付けが、リンク先ではなく隣のページにあった
- 静的／動的の説明は機能ページにはあったが、事例側からそこへつながっていなかった
- 「全機能」と書いてある一覧に総数がなく、別のカタログにだけ「127本」と書いてあった
- FAQや機能リファレンスまで辿れるものと、途中で説明が切れるものが混在していた
正直な感想は、うへぇ、でした。1カ月半かけて作り込んだサイトから、まだこれだけ出てくるのか、と。
ただ、少し置いて表を眺めると、感想と対応は別の話でした。リンクの貼り替えで済むもの。事実をひとこと書き足せば閉じるもの。「そもそも数字を載せるのか」という方針から決めないといけないもの。そして、放っておいていいと判断したもの。21件は「21個の欠陥」ではなく、「21個の判断待ち」でした。
AIは「見つけられなかった」までは言えますが、「直すべきか」は決められません。決めるための材料を、判断できる形まで小さくして持ってくる。それがこの道具の仕事で、眺めて決めるのが人の仕事です。
どういうときに使うか
使ってみての、いまの相性です。
| 使いどころ | 相性 |
|---|---|
| サイトリニューアル前の現状診断 | ◎ |
| 大量ページをAI/CSVで投入した後の点検 | ◎ |
| CMS移行・サイト統合後の確認 | ◎ |
| 顧客サイトを初めて見るときの事前調査 | ◎ |
| 提案前に「どこが弱いか」を把握する | ◎ |
| 定期的な健康診断 | ○ |
| 毎日の運用チェック | △ |
| 全指摘をゼロにする品質管理 | × |
◎を付けたのは、どれも「サイトを大きく動かした直後」か「初めて見るサイト」です。作った本人、動かした直後の本人は、照らし合わせる先が消えたことに気づけない。今回、それを自分で証明したので。
毎日の運用チェックには向きません。同じ条件で実行しても、AIの検索語やページの選び方は毎回すこし変わるので、昨日と今日の差分を見る道具にはならないからです。そして、全部の指摘をゼロにする品質管理には使えません。この道具は網羅ではなく、上限のある探索で見つけたものを、判断できる大きさまで小さくするだけです。ゼロを目指すと、終わりがなくなります。
本文を書く作業は、もうほとんどAIに渡しました。そのかわり、判断する仕事は増えました。この連載でずっと書いてきたことの、確認みたいな結果です。この道具でやってみたいことは、まだいくつか残っています。
まずは1ページだけ試せます
使うのは AA03_根拠検証.md。URLを1つ渡すだけです。
一括版をいきなり動かさなくても、最初の根拠検証だけを1ページで試せます。
使い方は簡単です。
- プロンプト全文のページを開いて、プロンプトをコピーします
- AIのチャットに貼り付けます
- 続けて、調べたい自分のサイトのURLを指定して実行を頼みます
たとえば、私が導入プランのページを調べたときは、こんな指定だけでした。
このプロンプトを実行してください。
起点URL：
https://writewired.jp/plan/index.html
するとAIがそのページを読み、確認したいことを自分で作り、サイト内リンクとWeb検索をそれぞれ最大3回使って根拠を辿ります。最後に、
- 何を確認しようとしたか
- どのページを見たか
- 実際に使った検索語
- A〜Eの判定
- 根拠として使ったURL
- 今回の条件では確認できなかったこと
- 人に確認が必要なこと
までが、1つの調査記録として返ってきます。
（一式のZIPをダウンロードした方は、AA03_根拠検証.md をチャットに添付しても同じです。）
まずはこの単発版を1ページに向けてみるのがおすすめです。そこで「もう少しサイトの中を見てみたい」と思ったら、一括版を使います。
プロンプト
まず1ページで試したい方は、AA03単発版——プロンプト全文をこちらのページに置いています。
サイトの中を自動で回したい方は、一括実行版を。考え方の解説（AA00）と使い方ガイドを含む一式をZIPでどうぞ。
ご自身のサイトに向けて使う道具です。よそのサイトを調べて「裏付けがなかった」と言うためのものではありません——Eは存在しないという意味ではない、という注意ごと使ってください。
配布版では、実行時間や利用環境を考えて新規検証を最大3回にしています。3回で十分という意味ではなく、一度試しやすくするための上限です。
