このブログは、自社のCMS「writeWired」のサイトを、AIと一緒に作り直してきた記録です。この記事の作業は、2026年8月20日から23日にかけて、ChatGPTとClaudeの二つのAIと進めました。記事の公開は8月23日で、最後の節にはその翌日以降のことも書いています。

やりたかったこと:AIが自分のサイトを読んだとき、裏付けまで辿り着けるかを知りたい

AI検索に「根拠は?」と聞き続けたら、表面しか見ていなかった

GoogleのAI検索に、製品のおすすめを聞いたことがあります。自信満々に答えが返ってきました。「根拠は?」と聞くと、「公開ページに書いてありました」。さらに「その根拠は?」と聞くと、だんだん怪しくなります。表面のページを読んだだけで、その先の裏付けまでは見ていませんでした。

逆の立場なら、うちのサイトはどうなのか

その直前、私は別の実験をしていました。製品名を教えないAIに、Web検索で製品を探させる実験です。そこでのAIは、営業ページの「できます」をそのまま信じず、画面や制約を書いたページまで降りて確かめていました。(この実験は別の記事に書いています。)

AIは、裏付けがあれば確かめに行く。では、うちのサイトで裏付けが切れている場所はどこなのか。書いてあることの裏付けまで、AIはちゃんと辿り着けるのか。それを確かめる道具を作ることにしました。

こうやってみた:1ページのURLから、AIに根拠を辿らせるプロンプトを作った

AIが自分で「確かめたいこと」を立て、辿れた度合いをAからEで記録する

作ったのは、こういうプロンプトです。

調べたいページのURLを1つ渡します。AIはそのページを読み、「この主張を導入判断の材料にするなら、何を裏取りしたくなるか」という確認事項を自分で作ります。そして、同じサイトの中を辿って、裏付けになる記述へどこまで到達できたかを、AからEで記録します。

判定 意味
A 1つのページで、推測せずに答えられた
B 複数のページを組み合わせれば答えられた
C 関連する説明はあるが、一部推測が必要だった
D 関連する説明はあるが、結論を確定できなかった
E 今回の条件では、裏付けを見つけられなかった

辿る量には上限を付けました。サイト内リンクを辿るのは最大3回、Web検索も最大3回です。人がサイトで関連情報を探すときの行動量をそのくらいと仮定した、初期値です。

Eは「裏付けがない」という意味ではない

このプロンプトで一番気を付けたのは、結果の読み方です。

Eは「裏付けが存在しない」という意味ではありません。「この条件では見つけられなかった」というだけです。上限を付けた探索なので、見つからなかったことの証明はできません。逆に、見つかったことも、内容が正しいことの保証にはなりません。この道具が記録するのは、「AIがどこまで辿り着けたか」だけです。

あわせて、AIには改善案を考えさせないことにしました。最初から「足りないもの」を探させると、AIは足りないものを見つけにいきます。自分で確認事項を立て、答えようとした結果として、根拠が弱かった場所を記録させる。そういう指示にしています。

導入プランのページで試したら、照らし合わせる先がない表が見つかった

この検証は、自分のサイトのいくつかのページに向けました。その一つが導入プランのページです。導入プランのページには、提供の形態、価格の考え方、動作環境の表などが載っています。AIが立てた確認事項は5つで、そのうち2つは動作環境の表についてだったので、ここでは1行にまとめています。

確認したこと 判定
クラウド版とインストール版の書き分け A
「お問合せください」の行は、機能が個別なのか価格が個別なのか C
動作環境の表は、現行の条件として読めるか D
「運用途中からのプラン変更も可能」の手順 E

Dになった動作環境の表を追いかけて、分かったことがあります。この表は、サイトの中で照らし合わせられる場所がひとつもありませんでした。 よくある質問のページにも、機能リファレンス(writeWiredの管理画面の機能を、1画面1ページで事実だけ書いたページ群)にも、動作環境の情報がありません。書いてあるのはこの表だけで、新しいのか古いのかを判断する材料が、サイトのどこにもない。AIの判定は「古い可能性がある」ではなく、「新旧を判定できない」でした。

私は、自分では気づいていませんでした。書いた本人は中身を知っているので、「照らし合わせる先がない」ことに気づけないのです。

何ページも続けたら、私が結果の運び役になっていた

次のページを選び、結果を運び、一覧表に足す

1ページだけでは、サイトのどこが弱いかは分かりません。そこで、この検証を何ページも続けることにしました。導入プランのページも、その中の一つです。プロンプトも役割ごとに分けました。次に調べるページの候補を出すもの、1ページの根拠を確かめるもの、結果を重複をまとめた一覧表にするもの、などです。一式に「AI Audit」、略して AA と名前を付け、1ページの根拠を確かめるプロンプトは AA03 と呼んでいます。

8月21日は、これを手で回しました。AIが次に調べるページの候補を出し、私が選び、AIが検証し、その結果を次の工程へ渡し、一覧表に足す。この日だけで、選んで検証してまとめる、を何周もしました。

やっていたのは、判断ではなく受け渡しだった

一日が終わって振り返ると、何をしていたのか見失っていました。この日の振り返りで、この状態は次の一文にまとまりました。

Human-in-the-loop を作ったつもりが、Human-as-the-loop になっていた

人が判断する場所を残したつもりが、人そのものが工程の輪になっていた、という意味です。最初のうちの介入は必要でした。何を根拠と呼ぶか、いつ止めるか、一覧表に何の欄を持たせるか。装置を決めるための判断です。ところが装置が固まった後も、私は同じ頻度で手を出し続けていました。候補から次のページを選ぶ、結果のファイルを次の工程へ渡す、一覧表に足す。そのかなりの部分は、判断ではなく受け渡しでした。

人が立つのは、意味が変わるところだけにした

人の仕事を書き出し、それ以外はAIに続けて回させる

人が介入するのは、意味が変わるところだけにしました。

  • 何を調べる装置にするか
  • 決まりごとを変えるか
  • AIが出した事実を、人にしか確かめられないとき
  • 止めるか
  • 最後の一覧表を見て、何を直すか

それ以外の、次のページを選んで検証し、一覧表に足す流れは、人が一回ずつ挟まなくていい。そう決めて、8月23日に、全部を一つにつないだ一括版を作りました。最初に対象のサイトを渡すと、AIが次に調べるページを自分で選び、検証して、また選んで、を繰り返します。新しい種類の根拠の切れ方が2回続けて出なかったら、そこでいったん止まる、というルールです。止まると、それまでの結果を、重複をまとめた一覧表にして返してきます。

人がやるのは、最初に対象を渡すことと、最後に表を見ることだけになりました。実際、この日の一括版の実行で、私が操作したのは開始の指示1回だけでした。AIは3ページを検証し、新しい種類の切れ方が2回続けて出なかったところで止まりました。

一覧表は21件になった

AAの形にする前の8月20日に試した2回、手で回した4回、一括版の3回。合わせて9回の検証の結果を、重複をまとめて一覧表にすると、21件になりました。1件は、根拠の切れ方が同じものを1行にまとめた単位です。たとえば、こんなものが出てきています。

  • 古いカタログへのリンクが、現行ページに残っていた
  • よくある質問の本文は正しいのに、ページのtitleとmeta descriptionだけ別の質問になっていた
  • 「パスワードも移行できる」という説明の裏付けが、リンク先ではなく隣のページにあった
  • 静的/動的の説明は機能ページにはあったが、事例側からそこへつながっていなかった
  • 「全機能」と書いてある一覧に総数がなく、別のカタログにだけ「127本」と書いてあった
  • よくある質問や機能リファレンスまで辿れるものと、途中で説明が切れるものが混在していた

正直な感想は、うへぇ、でした。1か月半かけて作り込んだサイトから、まだこれだけ出てくるのか、と。

21件は、欠陥ではなく判断待ちだった

少し置いて表を眺めると、感想と対応は別の話でした。リンクの貼り替えで済むもの。事実をひとこと書き足せば閉じるもの。「そもそも数字を載せるのか」という方針から決めないといけないもの。そして、放っておいていいと判断できるもの。21件は「21個の欠陥」ではなく、「21個の判断待ち」でした。

AIは「見つけられなかった」までは言えますが、「直すべきか」は決められません。決めるための材料を、判断できる大きさまで小さくして持ってくる。それがこの道具の仕事で、眺めて決めるのが人の仕事です。

どういうときに使うか:大きく動かした直後と、初めて見るサイト

使ってみての、いまの相性です。

使いどころ 相性
サイトリニューアル前の現状診断 ◎
大量ページをAI/CSVで投入した後の点検 ◎
CMS移行・サイト統合後の確認 ◎
顧客サイトを初めて見るときの事前調査 ◎
提案前に「どこが弱いか」を把握する ◎
定期的な健康診断 ○
毎日の運用チェック △
全指摘をゼロにする品質管理 ×

◎を付けたのは、どれも「サイトを大きく動かした直後」か「初めて見るサイト」です。作った本人や、動かした直後の本人は、照らし合わせる先が消えたことに気づけません。動作環境の表で、それを自分で確かめることになりました。

毎日の運用チェックには向きません。同じ条件で実行しても、AIの検索語やページの選び方は毎回すこし変わるので、昨日と今日の差分を見る道具にはならないからです。全部の指摘をゼロにする品質管理にも使えません。この道具は網羅ではなく、上限のある探索で見つけたものを、判断できる大きさまで小さくするだけです。ゼロを目指すと、終わりがなくなります。

その後:21件を裁き、直したあとにもう一度回した

記事を公開した翌日の8月24日、私は21件を一つずつ判断しました。

動作環境の表は、いつの時点で動作を確認した条件なのかを書く形に差し替えました。titleとmeta descriptionの食い違いは、よくある質問14問をまとめて取り込んだときに、メタ情報の欄が別の質問の値のまま入っていたのが原因でした。データを直して取り込み直しています。「全機能」の総数は、書き足さないと決めました。手で数字を併記すると、機能が増えるたびに直す手間が生まれるからです。検索エンジン側にまだ古い情報が残っているものは、時間に任せて様子を見ることにしました。

同じ日の午後、直したサイトに、もう一度一括版を回しました。この回は新しく3ページ(トップ、用途別の案内ページの一覧、導入事例の一覧)を検証し、上限の3ページに達したところで止まりました。その中で、午前中に直した場所から、新しい種類の切れ方が出てきました。数字の言い方を直した一文が、「各事例の」と全部の事例に当てはまる書き方になっていて、実際にはその表がない事例があったのです。直した本人は、直したことで生まれた穴に気づいていませんでした。この回で、一覧表には新しく11件が加わり、32件になりました。

最初の21件は、8月24日のうちに全件の判断を終えました。新しく加わった11件は、翌日の8月25日までに判断を終えました。

まずは1ページだけ試せる単発版(AA03)

使うのは AA03_根拠検証.md。URLを1つ渡すだけです。

一括版をいきなり動かさなくても、最初の根拠検証だけを1ページで試せます。

  1. プロンプト全文のページを開いて、プロンプトをコピーします
  2. AIのチャットに貼り付けます
  3. 続けて、調べたい自分のサイトのURLを指定して実行を頼みます

たとえば、私が導入プランのページを調べたときは、こんな指定だけでした。

このプロンプトを実行してください。
起点URL:
https://writewired.jp/plan/index.html

するとAIがそのページを読み、確認したいことを自分で作り、サイト内リンクとWeb検索をそれぞれ最大3回使って根拠を辿ります。最後に、

  • 何を確認しようとしたか
  • どのページを見たか
  • 実際に使った検索語
  • A〜Eの判定
  • 根拠として使ったURL
  • 今回の条件では確認できなかったこと
  • 人に確認が必要なこと

までが、1つの調査記録として返ってきます。

(一式のZIPをダウンロードした方は、AA03_根拠検証.md をチャットに添付しても同じです。)

まずはこの単発版を1ページに向けてみるのがおすすめです。そこで「もう少しサイトの中を見てみたい」と思ったら、一括実行版を使います。

プロンプトと一式の置き場

まず1ページで試したい方は、AA03単発版——プロンプト全文をこちらのページに置いています。

サイトの中を自動で回したい方は、一括実行版を。考え方の解説(AA00)と使い方ガイドを含む一式をZIPでどうぞ。

AA(AI Audit)一式をダウンロード

ご自身のサイトに向けて使う道具です。よそのサイトを調べて「裏付けがなかった」と言うためのものではありません——Eは存在しないという意味ではない、という注意ごと使ってください。

配布版では、実行時間や利用環境を考えて新規検証を最大3回にしています。3回で十分という意味ではなく、一度試しやすくするための上限です。

今回の作業で分かったこと

AIに確かめさせるときは、「見つからなかった」と「存在しない」を分けて記録させる

上限のある探索では、見つからなかったことは、ないことの証明になりません。この区別は、最初にプロンプトに書きました。21件を読むときも、「書いていない」のか「辿り着けなかった」のかは、分けて考える必要がありました。AIに確認させる結果は、正しさの判定ではなく、どこまで辿り着けたかの記録として受け取るほうが扱いやすくなります。

書いた本人が気づけない穴は、照らし合わせる先がない場所にある

動作環境の表も、午前中に直した「各事例の」という一文も、書いた本人は中身を知っているので、裏付けがないことに気づけませんでした。AIは中身を知らないので、照らし合わせる先を探しに行き、見つからなかったと記録します。自分で書いた文章を確かめるときほど、知らない読み手に辿らせる価値があります。

人を残すことと、人を毎回挟むことは違う

手で回していた日、私は判断する場所に立っているつもりで、実際には結果を運んでいました。人が立つ場所を、意味が変わるところだけに決め直したら、操作は開始の1回になり、残ったのは21件をどうするかという判断だけでした。AIの作業に人の確認を入れるときは、何を判断するために入るのかを先に書き出しておくと、受け渡しだけの介入を減らせます。

直したあとに、同じ道具でもう一度確かめる

21件を判断し、その一部を直した同じ日に、直した場所から新しい穴が見つかりました。直す作業も、新しい文章を書く作業です。直したら終わりにせず、同じ条件でもう一度AIに辿らせると、直したことで生まれた穴まで拾えます。