このブログは、自社のCMS「writeWired」のサイトを、AIと一緒に作り直してきた記録です。この記事の実験は、2026年8月19日から20日にかけて行いました。実験に使ったAIはClaudeで、プロンプトはChatGPTと一緒に作りました。
やりたかったこと:作り直したサイトに、AIが辿り着けるかを確かめたい
1か月半で、サイトの中身をほぼ全部作り直した
この夏の1か月半、writeWiredのサイトを大きく作り直してきました。新しく作ったのは、主に次の三つです。
- 機能リファレンス127本……管理画面の機能を、1画面1ページで説明したページ。画面のキャプチャ、取得できる項目、制約まで書いてある
- QA集61問……導入を検討している人の疑問に、1問1ページで答えたページ。回答には「この回答の根拠」として機能リファレンスへのリンクを張ってある
- 用途別のLP19本……使い道ごとの入口になる案内ページ
トップ・writeWiredとは・導入事例・導入プラン・読み物のシリーズを除けば、サイトの中身はほぼ全部が新しくなっています。作り直しをひととおり終えたところで、私は、コンテンツの追加をいったん止めて様子を見ると決めました。
困りごとを持った人は、ここに辿り着けるのか
止める前に、気になっていたことがありました。こういう困りごとを持っている人は、うちのコンテンツに辿り着けるのか。この作り直しは、想定どおりに働くのか。
人の訪問は、これから数字を見ていくしかありません。ただ、AIならすぐ試せます。製品名を一切教えていないAIに、Web検索でうちの製品を探させてみる。辿り着くのか。辿り着くなら、新しく作ったページを通るのか。
こうやってみた:製品名を伏せたプロンプトを、2人に5回ずつ実行してもらった
AIに、製品を知らない担当者の役をさせる
AIには、「製薬会社で医療従事者向け会員サイトの構築を検討しているWeb担当者」という役を与えました。製品名・会社名は一切教えず、Web検索で製品探しをさせます。
指示したことは、主に三つです。
- 検索語は一字一句そのまま記録する。うまくいかなかった検索も省かない
- 「営業ページに書いてあるからできる」とすぐに判断せず、必要なら「本当に標準機能なのか」「具体的にどんなデータや画面なのか」と疑う
- 最後に、探索の経過をブログ記事の形で出力する
これを1本のプロンプトにまとめました。実物はこちらに置いています。
条件を揃えるため、実行のルールも決めました。プロンプトは全文そのまま、新規チャットでメモリはオフ、投入したら終わるまで口を挟まない、うまくいかなくてもやり直さない。
実行する人を変え、事前知識の量を変えた
このプロンプトを、社内の2人に渡して、それぞれのClaudeで5回ずつ実行してもらいました。
- 正林くん……あまりwriteWiredの話をClaudeにしないエンジニア。writeWiredについての事前知識は「ほぼ無い」側と見ています
- 綿田くん……普段からClaudeにwriteWiredの話をしながら開発している。事前知識が「多少あり得る」側と見ています
同じClaudeでも、使っている人と環境が違います。AIの内部は確認できないので断定はしませんが、事前知識の量に差がある二つの条件、として扱いました。
それとは別に、比べるための1回を用意しました。私が普段一緒に作業しているClaudeは、機能リファレンス127本のURLから過去の検索順位まで、writeWiredの制作記録を全部持っています。このClaudeに、同じプロンプトを「知らないふりはしない」条件で実行させました。以下では、この1回を「対照」と呼びます。
合わせて11回です。
結果:製品名なしの10回とも辿り着き、最後に見たページもほぼ同じだった
| 実行者 | 事前知識 | 回 | 検索回数 | 探索の終着点(判断の根拠にした主なページ) |
|---|---|---|---|---|
| 正林くん | ほぼ無い | 1回目 | 11 | 会員のアクセスログ(機能リファレンス) |
| 正林くん | ほぼ無い | 2回目 | 13 | 会員のアクセスログ、行動履歴のFAQ |
| 正林くん | ほぼ無い | 3回目 | 14 | 「どんなログが取れますか?」(QA集)、開封ログ |
| 正林くん | ほぼ無い | 4回目 | 14 | QA集2問、アクセスログ・開封ログ・出力設定 |
| 正林くん | ほぼ無い | 5回目 | 12 | 会員のアクセスログ、会員サイト構築ページ |
| 綿田くん | 多少あり得る | 1回目 | 5 | 会員のアクセスログ、製薬導入事例 |
| 綿田くん | 多少あり得る | 2回目 | 6 | アクセスログ・開封ログ、開封後の行動のFAQ |
| 綿田くん | 多少あり得る | 3回目 | 5 | QA集2問、会員のメール開封ログ |
| 綿田くん | 多少あり得る | 4回目 | 5 | QA集、アクセスログ・開封ログ |
| 綿田くん | 多少あり得る | 5回目 | 5 | QA集、機能リファレンス |
| 対照 | 制作記録を持つ | 1回 | 5 | (探索でなく検証として実行。開いたページは1本) |
製品名を教えなくても、10回とも辿り着いた
製品名を与えなかった10回のすべてで、AIはwriteWiredに辿り着きました。 対照の1回は答えを知っているので、辿り着いた数には入れていません。最初の検索語は、対照も含めてどの回もほぼ同じで、「製薬会社 医療従事者向け 会員サイト 構築」のような、要件をそのまま並べた語でした。
道筋は毎回違うのに、最後に行き着くページは同じだった
ここでいう道筋は、どんな検索語で検索し、どのページを開いたか、という探索の経過です。製品名を与えなかった10回の探索では、合計90回の検索が行われました。検索語にはほとんど重複がなく、道筋は毎回別物です。
それなのに、各回が最後に「判断の根拠」として挙げたのは、会員のアクセスログ、メールの開封ログ、「どんなログが取れますか?」といった、同じ数ページでした。
事前知識の差は、検索の回数を変えただけだった
ほぼ知らない側は1回の探索に11〜14回の検索を使い、多少知っているかもしれない側は5〜6回でした。それでも、最後に行き着くページは同じです。知識の量が変えたのは試行錯誤の量で、行き先ではありませんでした。
対照の1回は、答えのページを探す必要がないので、探索ではなく確認として動きました。検索は5回、開いたページは1本です。確かめたのは、検索結果にどのページが出てくるかでした。最初の検索語で出たのは、ほかの回と同じ導入事例のページでした。知っているAIが検索しても、検索結果に出てくるページは変わりませんでした。
AIの入口は、作り直していない導入事例のページだった
検索結果の中にwriteWiredが最初に現れ、AIが最初に開いた場所は、ほぼ毎回導入事例のページでした。製薬会社の会員サイトの事例です。
導入事例は、この1か月半で手を入れていない側のページです。作り直したページが入口になるのか、というのは、この実験で確かめたかったことの一つでした。結果は逆で、以前からある、今回まったく手を入れていないページが入口になりました。
なぜそうなったのかは、最後に書きます。
AIは営業ページの「できます」を保留し、機能リファレンスで確かめた
導入事例や製品ページからサイトに入ったAIが次にやったことが、この実験でいちばん面白かった部分です。
「できます」は、判断保留のまま持ち越された
どの回にも共通して、「営業ページに書いてあるからできる、とは判断しない」という動きが出ました。「統合できます」「一元管理できます」という文を読んだAIは、それを信じるでも捨てるでもなく、判断保留のまま持ち越します。そして「本当に標準機能なのか」「具体的にどんな画面・データなのか」を確かめに行きます。
確かめる先は、ページの中のリンクでした。QA集の回答には「この回答の根拠」として機能リファレンスへのリンクが張ってあります。機能リファレンスには、管理画面のキャプチャと、取得できる項目、それから制約が書いてあります。AIはこのリンクを1本ずつ降りて、画面と項目と制約の記述に着いたところで探索をやめていました。どこで止まったかは回ごとに違います(表の終着点)。たとえばメールの開封を確かめに行った回は、「1人の会員に送ったメールの開封日時が、メールごとに1行で並ぶ画面」の記述まで到達したところで、探索をやめています。
ある回のログには、こう書かれています。「営業ページの『できます』は判断保留のまま持ち越され、機能リファレンスの記述に到達した時点で初めて確認済みに変わりました」。
不利なことが書いてあるほど、信用された
意外だったのは、不利なことが書いてあるほど信用されたことです。
メール配信の機能ページ(機能リファレンスを領域ごとにまとめた紹介ページ)には、「開封は、本文に開封確認の画像を含むメールでのみ記録されます」という注意書きがあります。会員のアクセスログの機能リファレンスには、登録を代行して同じブラウザから複数の会員を登録すると、行動の記録が重なって表示される、という制約を書いてあります。複数の回が、こうした制約の明記を「この情報は信用してよいという判定材料になった」と評価していました。
売り込みなら隠したくなる一文が、AIには一番の信頼材料でした。
細かい事実のページには、検索から直接は届かなかった
もう一つ、はっきり出た結果があります。
「開封日時が1行ずつ並ぶ画面」のような細かい事実のページは、検索結果から直接開かれたことが一度もありません。全部、入口になったページから、サイト内のリンクを辿って到達しています。
本文と同じ言葉で検索しても、出てこなかった
これは偶然ではありませんでした。事前知識がほぼ無い側の正林くんの、ある回の探索では、AIがこんな確かめ方までしています。
リンクを辿って読んだページが、探していた要件にあまりにぴったりでした。そこでAIは考えました。最初からこのページを狙って検索していたら、直接ここに来られたのだろうか? そして、いま読んだ本文とほぼ同じ言葉を検索語にして、検索し直しました。内容と検索語が一致しているのだから、出てもよさそうなものです。結果は、6回試して6回とも、そのページは検索結果に出ませんでした。公開されていて、サイトマップにも載っているページです。
対照の1回は、これを逆の側から確かめました。答えのページのURLも本文も知っているAIが、そのページに書いてある言葉で検索する。それでも出ません。届かないのは、検索語が下手だからではないようです。
分かったことと、この結果からは言えないこと
確認できたこと
- 製品名を教えなくても、要件を並べた検索だけで10回とも到達した(対照の1回は除く)
- 入口はほぼ毎回、以前からある導入事例だった
- AIは営業的な説明を保留し、根拠(画面・項目・制約)を確認して初めて「できる」と扱った
- 細かい事実のページには検索結果から直接入れず、到達はすべてサイト内のリンク経由だった
- 道筋は毎回違ったが、到達する事実は同じ数ページに集まった
言い切ってよさそうなこと
この中で、ひとつだけは言い切ってよさそうです。少なくとも、AIの探索の中で、機能リファレンスとQA集は役に立っていました。
営業の文だけだったら、AIは「できます」を保留したまま帰っていたはずです。降りる先として、画面と項目と制約を書いたページがあったから、「できます」が確認済みの事実に変わりました。この夏、私は「検索されるためのコンテンツ」を作っていたつもりでした。ところがAIの動きの中で効いていたのは、検索される力ではなく、見つけられた後に、AIが確かめ続けられる構造の方でした。
言えないこと
一方で、この結果から「うちのサイトはAIに最適化されている」とは言えません。検索結果の順位が何で決まったのかも、外からは分かりません。これは私の留保というより、探索したAIたち自身がレポートの中で引いた線です。
それに、今回のAIはプロンプトで「疑って確かめろ」と指示され、その指示に沿って動いた結果、こう動いたわけです。人がここまで探すかは分かりません。
なぜ入口が導入事例だったのか:数か月後に、同じ実験をもう一度やる
最後に、入口の話に戻ります。なぜAIの入口は、作り直していない導入事例だったのでしょうか。
思い当たることはあります。今回の作り直しで新しくしたページは、どれも公開からまだ日が浅いページです。一方、入口になった導入事例は以前からあるページで、検索エンジンに登録されてから長い。そして少なくとも今回の探索では、AIの検索は、その時点で検索結果に現れるページの上で動いていました。
だから、仮説が一つあります。古い導入事例が入口になったのは、検索エンジンに登録されてきた期間の差ではないか。 これはまだ発見ではなく、次に確かめる仮説です。
この仮説が正しければ、残る問いはこうなります。新しく作ったページは、時間が経てば、検索の入口にもなるのか。それとも、確かめるために降りてくる先のままなのか。今回分かったのは、降りてきたAIの役に立つ、というところまでです。入口として働くかどうかは、いまは確かめようがありません。
だから、この実験には続きがあります。コンテンツの追加を止めて、数か月おいてから、同じプロンプトでもう一度この実験をやります。入口が変わるのか、変わらないのか。それが答え合わせです。
この連載は、検索順位を追うのをやめた話から始まりました。順位を追うのをやめて、いまは順位の代わりに、AIの探索の一部始終を見ています。
ところで、今回の実験、面白かったでしょう。AIを文章の生成に使うだけでは、もったいないと思うのです。
使ったプロンプトを、そのまま置いておきます。業種と要件の2か所を変えれば、自社のサイトで同じ実験ができます。結果がどんな形で出てくるかは、実際の実行結果1本を読むのが早いです。うまくいかなくても、それが結果です。
今回の実験で分かったこと
AIは「できます」を、確かめられる事実が見つかるまで保留する
今回のAIは、営業の文を読んでも、それだけでは「できる」と扱いませんでした。画面、取得できる項目、制約まで書いたページに着いて、初めて確認済みにしています。AIに読まれる文章を書くなら、「できます」と書いた場所から、それを確かめられる事実のページへ、リンクで降りられるようにしておく。今回の10回では、その道があったところでAIが確かめを終えていました。
不利な制約も書いておくと、説明全体が信用される
開封が記録される条件や、登録を代行したときの記録の重なりは、売り込みなら書かずに済ませたくなる一文です。AIはそこを「信用してよい材料」として挙げました。できないこと、条件があることを事実として書いておくと、できることの説明まで信用されやすくなる。少なくとも今回のAIは、そう判断していました。
細かい事実は、検索ではなくリンクで届けるものと考える
細かい事実のページは、本文と同じ言葉で検索しても出てきませんでした。届いたのは、入口のページからリンクを辿ったときだけです。細かい事実を書いたページを作るなら、検索で直接見つけてもらうことを当てにせず、入口になるページからリンクで辿れるようにしておく必要があります。