このブログは、自社のCMS「writeWired」のサイトを、AIと一緒に作り直してきた記録です。この記事の実験は、2026年8月26日の1日で、ClaudeとChatGPTの二つのAIと進めました。
やりたかったこと:目次だけのカタログが、AIに渡されても役に立つかを知りたい
カタログを、中身を載せない「目次」にしていた
writeWiredには、製品をまとめたPDFのカタログがあります。8月に、これを8ページに作り直しました。
載せたのは、使い道ごとの案内ページ20本の看板、9つの機能領域(CMS、会員管理、メール配信など)の要約、そして機能リファレンス127本の名前です。機能リファレンスは、管理画面の機能を1画面1ページで、事実だけ書いたWebページです。
カタログには機能の中身を写していません。用途と機能領域にはWebページのURLを付け、「詳しくはWebで」としました。機能リファレンスは、名前だけを載せています。
目次にしたのは、機能の中身がすでにWebに127本あるからです。カタログに写せば、同じ情報が二か所にでき、直すたびに両方を直すことになります。情報の元は一か所に持ち、そこを一度だけ直す。その考え方からすると、カタログは目次であるべきだ、と決めました。
決めたときに、考えていなかった場面があった
カタログを受け取った人が、それをそのままAIに渡して聞く場面です。
「この製品で、うちの要件は満たせる?」
いまはそういう使われ方をします。そのとき、中身を載せていない目次のカタログでAIは答えられるのか。それとも、中身まで載せた完全版を用意しておくべきなのか。これを決めたくて、比べてみることにしました。
こうやってみた:完全版を作り、同じ10問を渡し方だけ変えて聞いた
比べるために、44ページの完全版を作った
最初、Claudeと考えた比べ方は「WebとPDFは同じ情報なのだから、AIにどちらを渡しても同じ事実に着くか」というものでした。私はこの前提に引っかかりました。今のカタログはリンクまでで、詳細はWebに置く作りです。情報の量が同じとは言えません。そこで比べる問いを、「目次のカタログはAIの役に立つのか、完全版が要るのか」に置き直しました。
比べるには完全版が要りますが、ありませんでした。Claudeが、機能の一覧とページを管理しているExcel(社内では台帳と呼んでいます)から、機能リファレンス127本の本文を付録として生成しました。目次8ページに付録36ページを足した44ページです。完全版にはリンクの仕掛けを残さず、URLは文字として見えるだけにしました。
質問は、答えられるものと、答えてはいけないものを混ぜた
製薬企業で医療従事者向けの会員サイトを検討している担当者、という立場で確認事項を10問用意しました。以前の実験で、AIが実際に立てた問いから選んでいます。製品名を教えないAIにWeb検索で製品を探させた実験と、自社サイトの説明に根拠があるかをAIに辿らせた確認です。たとえば次のような問いです。
- 会員ごとに、送ったメールの開封とクリックを個人単位で記録できるか
- 会員登録前(ログイン前)の閲覧行動を、登録後にその会員の記録として結びつけられるか
- 既存の医師ID基盤(外部認証)とログインを連携できるか。標準機能か追加開発か
- メールを開封していない会員にだけ、自動で再送できるか
- 会員数万人規模での運用実績はあるか
10問は、答えのある場所が違うものを混ぜています。カタログの目次部分にも書いてあること。機能リファレンスの本文にしか書いていないこと。そして、どこにも根拠がないことです。最後の二つ(未開封者への自動再送と、数万人規模の実績)は、答えられるかではなく、「資料にない」と止まれるかを見るための問いです。
渡し方だけを変えて、3回聞いた
同じプロンプトで、【条件】の1行だけを差し替えて3回聞きました。
- 目次版8ページだけ。Web検索もURLの閲覧もしない
- 目次版8ページと、カタログに書いてあるURLの閲覧先だけ。Web検索はせず、カタログに書いていないURLは開かない
- 完全版44ページだけ。Web検索もURLの閲覧もしない
2で「書いていないURLは開かない」と決めたのは、AIが知っている知識やWeb検索ではなく、カタログを入口にしてどこまで行けるかを見たかったからです。
プロンプトでは、答えごとに「資料に根拠があり答えられる/関連する記述はあるが足りない/資料に根拠がない」の3段で判定させ、根拠にしたページと機能名を書かせました。「できます」と一言書いてあるだけの箇所は弱い根拠として扱い、画面名や項目名、制約の記述を根拠にするよう指示しています。
実行したのは私です。AIはClaudeで、条件ごとに新しいチャットを開き、前の回の内容を持たない状態で聞きました。採点は私とClaudeで行い、AIの示した根拠が本当にそこに書いてあるかを、Claudeが台帳の原文とWebの現物で一つずつ照合しました。根拠が実在し、問いに対応していれば「根拠つき」、判定が「足りない」か「根拠がない」なら「止まった」、根拠がないのに答えたものを「根拠なく答えた」と数えています。
こうなった:目次だけで4問、URLを開けると6問、完全版で7問
| 渡し方 | 根拠つきで答えた | 止まった | 根拠なく答えた |
|---|---|---|---|
| 目次8ページのみ | 4 | 6 | 0 |
| 目次8ページ+書いてあるURL | 6 | 4 | 0 |
| 完全版44ページ | 7 | 3 | 0 |
根拠なく答えたものは、どの条件でもゼロでした。 未開封者への自動再送も、数万人規模の実績も、3回とも「資料にない」と止まりました。URLを開けた回は、トップページにある「万単位の会員」という一文を引いたうえで、「製薬案件の数値はない」と止めています。資料を減らしても、AIは「できます」に走りませんでした。
目次だけでも4問に答えました。 効いたのは、目次の各項目の説明に、画面の名前まで書いてあったことです。「会員のメール開封ログ」「顧客管理権限」。名前があれば、AIはそれを根拠にします。看板の言葉だけだったら、この4問は取れていません。
完全版との差は、カタログにURLが無かったところで出ました。 URLを開けた回と完全版で答えが分かれた問いの答えは、機能リファレンスの本文にあります。ところがURLを開けた回のAIは、機能リファレンスのページを1本も開いていませんでした。理由はAI自身が書いていました。「PDFに載っていないURLは開いていません」。カタログには機能領域のページのURLまでしか載せておらず、機能リファレンス127本のURLは載せていませんでした。開いてよいのはカタログに書いてあるURLだけ、という条件なので、AIは機能領域のページで止まり、そこの要約は機能リファレンスの本文より薄かった、ということです。
逆に、完全版が落として、URLを開けた回が答えた問いもあります。外部認証との連携です。この答えは機能リファレンスの中にはなく、製薬向けの案内ページと、連携について説明したページの前書きにありました。完全版は機能リファレンスの全文であって、公開している情報の全文ではありません。当たり前ですが、作って比べるまで気づきませんでした。
だからこうしてみた:機能リファレンスのURLを足して、もう1回聞いた
差の原因がURLなら、機能リファレンスのURLを載せれば完全版に並ぶはずです。ChatGPTがそう提案し、私が実行することにしました。目次8ページの後ろに、機能リファレンス127本のURLを並べた2ページを足し、URLを開けた回と同じ条件で、同じ10問を聞きました。
AIは辿りました。開いたURL14本のうち10本が機能リファレンスのページです。前の回はゼロでした。滞在時間と流入元を見られるかという問いは、機能リファレンスに書いてある「できること」をそのまま引いて、根拠つきになりました。
ただ、結果は根拠つき6・止まった4・根拠なく答えた0で、完全版の7には並びませんでした。落とした2問を見ると、どちらもカタログの情報量の問題ではありませんでした。
一つは読み落としです。登録前の閲覧を登録後に紐づけられるか、という問いで、AIは該当するページを開き、その段落の1文目と2文目を引用したうえで「明記されていない」と判定しました。答えは、同じ段落の3文目に書いてあります。同じページを開いても、落とすときは落とします。
もう一つはURLの書き方です。製薬向けの案内ページのURLを、末尾がスラッシュで終わる形でカタログに載せていたところ、AIはそれを開けずに諦めました。前の回のAIは、同じ失敗のあと末尾に「index.html」を付けて開き直していましたが、この回は開き直しませんでした。
今回の作業で分かったこと
資料を全部載せなくても、詳細へのURLがあればAIは辿る
AIに読ませるからといって、カタログを完全版に作り直す必要はなさそうです。今回の条件では、AIはカタログに書いてあるURLを使って、Webの詳細まで根拠を探しに行きました。
ただし今回は、書いていないURLは開かないようにAIに指示しています。その条件の下では、カタログにどのURLを載せるかで、AIが降りられる深さが決まりました。機能領域のURLしかなければ機能領域のページで止まり、機能リファレンスのURLを足すと、そこまで降りました。資料をAIに渡す前提で作るなら、何の名前を載せるかだけでなく、どの深さのURLまで載せるかを決めておく必要があります。
根拠のない問いを混ぜると、AIが止まれるかを確かめられる
10問のうち2問は、どこにも根拠がない問いにしておきました。答えられた数だけを見ていたら、AIが資料にないことまで「できます」と言っているかどうかは分かりません。止まるべき問いを混ぜ、AIが示した根拠を原文と照らして採点したので、「根拠なく答えたものはゼロ」と言えました。
点数より、落ちた理由を見る
同じ「答えられなかった」でも、理由は別々でした。目次に情報がない。URLが載っていない。完全版の範囲の外にある。ページを開いたのに読み落とした。URLの書き方で開けなかった。理由によって、直す場所が変わります。点数を比べるだけなら、「完全版のほうが1点高い」で終わっていました。
自社の資料で試すなら、手順は単純です。資料をAIに渡し、確認したいことを10問ほど並べ、「資料に書いてあることだけを根拠に、根拠がなければ根拠がないと答える」ように頼む。それを、資料の渡し方だけ変えて何回か聞く。落ちた問いの理由を見ていくと、資料のどこが薄いかが分かります。
この結果からは言えないこと
- 根拠なく答えたものがゼロだったのは、今回の10問と1つのAIでの話です。一般化はしていません
- 各条件1回ずつです。読み落としがどのくらいの頻度で起きるかは、この回数では言えません
- 末尾がスラッシュのURLを開けなかった原因は、AI側の取得の癖と見ていますが、断定していません
- 質問はこちらで選んでいます。実際の検討担当者が同じ問いを立てるかは分かりません