カタログをAIに読ませたら、ちゃんとリンクを辿った

目次にした理由

8月にカタログを作り直しました。8ページ。用途の看板20枚と、9つの機能領域の要約、そして機能リファレンス127本の名前。中身は載せず、すべての項目にURLを付けて「詳しくはWebで」にしました。

機能の中身はWebに127本ある。カタログに写せば二重になる。直すのは一度、の原則からすると、カタログは目次であるべきだ。そう考えて決めました。

ただ、決めたときに一つ考えていなかったことがあります。カタログを受け取った人が、それをそのままAIに投げる場面です。

「この製品で、うちの要件は満たせる？」

いまはそういう使われ方をします。そのとき、目次だけのカタログは役に立つのか。それとも、中身まで載せた完全版が要るのか。

完全版を作った

比べるには完全版が要ります。無かったので作りました。機能リファレンス127本の本文を、台帳から生成して付録にした44ページ。作るのにかかったのは午後の数時間で、書いたのはAIです。私は出来上がりを見て、カテゴリの並びが台帳どおりかを確かめただけです。

これで材料が二つ揃いました。8ページの目次版と、44ページの完全版。

同じ質問を、渡し方だけ変えて

製薬企業の会員サイトを検討している担当者の確認事項を10問用意しました。製品名を知らないAIと根拠を辿らせたAIが実際に立てた問いから選んでいます。

10問は、わざと種類を混ぜました。

• 目次のタイルにも書いてあること（開封の記録、CSVの出入り、閲覧範囲の制限など）
• 機能リファレンスの本文にしか書いていないこと（登録前の閲覧を登録後に紐づけられるか、滞在時間が見られるか）
• 制約や境界に関すること（外部認証は標準か追加開発か、動的と静的を1サイトで混在できるか）
• どこにも根拠がないこと（未開封者だけへの自動再送、会員数万人の実績）

最後の2問は、答えられるかではなく、止まれるかを見るためのものです。

この10問を、同じプロンプトで、渡し方だけ変えて3回聞きました。

1. 目次版8ページだけ。URLは開かない
2. 目次版8ページ。書いてあるURLは開いてよい
3. 完全版44ページだけ。URLは開かない

結果を見てから、もう1回足しました。

1. 目次版8ページに、機能リファレンス127本のURL一覧2ページを足したもの。書いてあるURLは開いてよい

AIはClaude。4回とも新しいチャットで、前の回の記憶を持たない状態です。答えには「資料に根拠がある／関連はあるが足りない／根拠がない」の3段で判定を付けさせ、根拠にした頁と機能名を書かせました。

採点は私とAIでやりました。AIが示した根拠が本当にそこにあるか、台帳の原文とWebの現物で一つずつ照合しています。

結果

順に書きます。

根拠なく答えたものはゼロでした。 未開封者への自動再送も、数万人の実績も、4回とも「資料にない」と止まりました。URLを開けた回は、トップページの「万単位の会員」という一文を引いた上で「製薬案件の数値はない」と止めています。資料を減らしても、「できます」に走りませんでした。

目次だけで4問に答えました。 効いたのは、タイルの本文に画面の名前まで書いてあったことです。「会員のメール開封ログ」「顧客管理権限」。名前があれば、AIはそれを根拠にします。看板だけのタイルなら、この4問は取れていません。

完全版が目次＋URLに勝った1問は、URLが無かったせいでした。 2回目と3回目で差が出た2問の答えは、どちらも機能リファレンスの本文にあります。2回目のAIは、リファレンスのページを1本も開いていません。理由はAI自身が書いていました。「PDFに載っていないURLは開いていません」。カタログには機能領域のURLしか印字しておらず、リファレンス127本のURLは載せていなかった。だからAIは領域のページで止まり、そこの要約は本文より薄かった。

逆に、完全版が落として目次＋URLが取った1問もあります。外部認証の連携です。答えは機能リファレンスの中にはなく、製薬向けのページと連携ページの前書きにありました。完全版はリファレンスの全文であって、公開情報の全文ではない。当たり前ですが、作ってみるまで気づきませんでした。

URLを足して、もう1回

それなら、リファレンスのURLを載せれば完全版に並ぶはずです。127本のURLを2ページに並べて足し、同じ質問を聞きました。

AIは辿りました。開いたURL14本のうち10本がリファレンスのページで、2回目にはゼロだったものです。滞在時間と流入元の問いは、リファレンスの「できること」をそのまま引いて根拠つきになりました。

ただ、点数は6で、完全版の7には並びませんでした。落とした2問を見ると、どちらもカタログの情報量の話ではありませんでした。

一つは読み落としです。登録前の閲覧を登録後に紐づけられるか、という問いで、AIは該当ページを開き、その段落の1文目と2文目を引用した上で「明記されていない」と判定しました。3文目に、そのまま書いてあります。同じページを開いても、落とすときは落とす。

もう一つはURLの形です。製薬向けページのURLをディレクトリ形（末尾がスラッシュ）で印字していたところ、AIはそれを開けずに諦めました。2回目のAIは同じ失敗のあとindex.htmlを付けて開き直していましたが、4回目は開き直しませんでした。

分かったこと

AIに読ませるからといって、完全版に作り直す必要はなさそうです。

AIはカタログに書いてあるリンクを使って、Webの詳細まで探しに行きます。ただし、書いてあるリンクしか辿りません。目次カタログに何のURLを載せるかで、AIが降りられる深さが決まります。

そして、URLを載せても完全版と同じ点にはなりませんでした。同じページを開いても読み落とすことがあり、URLの書き方一つで開けないことがある。リンクの有無の先に、まだ小さな段差がある。それが分かっただけでも、44ページを作った甲斐はありました。

言えないこと

• 「根拠なく答えた」がゼロだったのは今回の10問と1つのAIでの話で、一般化はしていません
• 各条件1回ずつです。読み落としがどの程度の頻度で起きるかは、この回数では言えません
• ディレクトリ形のURLが開けなかった原因は、AI側の取得の癖と見ていますが、断定していません
• 質問はこちらで選んでいます。実際の検討担当者が同じ問いを立てるかは分かりません

試すなら

やり方は単純です。自社の資料をAIに渡し、確認したいことを10問ほど並べて、「資料に書いてあることだけを根拠に、根拠がなければ根拠がないと答える」ように頼む。それを、資料の渡し方だけ変えて何回か聞く。点数より、落ちた問いの理由を見ると、資料のどこが薄いかが出てきます。