AIが質問して、私が答える——1,527問作って9割捨てた話

事例から「当事者の文脈の辞書」を作る

前回までで、機能ページは事実のフラグメントの積み上げに変わり、FAQも1問1ページのフラグメントになりました。フラグメント同士でリンクを張り合って、関連を補完するネットワークができています。

次の課題は、フラグメントを見つけてもらうことです。見つけてもらうには、適した検索ワードに沿った内容にする必要があります。ところが、その「適した検索ワード」が作り手には分かりません。製品を探している利用者——当事者が、どんな言葉で検索しているのかが分からないのです。

この、当事者が使う検索の言葉の候補を「当事者の文脈の辞書」と名付けました。この辞書にあるキーワードと、機能やFAQのフラグメントを相互にリンクさせるネットワークを作る。それが次の目標です。

辞書の元には、導入事例のコンテンツに目を付けました。導入事例の記事はもともと、当事者の検索ワードを盛り込みやすく、読んだ人が「あ、これ私もだ。うちでもできるか聞いてみよう」と問い合わせにつながるように作られています。

これを逆手に取ります。AIに当事者の役をやらせて、導入事例の記事を読ませる。そこで出てくる「ここが知りたい」というキーワードが、そのまま辞書になるのではないか——そう考えました。

AIが作った「ここが知りたい」には、人間である私が答えます。FAQ編ではAIが答えを書いて私が検収したので、ちょうど配役が逆です。こうしてできた辞書を、導入事例に関連した事例フラグメントにする。そして事例フラグメントと機能、FAQのフラグメントを相互にリンクさせたネットワークを作ります。

まず、試してみよう

発想は悪くありません。まずはこの仮説が正しいか、試してみます。材料は、いま公開している事例20ページです。

AIに渡した最初のプロンプトの趣旨は、こんなものでした。

• 立場は、情報システム部門・マーケティング部門・Web運用担当のいずれかを、事例の内容に合わせて選ぶこと
• これから導入事例の本文を渡す。読んで「ここが知りたい」と思った質問を列挙すること
• 禁止リストにある質問と同旨の質問は出さないこと。言い換えや粒度違いの再掲も不可
• 質問の一つひとつに、元になった事例本文の記述を添えること
• 質問は、自社に引き寄せた形にすること。読者の当事者意識を出すためです

3つ目の禁止リストの中身は、既存のFAQ117問です。機能全体を対象に作ったFAQと同じ質問がまた出てくるのは避けたかったので、まるごと渡しました。

これを全事例ページに実行。出てきた質問は276問。似たものを束ねると、26の束になりました。

たとえば、こんな質問です。

当社は商品ブランド、契約ランク、販売地域で公開範囲が変わります。この案件では契約情報をどのような公開条件に変換し、個別の例外をどう扱いましたか？
——元の記述「顧客の契約状況に応じた公開コンテンツの制御」

当社は繁忙期にアクセスが集中しますが、このサイトでは想定同時接続数やピーク時の応答時間をどの水準に置き、どのような負荷試験を行ったのでしょうか。
——元の記述「年商1,000億円超の国内大手製薬企業」

約8,000ページを2ヶ月で公開するために、A社側では何人が参加し、コンテンツ整理や確認にどの程度の工数をかけましたか？
——元の記述「コンテンツ数：約8,000ページ／開発期間：2ヶ月」

読んだ第一印象は「すぐには答えられない質問が多いな」でした。1問目のような話は、その会社の具体的な相談を受けた後でないと答えられません。2問目の性能のような話も、前提を聞かずに一言では答えられません。3問目のような数字の質問にどう向き合うかは、このあと決めることになります。

ただ、どれも検討中の人が実際に抱えている問いです。本音がちゃんと出ている、という合図でもありました。

276問の内訳です。

上位を見ると、機能の名前がほとんど出てきません。移行、会員、費用、期間、切替。検討中の人が聞くのは機能のことではなく、プロジェクトのことでした。

そして上位の多く——費用、期間、成果——は、回答できません。回答できないのだから、切り捨てるべきなのではないか。そう思う一方で、聞き方に偏りがある気がしてなりませんでした。聞く立場が変われば、出てくる質問も変わるのではないか。

疑いは、実験で潰す

切り捨てを決める前に、この疑いを潰します。276問は、一つの聞き方の産物にすぎないのではないか。当事者の文脈といっても、切り出し方は一つではないはずです。具体的な方法を知りたい人。注意点を知りたい人。製品側の経験談を聞きたい人。インフラが気になる人。切り出し方が違えば、出てくる質問も変わるはず。276問という標本を、母集団あつかいしてはいけません。

それなら実験です。やり方は単純で、1周目の条件から、変える場所を1回につき1か所だけにします。2か所いっぺんに変えると、出てくる質問が変わったときに、どちらが原因か分からなくなるからです。1周目の276問と26束は、比較のものさしとして使います。用意した切り口と、その結果が、こちらです。

切り口のねらいを、順に説明します。

立場の4本は、聞く人を替える実験です。1周目はAIに立場を選ばせましたが、今度は「あなたは情報システム部門です」と固定して、同じ事例を読ませます。立場が変わると質問がどう変わるかを見ます。

質問の形は、聞き方を替える実験です。「ここが知りたい」と聞きたいことを挙げさせるのではなく、「この事例のやり方で注意すべき点を挙げよ」という形にしました。知りたいことではなく、心配ごとを言わせる聞き方です。

生成モデルは、書き手を替える実験です。プロンプトは一字も変えず、質問を作るAIのモデルだけを別のものにします。同じ指示でも、モデルが違えば出てくる質問が違うのかを見ます。

診断は2本。①は、例の禁止リストを外して回します。リストなしでもFAQに流れないなら、リストは要らなかったことになります。②は質問をやめて、逆向きのものを出させます。切り出し方の推測に挙げた「製品側の経験談」——事例のやり方について、こちらが語れそうな話題の種を挙げさせました。読者が聞きたいことではなく、私が語れることの目録です。

基準を合わせて9パターン。合計で質問1,527問と、製品側の経験談の種が160個になりました。

切り口ごとに、どのグループの質問が出たかを数えます。行は上の切り口表と同じ並び、列は先ほどの内訳と同じグループです（診断②は質問ではなく種なので、この表には出てきません）。

同じ20ページの事例を読ませているのに、行ごとに、質問が集中するグループがまるで違います。

分かったことが3つありました。

1つ目。立場が、出てくる質問の領域を決めます。制作パートナーの質問は55%がテンプレートの話。運営担当は32%が更新運用。情報システムは障害・保守とセキュリティに寄りました。基準では7件しかなかった障害・保守の質問が、情シスの立場では46件です。立場を1つ替えるだけで、これだけ変わります。

2つ目。1周目のプロンプトに、禁止リストというルールを入れていました。既存のFAQ117問を渡して、これと同じ質問は出すな、というものです。事例を読ませても、機能全般のFAQのような質問に流れてしまわないための保険でした。診断①は、この保険を外して回した回です。結果、FAQと同じ質問への逆戻りはゼロ。禁止リストは、要らなかったのです。質問が事例から離れなかった理由は、別にありました。質問の一つひとつに、元になった事例本文の記述を添えさせる——あのルールです。出どころを毎回示させると、質問は事例から離れられません。この一行が、AIの創作へのブレーキでした。書かせるな、指させろ、です。

3つ目。モデルを替えると、深さが変わります。一方は事例を横断するテーマを出し、もう一方は各事例の細かい各論に踏み込む。使い分けの材料になりました。

見方を変える——数から、中身へ

ここまでは、質問を数えていました。数える見方で分かるのは、どのグループに質問が集中しているかまでです。次は見方を変えて、中身を読みます。

切り口ごとに、質問が集中したグループの実物を1問ずつ並べます。

質問の文面や前提まで、立場で変わります。

そして中身を読んでいくと、見えてきたことがあります。この中には、消していい質問がかなりある。数字をそのまま聞いてくるもの。審査項目を並べてくるもの。「当社は〜ですが」と、こちらの知らない会社の事情を前提にするもの。数えている間は1,527問という財産に見えていたのですが、読んでみると、ここで答えるべきでないものを大量に含んでいました。「当事者の文脈の辞書」は作れます。ただ、抽出した質問に、そのままダイレクトに答えられるわけではなかったのです。

1,527問作って、9割捨てた

1,527問は、人手で読んで捌ける量ではありません。そこで、ここまでの表を作る下ごしらえとして、似た質問をひとつの束に集めて圧縮してあります。束への振り分けはAIにやらせましたが、機械任せで合っていたのは7割弱。残りは自分で読んで拾い直しました。地味で、一番時間を食った工程です。先ほどの分布の表は、この束の上で数えたものでした。

束ねて全体が見えたところで、台帳に「行き先」の列を作り、質問1,527問の行き先を決めていきました。もう一方の、経験談の種160個は質問ではないので、この仕分けの外——出番は最後の章です。

行き先は5つ。決め方は、こうです。

• 答える——事例の文脈で、私が答えられる質問。迷ったものは、いったん保留で残します
• 答えない——費用や性能など、固有の数値を聞く質問。個別の相談でないと、答えることができません
• 削除——事例のコーナーで扱う話ではない質問。審査の項目、時代に合わない論点など
• 移送——制作パートナー向けの質問。捨てずに、別コーナーの資産にします
• 診断枠——実験用の回。もともと母数の外です

この決め方で1,527問を仕分けた結果が、この表です。

答える640問と、迷って保留にした121問。1,527問は761問になりました。

振り分けの進め方から説明します。1,527問を頭から1問ずつ吟味したわけではありません。大きく裁ける単位から、順に落としていきました。

最初は出自です。診断①の160問は実験用なので、最初から母数の外。制作パートナーの質問は、この事例コーナーが想定する読者ではないので、まとめてパートナー向けFAQ行き。情シスと決裁も、出自ごと外すと決めました。ただし例外を1つ——移行と切替の質問だけは、どの立場から出たものでも拾っています。移行は、誰が聞いても移行だからです。

次は束です。費用、性能、工数、成果。固有の数値を聞く束は、束ごと「答えない」へ。

ここまで落とすと、ようやく1問ずつ読める量になります。残りを読みながら、答える、保留、削除を1問単位で決めていきました。

ここからは、この表の下半分——捨てた側の、そう決めた理由の話です。

まず「答えない（固有の数値もの）」の203問。費用、性能、工数、導入後の成果。分布の表で上位にあった質問で、検討中の人が一番知りたいことなのは分かっています。それでも、答えないと決めました。仕分けながら、理由が2本、言葉になりました。

1本目。固有の数値は書かない。費用、性能、工数、投資回収、検索順位。書けば相場観として一人歩きします。費用の答えなら導入プランのページにあります。「お問い合わせください」——あれが答えです。

2本目。役務の約束になることは書かない。謳うと、できなくちゃいけなくなるからです。

この仕分けの途中で、困ったことも見つかりました。個別の相談でないと答えられない質問を外したのに、残った質問にも「答えられない」ものが多数あるのです。

原因は、自分のプロンプトでした。1周目から、質問を作らせるルールに「自社に引き寄せた形にすること」という一行を入れていました。読者の当事者意識を出すための、あの一行です。ところがこれで、AIは「当社は〜ですが」という架空の会社の事情を勝手に作り出すようになっていました。こうなると質問は、事例に書いていない隙を突いてきます。まともに答えようとすれば、「できません」「わかりません」が並ぶことになります。事実は元の記述を指させる。しかし引き寄せの部分は、AIの創作を自分から許していたわけです。書かせるな、指させろ、と言った口で。この質問群にどう答えるかは、答えを書く段の宿題として台帳に残しました。

次に「削除（情シス・決裁の出自ごと）」の222問。実験ではいい仕事をした2つの立場を、なぜ出自ごと外すのか。出てくる質問が、審査項目と数字だからです。事例のコーナーで答える話ではありません。あれは製品のFAQや導入プランの領分です。

「パートナー向けFAQへ移送」の139問は、捨てるには惜しい中身です。制作パートナー立場の質問は、パートナー向けFAQという別コーナーの資産として、まるごと移送しました。捨てたのではなく、仕分けたのです。

最後に、表には出てこない発見をひとつ。質問の頻度は、答えの重みではありません。AIのペルソナは、RFPのチェックリスト文化を忠実に再現します。たとえば同時編集の質問は山ほど出ました。でも答えは「更新は先勝ち」というポリシー1問で全部吸えます。件数は模擬需要の音量。格は人が振ります。

残った761問の中身は、こうなりました。

11のグループです。費用や成果の質問はほぼ消え、期間・体制は数字ではなく、決め方や進め方の質問だけが残っています。

総括

長い記事になったので、最後にまとめます。

始まりは、一つの仮説でした。導入事例をAIに当事者の役で読ませて「ここが知りたい」を挙げさせれば、「当事者の文脈の辞書」が作れるのではないか。やってみて分かったことが、4つあります。

一つ。プロンプトで、出てくる質問の内容は変わります。最初に出た276問は、一つの聞き方が見せた、一つの断面にすぎませんでした。聞く立場を替えるだけで、質問の集中するグループが動きます。制作パートナーならテンプレートの質問が55%、運営担当なら更新運用が32%です。

二つ。プロンプトの「元になった事例本文の記述を添えよ」という指示が、AIの創作へのブレーキとして働いていました。禁止リストを外しても、質問はFAQに流れませんでした。効いていたのは、この一行です。

三つ。逆に、「自社に引き寄せた質問にせよ」という指示は、事例に書いていない隙を突く質問を大量に生みました。その答えは「できません、わかりません」のネガティブなものになりがちです。

四つ。「当事者の文脈の辞書」は作れます。ただ、抽出した質問に、そのままダイレクトに答えられるわけではありませんでした。選り分けが要ります。

1,527問と種160個は、最終的にこうなりました。

次は、ティップスから書きます。全部が、私の「語れること」でできているからです。