このブログは、自社のCMS「writeWired」のサイトを、AIと一緒に作り直してきた記録です。この記事の作業は、2026年7月28日と29日の2日間で、ChatGPTとClaudeの二つのAIと進めました。
やりたかったこと：FAQの答えを、確かめられるものにしたい
問いは良いのに、答えの拠り所が分からなかった
writeWiredのサイトには、よくある質問（FAQ）が111問ありました。以前、AIに当時の機能ページを読ませて作ったものです。
問いの立て方は、今読んでも悪くありませんでした。「社外の確認者に、ログインなしでプレビューを見せられますか？」「公開後に前の版へ戻せますか？」のように、導入を検討している人が実際に聞きそうなことが並んでいます。
問題は答えでした。元にした当時の機能ページには、何年も前の売り文句が残っていて、言い過ぎを含んでいました（その売り文句は、この作業の直前に書き直しています）。そこから作った答えは、それらしく整っているものの、何を根拠にそう言えるのかが、作らせた私にも辿れませんでした。
根拠にできる事実は、もう手元にあった
一方で、この時点のサイトには、管理画面の機能を1画面1ページで解説したページが127本ありました。サイトでは「機能リファレンス」と呼んでいます。この記事では「機能の解説ページ」と書きます。1ページに、その画面の定義、できること、補足、使う場面などが書いてあり、すべて画面を確かめて書いた事実です。
FAQの答えを、この事実の上に載せ替えれば、答えごとに根拠を示せます。今回やりたかったのはそれです。
こうやってみた：問いは変えず、答えだけを解説ページの事実で書き直した
問いには手を付けない
方針は、問いは一文字も変えず、製品の事実で答える問いは答えを全部書き直す、です。問いは検討する人の言葉として使えるので、そのまま残しました。製品の事実ではなく、検討の進め方の助言を答える問いは、書き直しの対象から外しました（後述の6問です）。
答えの材料は、関係する解説ページの全欄
Claudeに、問いごとに関係する解説ページを集めさせ、その全欄を材料に答えを書かせました。どの解説ページを集めるかは、機能の解説ページを作るときに使ったExcelの台帳に、FAQのカテゴリと解説ページの対応が書いてあったので、そこから機械的に決まります。答えには、材料に書いてあることだけを使い、根拠にした解説ページを答えごとに記録させました。
一問、順を追って見せます。
社外の確認者に、ログインなしでプレビューを見せられますか？
古い答えは、確認用のURLを発行できます、という一言に近いものでした。間違いではありませんが、それ以上のことは書いてありません。
このとき材料になる解説ページは「外部確認URL」です。そこには、有効期限やパスワードを指定できること、期限が過ぎたURLは失効することが書いてあります。この記述をそのまま答えに使い、新しい答えはこうなりました。
できます。公開前のコンテンツを、ログインなしで確認できるURLを発行できます。有効期限やパスワードを指定でき、期限が過ぎたURLは失効します。
答えが具体的になったのは、文章を盛ったからではありません。解説ページに書いてあったことが、答えに上がってきたからです。製品の事実で答える問いは、すべてこの手順で解説ページと照らしました。
こうなってしまった：古い答えの中に、事実と食い違うものがあった
書き直してみると、古い答えとの違いは、詳しくなったことだけではありませんでした。
一番大きかったのは、マーケティングオートメーションで実行できる処理を尋ねる問いです。古い答えは7つの処理を並べていました。読み方によってはもっともらしいのですが、解説ページと突き合わせると、そのまま画面に対応するのは3つ（メールの送信、属性の変更、リコメンド（おすすめ表示）の指定）でした。残りは、どの画面のことを指しているのか判別できません。答えとして成立しておらず、読む人によっては事実と食い違います。
ほかにも、古い答えでは「組み合わせができます」と書いていた出力方式が、実際には一つのサイトで動的出力と静的出力を混ぜられないものでした。前の版へ戻せるという答えも、実際には版を残す操作をした時点の内容にしか戻れません。どちらも、古い答えだけを読むと、条件のない「できる」に見えていました。
解説ページのどこにも拠り所が見つからない問いも、5問ありました。多言語の専用機能や、会員でない訪問者の企業名を割り出す機能など、解説ページに書いていない機能を尋ねる問いです。
最初に書き直しの対象から外した助言の問いは、「CMSを選ぶときは何を確認すればいいですか？」のような6問でした。これは根拠を求めない例外として、古い答えをそのまま残しました。答えを書き直したのは、それ以外の、製品の事実で答える問いです。
だからこうしてみた：根拠のない問いは消し、根拠を答えの下に見せた
根拠のない問いは、問いごと消した
拠り所のない5問は、答えを工夫して残すのではなく、問いごと消しました。もう1問、ほかの問いと内容が重なっていたものも消し、FAQは105問になりました。
答えの下に「この回答の根拠」を出した
書き直した答えには、根拠にした解説ページを記録してあります。これを使って、FAQの答えの下に「この回答の根拠」として、解説ページへのリンクを並べました。逆に、解説ページの側には、そのページを根拠にしている問いが並びます。
FAQは「できるか」に答え、解説ページは「どの画面で、どう実現するか」を見せます。答えを読んで疑問が残れば、そのまま実現する画面の説明まで辿れます。ユーザーと権限をまとめて登録・棚卸しできますか？が、その実物です。
次にしたこと：問いのない機能に、14問を足した
解説ページはあるのに、問われていない機能があった
解説ページ127本を作る過程は、自社製品の機能の棚卸しでもありました。棚卸しをすると、サイトで押し出していなかった機能が見えてきます。ユーザーの組織と権限。作業の対象をブックマークのように束ねて共有する「作業ボックス」。管理画面のメニューを自分用に組み替える機能。日々の運用を楽にするための機能です。解説ページには事実があるのに、それを尋ねる問いがありませんでした。ここに問いを足すことにしました。
既にある問いの答えの書き直しとの違いは、問いもAIに作らせることです。答えの書き方は同じで、材料にした解説ページの事実だけで書き、根拠を記録します。
Claudeが書き、私が赤を入れ、ChatGPTにも同じ条件で書かせた
最初は、Claudeに13問を書かせました。私が読むと、引っかかるところがありました。たとえば次の問いです。
部署や製品ごとに、編集できる範囲を分けられますか？
権限はコンテンツだけでなく、フォームや会員データにも及びます。一つの問いに混ぜると、何についての問いなのかが曖昧になります。私は、権限の問いを解説ページ1本ごとに分けるように返しました。ほかに、「フォームの設計を変更できる人を制限できますか？」は会員データにも同じ設計の画面があるので「フォームや会員データの設計を」に、「承認の役割分担は、権限と別に決められますか？」は対象がコンテンツの承認なので「コンテンツの承認の役割分担は」に、と返しました。FAQの一覧には問いが見出しとして並ぶので、1問が1つの画面に対応していれば、見出しだけで何の話か分かります。この結果、「管理機能ごとに、操作できる人を分けられますか？」「コンテンツを編集できる範囲を、ディレクトリ単位で分けられますか？」「フォームや会員データの設計を変更できる人を制限できますか？」に分かれました。
13問のうち、作業ボックスやメニューの組み替えを扱った後半の問いは、検討する人の問いというより操作マニュアルの見出しに近く、精度が落ちたと感じました。そこで、ChatGPTにも同じ条件で書かせてみることにしました。Claudeが、材料にする解説ページの全欄、既にある105問（これと重ならないこと）、書き方の決まりを一本にまとめた指示文を作り、私がそれをChatGPTに貼りました。
ChatGPTの出力には、Claudeの版になかった問いがありました。組織ごとに使えるサイトや機能を分けられるか、という問いです。また、ユーザーのCSVの答えに、権限が「許可・閲覧範囲・編集」の列として出てくる、という具体が入っていました。一方で、私が赤を入れた点（「フォームや会員データの設計」「コンテンツの承認」）は、指示文に入れていなかったので、ChatGPTの版には入っていません。
Claudeが両方を突き合わせ、ChatGPTの問いと具体を取り込み、私の赤入れを残した版を作りました。私が確認して、14問になりました。取り込み用のCSVもClaudeが作り、FAQは119問になりました。
この14問で私がしたのは、指示文と出力を二つのAIの間で運ぶことと、どちらを採るかを決めることでした。
その後
この10月、FAQは全体をもう一度見直しています。「こんなシーンで」「気をつけること」の欄を足し、答えも書き直しました。このとき、答えの条件などは、解説ページで確かめてから採っています。この記事の答えの例は、7月時点のものです。
今回の作業で分かったこと
AIが作った答えは、言い換えではなく、事実と照らして直す
古い答えは、文章としては整っていました。読んだだけでは、7つの処理のうち4つが画面と対応しないことも、混ぜられない出力方式を「組み合わせができる」と書いていたことも分かりません。根拠にできる事実と一問ずつ照らしたから、見つかりました。AIに書かせた答えを直すとき、読みやすく言い換えるだけでは、こうした食い違いは残ったままになります。
答えに、根拠を一緒に持たせる
答えごとに根拠にした解説ページを記録しておくと、それを読者に見せられます。根拠のない問いを消すと決められたのも、根拠を必ず記録する作り方にしていたからです。根拠を張れないなら載せない、という判断が、書いた人の注意力ではなく、根拠があるかないかで決まります。
二つのAIに同じ条件で書かせると、片方にないものが見える
同じ材料、同じ決まりの指示文でも、ChatGPTとClaudeは違う問いを立てました。並べたことで、組織ごとの問いのように片方にしかないものが見つかりました。ただし、指示文に入れていないことは、どちらのAIも知りません。私の赤入れは、ChatGPTの版には入っていませんでした。比べるときは、条件を一本の指示文にそろえ、その外で決めたことは人が足す必要があります。
