AIの「重複なし」という自己判定は、信用していい？
私たちは、製品の機能の事実から、FAQとは別の短い読み物をAIで作れるか実験をしました。読み物は、事実から見つけた一つの発見をそのままタイトルにして（たとえば「公開したページは、検索にすぐ出ません」）、本文にはその根拠になる事実だけを書く形です。良い読み物になるかはタイトルで決まるので、まずタイトルの候補を、2つのAIに10本ずつ出させました。既存のFAQと同じ答えになる候補は作らない、という条件付きです。候補を書いたAIは、10本すべてに「重複なし」と書いてきました。ところが、もう一方のAIにFAQ117問と当て直させると、5本が言い換えでした。AIの「重複なし」は信用できなかったのです。そこで、「重複なし」と一言で答えさせるのをやめ、最も近いFAQの番号と、そのFAQが触れていない点を書かせるようにしました。すると、違いを言えない候補は、その場で落とせるようになりました。
詳しくは：AIにタイトルを作らせたら、正しくて、つまらなかった
AIが書いた文章の事実の誤りを、どう見つける？
私たちは、以前AIに作らせて公開していたFAQの答えを、管理画面を確かめて書いた機能の解説ページと、一問ずつ照らし直しました。答えは違和感なく整って見えましたが、どの画面のことか判別できない項目の混入や、条件の抜けが紛れていました。たとえば、マーケティングオートメーションで実行できる処理を尋ねる問いでは、並べた7つの処理のうち、管理画面と対応が取れたのは3つでした。読むだけでは分からず、公開したあとに一問ずつ照らして、初めて見つかりました。一方、機能の解説ページをAIに書かせたときは、下書きの段階で、確信のない点に「要事実確認」として質問を添えさせました。そうすることで、公開前に人が答えられる形を取ることができました。
詳しくは：AIで作ったFAQの答えに根拠を付ける／台帳だけが生き残る
古い文章をAIに読ませると、何が見つかる？
私たちは、人が手書きのHTMLで作った導入事例20本を、Markdownという形式に移すため、AIに読ませました。そのとき、ついでに溜まった誤りを拾って直すよう頼んでいました。その中でAIが、見た目はふつうの「大」なのに文字の番号が違う別の字（漢字の部首を表す文字）が、20ページ中7ページに紛れていると知らせてきました。画面では区別がつかず、ふつうの「大」で検索してもヒットしない字です。AIはこの字のほか、誤字や説明文の脱字もあわせて直し、最後に人が20画面すべてを目で確認しました。
詳しくは：導入事例20本をMarkdownに移した。AIの演出は、一つも使わなかった
AIが出した指摘の一覧は、全部直すべき？
私たちの作業記録では、自社サイトの12ページをAIに確かめさせ、計32件の指摘が出ました。まず9ページ分で21件。私が一件ずつ判断しました。たとえば、動作環境の表は、AIから「サイトのどこにも照らし合わせる先がなく、新しいか古いか判定できない」と返ってきたので、いつの時点で確認した条件かを書く形に直しました。一方、機能の一覧ページには「全機能」とあるのに総数がなく、別の資料にだけ「127本」とある、というAIの指摘は、直しませんでした。整合性が取れ、読み手には親切なのかもしれませんが、同じ数字を何か所にも手で書けば、機能が増えるたびに全部直す手間が生まれる、と運用面から判断したためです。
直したあと、別の3ページを確かめさせると11件が加わりました。その中には、私が直した一文が「各事例の」と全部の事例に当てはまる書き方になっていて、実際にはその表がない事例があった、というものもありました。直したことで、新しい食い違いを作っていたのです。
結局、32件は全部は直していません。AIが言えるのは「確かめられなかった」までで、直すかどうかを決めるのは人でした。そして直した文も新しく書いた文章なので、直したら、もう一度AIに確かめさせる必要がありました。
詳しくは：AIに自社サイトの根拠を辿らせたら、宿題が21個返ってきた
AIに任せた作業のうち、続かなかったものは何が違った？
AIを使ったサイトのコンテンツづくりとして、既存記事のリライト、記事の量産、FAQの自動生成、チャットボットなどを試しました。使い続けられた（実用的だった）のは、結局、骨子を人が固め、一話ずつ人が確かめて直させる記事の量産だけでした。FAQの自動生成は、出てきた量が、私たちが内容が正しいかを確かめられる量を超え、読む人にとっても文脈のない、役に立たないものでした。自社の文書から答えるチャットボットは、数か月かけて作りましたが、そもそもBtoBというサイトの性質から、使う人はいませんでした。FAQの自動生成もチャットボットも、出てきたものを人が先に確かめる場所を作れないまま、AIに出力させる実験になっていました。白状すると、いまあなたが読んでいるこのページの右下にも、そのチャットボットがいます。使いたいと思いますか？
詳しくは：AIでリライト、記事量産、FAQ自動生成、チャットボットを試した記録
AIにFAQやキーワードをまとめて自動生成させると、どうなる？
私たちは、サイトの記事を191に分けてAIに読ませてFAQを出させ、そのFAQからキーワード、キーワードからカテゴリを出させる仕組みを作りました。最終的にFAQは1,899問になりました。キーワードとカテゴリは「似たものがあればそれに属せ」と指示しても3,132語・145個まで増えて、読む人が自分のこととして選べる量ではなくなりました。当時の私たちの方法では、増えすぎるAIの出力を抑えることができず、まったく使うことができませんでした。増えてよい範囲と分け方の枠は、先に人が決める必要があり、指示で頼むだけでは、その代わりになりませんでした。
詳しくは：AIでリライト、記事量産、FAQ自動生成、チャットボットを試した記録
AIと作業するとき、人はどこで入ればいい？
私たちの実験で、こんなことをしました。
AI検索は、サイトの中身を読んで回答しています。ただ、私が「根拠は？」と聞き続けると、表面、トップの階層のページしか見ていないこともありました。では、AIは自社サイトの中身を、裏付けまでどこまでたどれるのか。それを試してみたのが、次の実験です。
私があるURLをAIに渡します。AIは、導入を検討している担当者の立場でそのページを読み、もっと知りたいと思う記述にフォーカスを当てます。そして、そのURLからのリンクを最大3回まで辿り、納得のいく回答を見つけることができるかを、一番よいAから、一番低いEまでで記録します。Aが多いほど、サイトはAIに理解されやすいコンテンツを持っていると考えられるのでは、と思ったからです。
サイト全体でAがどれくらいあるかを見るには、1ページでは足りません。そこで、1ページ終わるたびに、別のAIに「次はどこを見ると違うものが見えそうか」を挙げさせて私が選び、結果を一覧表にまとめるAIへ渡す、という作業を、手作業で何度も繰り返し実行しました。一日が終わって振り返ると、私は判断しているつもりで、実際にはページを選んで結果を運ぶ、受け渡し役になっていました。
ここまでの実験で気がついたのは、人が入る必要があるのは次の5つだけである、ということです。何を調べるか、調べ方の決まりごとを変えるか、人にしか確かめられない事実、止めるか、最後に何を直すか、です。そのうえで、それ以外の作業を一つにつなぎ、AIが自動で繰り返し実行する形に作り直しました。実行してみると、私の操作は開始の指示1回になり、残ったのは判断するだけでした。
わかったのは、AIと作業するときは、人が何を判断するために入るのかを先に決めておけば、それ以外はAIに任せられる、ということです。ただ、これは作業によって変わります。今回は途中の工夫でたまたま自動化できましたが、いつもそうとは限りません。取りかかる前に何度か試してみて、都度工夫していくのがいいと思います。
詳しくは：AIに自社サイトの根拠を辿らせたら、宿題が21個返ってきた
AIに顧客や読者の役をさせて質問を出させると、何に使える？
私たちの実験で、こんなことをしました。
使い道ごとの案内ページ（LP）20本は、機能の事実から作っていて正しいのに、読んでも導入したくならない説明ページでした。読んだ人が共感を持ち、製品に興味を持ってもらえるようなコンテンツにしたい。そこで、一方のAIに導入を検討する担当者、もう一方のAIに製品の説明係を演じさせ、導入相談の会話をさせました。担当者役には、役柄ではなく、仕事の条件を渡しています。説明係には、機能説明・FAQ・導入事例を材料として渡し、その中で事実として確認できないことは答えない、という制約を付けました。LP1本につき1回、20回で126問です。
説明係は、質問の答えが材料にあれば、うまくまとめました。ただ、冗長になりがちで、意味をなさなくなることも多くありました。善意で盛ろうとするのかもしれません。一方で、提案や営業のような説明は、結果的にすべて失敗しました。説明係に与えた制約のせいかもしれませんが、盛られた回答を得るのが目的ではないので、制約を外した実験はしていません。担当者役のほうは、1回の会話の中で二層に分かれた印象です。説明係がうまく答えられる一般的な質問と、答えられないだろうと見越しているかのような質問を、延々と繰り返しました。
それでも、使えるものは出てきました。「取引先ごとに見せる価格表を変えたい」のような、具体的な業務の場面です。説明係が答えに詰まったところからは、資料の記述の不足（第1回だけで4か所）と、製品の課題（3件）も見つかりました。課題の一つは、CSVで取り込むと承認を経ずに公開できてしまう抜け道で、いまは改修済みです。
ただ、これは取材ではありません。AIが演じた担当者の悩みが、実際の担当者の悩みとは限りません。私たちにとっては、仮説を出し、資料の穴を見つける道具でした。
詳しくは：AIライティングは、説明が得意で、営業が苦手だった
AIとの長い作業を、チャットが変わっても崩さずに続けるには？
私たちの実験で、こんなことをしました。
製品の機能を1画面1ページで解説するページ127本を、AIに書かせようとしました。ただ、AIはチャットが変わると前の作業を覚えていません。1回のチャットで読める画像も25〜30枚が限界だと、AI自身が作業の前に申告していました。画像は全部で162枚あります。
そこで、機能の一覧とページを管理するExcelの台帳を、唯一の「正」にしました。私はもともとデータベースエンジニアで一元化が好きですし、どんなプロジェクトでも「台帳＝唯一の正解」という考え方が必要だと思っています。AIには台帳を直接更新させ、ファイル名の版番号を上げて返させました。チャットの終わりには引継ぎメモを書かせ、次のチャットには「引継ぎメモ＋最新の台帳＋その回の素材」の3つだけを渡して再開します。長いチャットで応答が乱れてきたら、無理をせず引継ぎメモを書かせて新しいチャットにしました。
始める前は、AIとのやり取りを自分でExcelに転記して管理するつもりでした。ところが、それをすべてAIがやりました。採番も、更新も、版の管理も、AIでここまでできるのかと驚きました。162枚・127本を書き切ったとき、台帳の版はv97になっていて、版を上げた回数がそのまま工程の記録になっていました。
一方で、複数の人で管理する場合など、運用面の課題が見えてきたのもこのときです。
詳しくは：台帳だけが生き残る／AIに機能リファレンス127本を書かせた。その後の方が面倒だった
AIにカテゴリ名やタグ名を考えさせても、使える言葉が出てこないときは？
私たちの実験で、こんなことをしました。
製品の機能を解説するページ127本に、「どんな仕事で使う機能か」を表す業務のタグを付けたいと考えました。サイトには以前に作った9つのタグがありましたが、「動きに合わせて届ける」「数字で説明する」のように、読んでも意味が分からないものが混じっていました。そこでAIに、9つの枠を増やさない条件で、言葉を見直させました。
出てきた案は、「権限と承認を決める」「問い合わせに応える」「毎日の作業を整える」など。何の権限か分からない、一般的すぎて自分のことだと思えない、そして最後のものには「サウナか」と返しました。振り返ると、AIはタグやキーワードを、ドラマチックに演出しようとします（見出しも全般にそうです）。でも日本語では、読み手、特にBtoBの読み手には意味が分からないものになります。名詞にした案、役割で分けた案と出し直させても、使える言葉はありませんでした。タグやキーワードの抽出の発想が、日本語圏とは違うのかもしれません。
どの案も、先に分類の枠を作ってから当てはめていました。タグやキーワードは気づきを与えるもので、最初から決めてかかって良いものはできない、と私は思っていました。そこで「逆だよ逆」と返し、127本の一本ずつに「この画面を開いている人は、何の最中か」を書かせ、そこから分類を探させましたが、それでも使える言葉は出ませんでした。
最後は、AIの提案で「決めないことを決める」ことにしました。新しい言葉は作らず、既存の9つをそのまま使い、各ページへの割り当てだけをAIに任せる。言葉の直しは、全部の工程が終わってから考える。作る側は選択肢が増えたほうが便利かもしれませんが、使う側は謎の選択肢が増えて迷うだけです。決めない、つまりむやみに増やさないと決めたのは、合理的でした。
詳しくは：台帳だけが生き残る
AIに質問させて自分が答える書き方は、どう進めて、何を残せばいい？
私たちの実験で、こんなことをしました。
私たちが担当する会員サイトには、案件が違っても必ず出てくる処理があります。会員データの移行や、メールの配信と停止などです。これを、検討している人が読める問答集にまとめたいと考えました。
そこで、AIに検討している担当者の役で質問させ、私が答える、というインタビュー方式にしました。頭に浮かんだことを断片的に返すと、AIが一つずつ掘り下げてきます。全体で出そろったのは17問。AIが目次案まで組み立てました。2日間、メモは取っていません。
ところが翌日、目次の質問を読み返すと、「配信が『止まる』のは何段階？」のような、意味の分からないものがありました。インタビュー時の私の答えからAIが作った質問で、AI語になっていたのです。質問に答えていたのは私です。インタビュー時は流れが理解できていたので違和感はありませんでしたが、記事を読むのは前提を知らない読者です。人なら、あとで読む人に分かるように言い直すところを、AIは（今のところ）会話の言葉をそのまま使います。しかも、よくも悪くも当たり障りのない、平たんな表現にしがちです。
そのままでは使えなかったので、目次は、インタビューのときにAIがしてきた質問の言葉に戻すことにしました。答えを知らない、検討する側の立場から出た質問だったからです。ところが、AIがやり取りをまとめたファイルでは、その質問は「Q1. 必ず出てくる処理」のような要点に縮められていて、実際の質問の文は残っていませんでした。そこで、AIにチャットの記録から17問の質問の文を取り出させ、それを見ながら直しました。
このとき、答えだけでなく質問も残す価値がある、と気づきました。ただ、AIとのやり取りは、今のところチャットと同じで膨大な量になります。あとから見返して経緯を追えるものではないので、チェックポイントごとに形を決めて残すのがいいと思います。少なくとも、何も残さないのはやめたほうがいいです。
詳しくは：聞き手はAI
