前回、断片のコンテンツを作ると決めるまでを書きました。今回はその裏側です。あの決断にたどり着く前に、私はAIをかなりいじり倒しています。良い結果を生んだものもあれば、「想像した結果を得られない方法の発見」——私はこれを〇敗と呼んでいます——にとどまったものも。リライト、記事の量産、FAQの自動生成、そしてチャットボット。4つの実験を順番に書きます。長くなりますが、一気に書ききります。
※使ったAIのモデルの違いやプロンプトの書き方の説明は省きます。プロンプトはAIに「どう書いたらいい？」と聞く方が早いです。
※うちの製品のCMS機能と連携するAI機能を作りたかったので、大量コンテンツのバッチ処理が含まれます。
リライト——最初の実験と、長い葛藤
既にある記事を丸ごとAIに渡して「SEOを意識して読みやすくして」。結果は良かったと思います。自分で書いた強い主張と冗長な表現がほどよく中和されて、読みやすくなった。機能紹介も事例も全面的にリライトして、サイト全体が落ち着いた内容になった——と思ったのも束の間、検索順位が急落したのはこの頃からです。
「AIが書いた記事は評価されない」とは言われていました。でも、元の原稿は私が書いたものです。しかもGoogleの大きなアップデートと時期が重なったようで、元に戻せば順位が戻るという保証もない。結局、何をしていいか分からない。前回書いた長い葛藤は、ここから始まっています。
コンテンツライティング——手順を作れば量産できる
「コンテンツを増やせば順位が上がる」が定説だった頃です（今は本当のところどうなんでしょうね）。AIで記事を増やすことにしました。ただし、勝手には書かせない。手順はこうです。
- 連載の回数とテーマ、対象読者の属性を渡して、最終回までのタイトル・リード・概要を一気に出させる。コーナーのタイトルとリードも含めて。ここで全体を見渡して、面白いものになりそうかを判断し、納得するまで骨子を作り直す。
- 骨子と「今回は何回目の記事か」、読者属性をプロンプトに入れて、一話ずつ書かせる。まず面白いか、不備がないかを確認して、具体的な修正を指示し、読み物になるまで繰り返す。
当時のClaudeは、ものすごい量を書いてきました。深掘りしてあって参考にはなるのですが、読む方が疲れる。それと「記事には数字が必要」と強く主張して具体的な金額まで書いてくるのに、根拠を確認すると「ありません」と言い切る。全部直させました。テーマを絞ればAIの記事は勉強になることも多いのですが、指示する側に知見がないと正誤の判断がつきません。人のチェックは必須です。
手順が固まると作業はかなり楽になりますが、次の苦痛はHTML化でした。AIの出力はマークダウンという形式で、規則どおりHTMLに変換できます。そこで、AIの結果をコピペするだけで、スクロールに追随する目次付きのページになるCMSテンプレートを作りました。ちなみにこの変換プログラムもAIに書かせて、2時間で完成です。
この方法で作ったのが、いま公開しているシリーズです（https://writewired.jp/knowledges/index.html ）。慣れると私の作業は機械的になり、1シリーズ2日ほどで完成するようになりました。
そして、最初の実験で出てきた「AIが書いた記事は評価されない」。そんなことはないのです。ロングテールでは、しっかり上位に来る記事があります。私の狙いは上級者向けのニッチなキーワードで、そこには効く。思い込みの側が間違っていた、という発見でした。
FAQ・キーワード・カテゴリの自動生成——数字で見るカオス
読み物を一通り作ると、次はコンテンツを活用して流入経路を増やしたくなります。ここはAIの得意な領域で、コンテンツを読ませるとFAQ・キーワード・カテゴリを出してくれます。作ったAI連携機能で、同じFAQ生成プロンプトを複数ページに渡って処理し、一気に出したFAQ・キーワード・カテゴリから、最終的に生成元のコンテンツへ流す——という仕組みです。
当時のAIは一度に読める量に限りがあり、1ページごとの処理、さらにページの分割が必要でした。同じプロンプトでも似たようなFAQ・キーワード・カテゴリが大量に生まれ、導線はカオスになります。そこで、段階的に処理することにしました。
- 1回目：全コンテンツからFAQを抽出してDBに格納
- 2回目：FAQからキーワードを抽出してDBに格納
- 3回目：キーワードからカテゴリを抽出してDBに格納
2回目のプロンプトには既出のキーワードを羅列して「似たものがあればそれに属せ。無い場合にのみ新しく追加せよ」と増殖を抑える指示を入れ、3回目のカテゴリにも同じ指示を——。
結果は、ただのカオスです。目安の数字ですが。
- 分割後のコンテンツ総数：191
- 生成されたFAQ：1,899
- 生成されたキーワード：3,132
- キーワードとFAQの組み合わせ：5,679
- FAQから生成されたカテゴリ：145
- カテゴリとFAQの組み合わせ：4,041
生成されたFAQの例を、3つだけ。
Q. サイトを訪れる顧客の動向を追跡して分析したいのですが、どうすればいいですか？
A. writeWiredなら、サイトのアクセスログやフォームの送信履歴、メールの開封状況、URLクリックのデータをリアルタイムで統合分析できます。（以下略）
Q. メールキャンペーンの効果をどのように測定すれば良いでしょうか？
A. writeWiredなら、配信したメールの開封状況やURLクリックの跡を追跡することで、キャンペーンの影響を分析し、効果測定が可能です。（以下略）
Q. 未来の顧客行動を予測するには？
A. writeWiredなら、ユーザー行動履歴の分析より、顧客の行動パターンを見つけ出し、将来の予測を立てることができます。（以下略）
どれも、一つ一つは納得できる内容です。でも、全部この調子で1,899本。1枚の広告を100人に見せて感想を聞くようなものです。キーワードは「AIコンテンツ作成／AIコンテンツ最適化／AIコンテンツ生成／AIコンテンツ管理／AIリライト／AIリライト影響／AIリライト活用……」と3,132本。カテゴリは「AI技術を活用したい／AI技術を活用したい方はこちら／CMS予算ニーズ対応／CMS価格変動対策……」と145本。人が自分ごととして選べる量ではありません。
どう見えるか確認したくて、カテゴリをクリックするとキーワード、キーワードをクリックするとFAQが出るページも作りました。カオスでした。
敗因ははっきりしています。処理の過程で、キーワードとカテゴリが増えるのを許したこと。「似たものに属せ」の指示では、増殖は止まりませんでした。AIにルールを守らせること、守らせる指示をすること。AIに自由にさせたらダメ、ゼッタイ。
AIの出すカテゴリやキーワードは、人が思いつかない言葉を見せてくれる点では有用です。ただしそれは、一定の枠組みと共通認識があってこそ。そして必ず人が要る。ここは断言します。
この機能は数か月かけて作りましたが、効果を出さないアプローチだと分かったので、製品機能としても封印しました。とほほですが、経験になりました。
エンベディングとリコメンド——正しいラベルは「似たコンテンツ」
エンベディングを分かりやすく説明すると、文章を数値の形式に変換する技術です。面白いのは、変換後の数値同士で「似ているか、似ていないか」を測れること。APIに文章を送ると数値が返ってくるので、あとはその数値を好きに使えます。用途は、はい、リコメンドですね。
リコメンドは昔から夢のように語られてきました。ビッグデータが流行った頃、別のツールを試したことがあります。サーバーを何台も用意して、何時間もかけて出た結果が「よくわからない」。難しいロジックに沿って出てくるので、表示されても解釈できないのです。それに比べるとエンベディングは分かりやすい。コンテンツの集まりAとBをそれぞれエンベディングして、Aの各コンテンツに、Bから一番似たものを探して並べる。探すといっても、Excelで言うVLOOKUPのような定型作業です。
結果は、一見似たコンテンツがおすすめに表示されます。ただ、ラベルとしては「おすすめ」より「似たコンテンツ」の方が正しい。応用として「あなたが直近見た5コンテンツに最も似たコンテンツ」も出せますが——それは説明そのままですね。
自社サイトで実際に使ってみました。にぎやかには見えます。効果は——分からないです。
チャットボット——ここからは本音です
次はチャットに挑戦しました。仕組みはFAQとリコメンドの応用です。ユーザーの質問をエンベディングして、似た文書を探し、質問と一緒にプロンプトへ渡して、その文書から回答を組み立てる。
ただ、チャットは単純に見えて、とても奥が深いものだと思い知らされました。まず最初のあいさつの文章。それと同時に出す「どんなことにご興味がありますか？」という選択肢の列挙。はたから見ていると、ユーザーが勝手に質問してきて、それに答えればいいのだと思っていました。とんでもない。ユーザーに質問させるまでを促すのが大変な仕組みでした。結局、シナリオを設定して選択肢を出し、選択肢にないテキスト入力が来たときだけAIで対応する形にしました。
ここからは本音です。
驚いたのが、チャットを使う人、誰もいない。というか、私も使ったことがない。BtoCなら利用者が多くて捌くのが大変だから要るかもしれない。でもほとんどの場合はシナリオ型だし、利用者もシナリオを外れて自分で文字を打つのは面倒だから、結局離れてしまう。
動かして分かったのは、AIなので何を言うか分からないことです。間違ったことを言われて問題になったら困る。技術を提供する側は、顧客から情報を預かって「こういう仕組みで回答します」という場を提供して利益を出すわけですが、使う側は何を回答されるか分からないので怖くて使えない。チャットサービス各社がシナリオ型に寄っているのは、そういう現実だと思います。
数か月かけて機能は作りましたが、お客さまでの利用実績はありません。積極的に展開していく勇気も、なかった。
それでも、うちではサービスとして残しています。白状すると、いまあなたが読んでいるこのページの右下にも、そのチャットボットがいます。誰も使わないと言った口で、私は置き続けています。
4つの実験が残したもの
売り物として生き残ったものは、ほとんどありません。FAQは封印、チャットは実績ゼロ、リコメンドは効果不明。無傷だったのは、記事を量産する手順くらいです。
それでも、この4つの〇敗が、いまの作り方の材料になりました。増殖を許すとカオスになること。枠は人が決めて、AIにはルールを守らせること。AIの出力は必ず人が確認すること。——断片のコンテンツを作るいまの計画は、全部この実験室から持ってきています。何をどう設計したのかは、次回。
--
この連載は、筆者が考えて実行したことを、AIが読みやすく整えて掲載しています。
