このブログは、自社のCMS「writeWired」のサイトを、AIと一緒に作り直してきた記録です。この記事は、作り直しを始める前に、私がAIをどう試してきたかの記録です。記事の量産には当時のClaudeを、FAQの自動生成にはOpenAIのgpt-4-turboを使いました。
やりたかったこと：AIで、サイトのコンテンツと入口を増やしたかった
検索から新しいお客さんに来てもらいたくて、私はサイトの記事を自分で書いていました。そこにAIが出てきて、文章を直す、書く、整理するといったことを任せられるようになりました。
試したのは、コンテンツそのものを良くすること、増やすこと、そして読者がコンテンツにたどり着く入口を増やすことです。writeWiredは自社のCMSなので、AIをCMSの機能と組み合わせて、大量のコンテンツをまとめて処理する機能も作りました。
先に書いておくと、うまくいったものは多くありません。私は、「想像した結果を得られない方法の発見」を「〇敗」と呼んでいます。以下、試した順に書きます。
モデルの違いやプロンプトの書き方の説明は省きます。プロンプトは、AIに「どう書いたらいい？」と聞く方が早いです。
試したこと1：既存の記事を、AIに読みやすく書き直させた
既にある記事を丸ごとAIに渡して、「SEOを意識して読みやすくして」と頼みました。
結果は良かったと思います。自分で書いた強い主張と冗長な表現がほどよく中和されて、読みやすくなりました。機能紹介も導入事例も全面的に書き直して、サイト全体が落ち着いた内容になりました。
ところが、検索順位が急落したのはこの頃からです。
「AIが書いた記事は評価されない」とは言われていました。でも、元の原稿は私が書いたものです。しかもGoogleの大きなアップデートと時期が重なったようで、元に戻せば順位が戻るという保証もありません。何をしていいか分からなくなりました。この経緯は、連載の最初の記事に書いています。
試したこと2：手順を決めて、AIに連載記事を書かせた
骨子を先に固め、一話ずつ書かせた
当時は「コンテンツを増やせば順位が上がる」と言われていました。そこでAIで記事を増やすことにしました。ただし、勝手には書かせません。手順はこうです。
- 連載の回数とテーマ、対象読者の属性を渡して、最終回までのタイトル・リード・概要を一度に出させる。連載全体のタイトルとリードも出させる。全体を見渡して、面白いものになりそうかを判断し、納得するまで骨子を作り直す
- 骨子と「今回は何回目の記事か」、読者の属性をプロンプトに入れて、一話ずつ書かせる。面白いか、不備がないかを私が確かめて、具体的な修正を指示し、読み物になるまで繰り返す
AIは書きすぎ、根拠のない数字を入れてきた
当時のClaudeは、ものすごい量を書いてきました。深く掘り下げてあって参考にはなるのですが、読む方が疲れます。
もう一つ困ったのが数字です。Claudeは「記事には数字が必要」と強く主張して、具体的な金額まで書いてきます。ところが根拠を確認すると、「ありません」と言い切る。全部直させました。
テーマを絞れば、AIの書く記事から学ぶことは多くあります。でも、指示する側にその分野の知識がないと、合っているかどうかの判断がつきません。人の確認は欠かせませんでした。
書いたあとの手間も、AIで減らした
手順が固まると作業はかなり楽になりましたが、次に手間がかかったのがHTMLにすることでした。AIの出力はマークダウンという形式で、決まった規則でHTMLに変換できます。そこで、AIの出力を貼るだけで、スクロールに付いてくる目次つきのページになるCMSのテンプレートを作りました。変換のプログラムもAIに書かせ、2時間でできました。
この方法で作ったのが、サイトのデジタル運用ガイドのシリーズです。慣れると私の作業は機械的になり、1シリーズを2日ほどで作れるようになりました。
上級者向けの細かい語では、上位に来る記事があった
そして、試したこと1で聞いた「AIが書いた記事は評価されない」です。この方法で作った記事の中には、上級者向けのニッチな検索語で、しっかり上位に来るものがありました。私が狙っていたのは、まさにその層です。思い込みの側が間違っていました。
試したこと3：FAQ・キーワード・カテゴリを、AIにまとめて作らせた
記事からFAQを出させ、FAQから入口を作ろうとした
記事を一通り作ると、次はそのコンテンツから入口を増やしたくなりました。AIにコンテンツを読ませると、FAQ・キーワード・カテゴリを出してくれます。これを製品の機能として作りました。同じFAQ生成のプロンプトを多数のページに通して、出てきたFAQ・キーワード・カテゴリから、生成元のコンテンツへ読者を案内する仕組みです。
当時のAIは一度に読める量に限りがあり、1ページずつ、さらにページを分割して処理する必要がありました。すると、同じプロンプトでも似たようなFAQ・キーワード・カテゴリが大量に出てきます。そこで、段階に分けて処理しました。
- 1回目：全コンテンツからFAQを抜き出して、データベースに入れる
- 2回目：FAQからキーワードを抜き出して、データベースに入れる
- 3回目：キーワードからカテゴリを抜き出して、データベースに入れる
増えすぎないように、2回目のプロンプトには既に出ているキーワードを並べ、「似たものがあればそれに属せ。無い場合にのみ新しく追加せよ」と指示しました。3回目のカテゴリにも同じ指示を入れました。
結果は、選べない量になった
結果は、ただのカオスでした。目安の数字です。
- 分割後のコンテンツ：191
- 生成されたFAQ：1,899
- 生成されたキーワード：3,132
- キーワードとFAQの組み合わせ：5,679
- FAQから生成されたカテゴリ：145
- カテゴリとFAQの組み合わせ：4,041
生成されたFAQを3つだけ見せます。
Q. サイトを訪れる顧客の動向を追跡して分析したいのですが、どうすればいいですか？
A. writeWiredなら、サイトのアクセスログやフォームの送信履歴、メールの開封状況、URLクリックのデータをリアルタイムで統合分析できます。（以下略）
Q. メールキャンペーンの効果をどのように測定すれば良いでしょうか？
A. writeWiredなら、配信したメールの開封状況やURLクリックの跡を追跡することで、キャンペーンの影響を分析し、効果測定が可能です。（以下略）
Q. 未来の顧客行動を予測するには？
A. writeWiredなら、ユーザー行動履歴の分析より、顧客の行動パターンを見つけ出し、将来の予測を立てることができます。（以下略）
一つ一つは、もっともらしい内容です。でも、全部この調子で1,899問あります。1枚の広告を100人に見せて、感想を聞いたようなものです。キーワードは「AIコンテンツ作成／AIコンテンツ最適化／AIコンテンツ生成／AIコンテンツ管理／AIリライト／AIリライト影響／AIリライト活用……」と3,132語。カテゴリは「AI技術を活用したい／AI技術を活用したい方はこちら／CMS予算ニーズ対応／CMS価格変動対策……」と145個。読む人が自分のこととして選べる量ではありません。
どう見えるかを確かめたくて、カテゴリを押すとキーワード、キーワードを押すとFAQが出るページも作りました。カオスでした。
増えるのを、指示だけでは止められなかった
原因ははっきりしています。処理の途中で、キーワードとカテゴリが増えるのを許したことです。「似たものに属せ」という指示では、増えるのは止まりませんでした。AIにルールを守らせること、守らせる指示をすること。AIに自由にさせたらダメ、ゼッタイ、です。
AIが出すカテゴリやキーワードには、人が思いつかない言葉が混じっていて、その点では役に立ちます。ただしそれは、あらかじめ決めた枠と、何をどう分けるかの共通の認識があってのことです。そして、必ず人が要ります。
この機能は数か月かけて作りましたが、効果を出さないやり方だと分かったので、製品の機能としても封印しました。とほほですが、経験になりました。
試したこと4：文章を数値に変えて、似た記事を並べた
エンベディングは、文章を数値に変える技術です。面白いのは、変えた数値同士で、似ているか似ていないかを測れることです。APIに文章を送ると数値が返ってくるので、あとはその数値を使います。用途は、おすすめの表示です。
おすすめの表示は、昔から夢のように語られてきました。ビッグデータが流行った頃に別のツールを試したときは、サーバーを何台も用意して、何時間もかけて出た結果が「よくわからない」ものでした。複雑な計算で出てくるので、表示されても、なぜそれが出たのか読み取れないのです。
エンベディングは、それに比べると分かりやすい仕組みです。コンテンツの集まりAとBをそれぞれ数値にして、Aの各コンテンツに、Bから一番似たものを探して並べる。ExcelのVLOOKUPのような定型の作業です。
結果、それらしく似たコンテンツがおすすめに並びました。ただ、呼び名としては「おすすめ」より「似たコンテンツ」の方が正しい。「あなたが直近見た5つのコンテンツに最も似たコンテンツ」も出せますが、それは仕組みをそのまま言っているだけです。
自社サイトで実際に使ってみました。にぎやかには見えます。効果は、分かりません。
試したこと5：自社の文書から答えるチャットボットを作った
質問させるまでが難しかった
次はチャットボットです。仕組みはFAQと似た記事の応用です。利用者の質問を数値に変えて、似た文書を探し、質問と一緒にプロンプトへ渡して、その文書から答えを組み立てさせます。
チャットは単純に見えて、奥が深いものでした。最初のあいさつの文章、それと一緒に出す「どんなことにご興味がありますか？」という選択肢。はたから見ていると、利用者が勝手に質問してきて、それに答えればいいのだと思っていました。とんでもない。利用者が質問するところまで促すのが、大変な仕組みでした。結局、シナリオを決めて選択肢を出し、選択肢にない文字が入力されたときだけAIで答える形にしました。
誰も使わなかった
ここからは本音です。
驚いたのは、チャットを使う人が誰もいないことでした。私自身も使ったことがありません。利用者が多いBtoCのサイトなら、人手で捌ききれないので要るかもしれません。でも、ほとんどの場合はシナリオ型で、利用者もシナリオを外れて自分で文字を打つのは面倒なので、結局離れてしまいます。
動かして分かったのは、AIなので何を答えるか分からないことです。間違ったことを答えて問題になったら困ります。仕組みを提供する側は、お客さまから情報を預かって「こういう仕組みで答えます」という場を用意しますが、使う側は何を答えられるか分からないので、怖くて使えません。チャットのサービスがシナリオ型に寄っているのは、そういう事情だと思います。
数か月かけて機能は作りましたが、お客さまでの利用実績はありません。積極的に広げていく勇気も、ありませんでした。
それでも、うちではサービスとして残しています。白状すると、いまあなたが読んでいるこのページの右下にも、そのチャットボットがいます。誰も使わないと言った口で、私は置き続けています。
その後
試した5つを、成果につながる方法として使い続けられたかで並べると、こうなります。
- リライト：読みやすくはなったが、順位を上げる方法にはならなかった
- 記事の量産：今も使っている。この手順で作ったシリーズは公開を続けている
- FAQ・キーワード・カテゴリの自動生成：製品の機能としても封印した
- 似たコンテンツの表示：自社サイトで使ってみたが、効果は分からない
- チャットボット：サービスとして残し、このページにも置いているが、お客さまでの利用実績はない
置いてあるものはありますが、使い続けられたと言えるのは記事の量産だけでした。
それでも、ここで分かったことは、この連載で書いてきた作り直しにそのまま使っています。管理画面の機能を1画面1ページで書いた解説ページを先に作り、どの事実を何に使うかを人が台帳で決め、AIにはその範囲で書かせる、という作り方です。サイトのFAQ（111問）も、のちに作り直しています。このときは、答えを機能の解説ページに書いてある事実だけで書かせ、根拠を答えの下に示しました。
今回の試行で分かったこと
AIに増やさせるなら、増えてよい範囲を人が先に決める
FAQ・キーワード・カテゴリの自動生成は、「似たものに属せ」と指示しても増え続け、1,899問、3,132語、145個になりました。AIは、頼めばいくらでも出します。出たものを後から絞るのではなく、どこまで増えてよいか、何に分けるかの枠を、先に人が決めておく必要がありました。指示で頼むだけでは、その枠の代わりになりませんでした。
AIが入れた数字や断定は、根拠を聞く
記事の量産で、Claudeは具体的な金額まで書いてきましたが、根拠を確認すると「ありません」と答えました。文章が整っていると、数字も正しく見えます。AIに書かせた文章は、数字や言い切りのところで、それが何に基づいているかを確かめる必要があります。それができるのは、その分野を知っている人だけです。
使い続けられたのは、人が手順と確認を決めたものだった
試したものの中で成果につながる方法として使い続けられたのは、骨子を人が固め、一話ずつ人が確かめて直させる、記事の量産の手順だけでした。FAQの自動生成は、出てきた量が人の確かめられる量を超えていました。チャットボットは、AIがその場で答えるので、答えを人が先に確かめることができません。どちらも、確かめる場所を作れないまま、AIに出させる作りでした。AIに何を任せるかを決めるときは、出てきたものを誰が、どこで確かめるかを、一緒に決めておくことが要ります。
