AIに書かせた文章が、間違ってはいないのに当たり前のことしか言わないのはなぜ?
実際の開発でどんなふうに作って、どんなふうに役立つのか。文書に起こすのは並大抵のことではありませんが、それが一番伝えたいことだったりします。
そこで、AIに必要と思われる材料(実際のプログラムや導入事例のページ)を渡して、文書にさせてみました。思うような答えは得られませんでした。30本の記事を書かせ、何度もプロンプトを工夫しましたが、公開できるものは0本でした。
材料には「どう作ったか」はあっても、「なぜそう作ったか」はどこにもなかったのです。振り返れば、材料にないことを書け、ただし創作はするな、というのは無理な注文でした。
詳しくは:導入事例からノウハウ記事をAIで書こうとしたら、書けなかった
資料を渡してAIに書かせると、資料にない話が混ざる。何を指示すれば減らせる?
通説になっている、AIは創作する、事実にないことを書く。ただ、AIが書いたものをすべて人がチェックするのは本末転倒です。AIに事実に沿ったことだけを書かせるにはどうすればいいか、試しました。AIに「回答の根拠になった箇所を示せ」と添えると、資料にないことはほとんど書かなくなりました。
一方で、AIに導入を検討している担当者を演じさせ、当事者らしい質問を作らせようと「自社に引き寄せた形にすること」と足したら、AIは架空の会社の事情を作り始めました。よかれと思って足した一行が、AIに作り話をさせていました。
詳しくは:aboutページは書くものではなくなった/AIが質問して、私が答える
AIに伝えた執筆上の注意が、本文にそのまま出てきてしまうことはある?
契約や協業などセンシティブな内容をAIに書かせたとき、プロンプトに入れた「最低金額などの条件を新しく作らない」という注意が、公開するつもりだったページに「規模の目安を金額で示すことはしません。」という一文として、そのまま出てきました。次に、AIの役割を変えて「読者の目線で文書をチェックして」と伝えると、AIがこの文を見つけて削りました。同じ文書でも、AIに与える役割を変えると、別の使い方ができます。
AIに書かせたタイトルが、正しいのにつまらない。事実を越えずに面白くするには?
管理画面の機能の説明文書は、131画面分をAIで作ることができました。機能が持つ事実です。この事実から、読者が共感できるような場面の話を作り、読み物を作れないかと思いました。AIは事実をそのまま言い換えるだけで、面白いタイトルにすることはできませんでした。最後は、タイトルは人が書き、AIにはそのタイトルが事実と合っているかを根拠と照合させました。人とAIの役割の逆転です。
詳しくは:AIにタイトルを作らせたら、正しくて、つまらなかった
AIに書かせた営業文の言い過ぎは、どこに残りやすい?
AIで作った機能の解説ページ127本と、AIが担当者役で質問し私が答えた問答を組み合わせて、利用シーンに合わせた入口ページ(LP)を16本、AIに作らせました。入口ページの大半は解説・問答ページの説明文と、それらへのリンクで構成しています。AIが新しく書いたのは導入の数文だけでしたが、そこに「体制が持ちません」「破綻します」といった、根拠のない予言が入っていました。「同じ作業がブランドの数だけ発生します」のように、実際に起きることだけを書く形に直しています。大半を既存の事実で構成したので、確かめるのは新しく書いた数文だけで済みました。創作になる営業文は少ないほうが。
詳しくは:127本の事実に、16個の入口
AIに強い表現で書かせても、事実から外れないようにするには?
同じ製品への入口ページを、広告ポスターのような一行だけのものから、約6万字の長文まで、作りをわざとばらして7本AIに書かせました。表現・構成・文章量は自由にして、使ってよい語と数字だけを、公開済みの機能説明のページ・FAQ・導入事例で確かめられるものに限りました。
それでも作っている途中で、存在しない「セミナー機能」という名前を使いそうになりました。これは機能説明のページと照らして外しましたが、人がチェックする必要がありました。それらしい導入先の会員数も候補に挙がりましたが、AIに公開している導入事例のページを確かめさせると、どこにも書いてなかったので使っていません。
「すべてを、これ一つで」という強い表現も、中身が事実であれば問題ありません。言い切りの強さと、中身の創作は別でした。
詳しくは:同じ製品で、LPを7本作った
AIなら業種別のページもいくらでも書ける。実績が足りないとき、どうした?
AIなら書けました。でも、書けることと、自分たちが言っていいことは別だと考えて、やめました。使い道ごとの案内ページを16本作るとき、最初は業種別にする予定でした。業種別なら、その業種でこう使われているという実績が要ります。公開している導入事例では、16業種分を裏付けられませんでした。そこで業種ではなく、「なぜWeb運用が大変なのか」という困り方(更新する人が増える、権限や承認が要る、など)で分け直しました。困り方なら、事例がなくても、機能を説明したページの事実で答えられたからです。
詳しくは:127本の事実に、16個の入口
製品の説明が、機能の紹介ばかりで終わってしまう。使う人の仕事の話にするには?
私たちの一連の実験では、最初に機能ができることを事実で書いた127本の機能説明を根拠にして、「それにないものは書かない」というルールで一貫していました。それはAIの創作を防ぐ防波堤として機能しましたが、人の利用シーンや困りごとなど、営業的な文を作り出すことはできませんでした。最終的には、前のサイトに残っていた「この仕組みで、こういう仕事が楽になる」という営業の文章を利用し、それをAIに事実で確かめさせたうえで、書かせる材料にしました。
資料を全部渡せば、AIは製品の全体像まで書ける?
私たちは、管理画面の1画面を1機能(その時点で130本)として最小単位にし、関連する機能を機能群にまとめ、さらにその機能群をCMS、フォームなどの分野に割り当てるところまでは、それまでにAIでおおよそ行うことができていました。ところが、その材料を全部渡して製品の全体像を書かせると、管理ユーザーが所属する組織と、そのユーザーが操作できるサイトの関係のように、複数の機能をまたぐものはAIでは推測できませんでした。推測するための情報が材料に足りなかったためで、そこは人が別の情報として用意する必要がありました。
詳しくは:aboutページは書くものではなくなった
同じ指示でも、AIを替えたり何回か書かせたりすると、どれくらい違う?
私たちの実験では、AIが書いた製品の事実(機能説明130本、機能群のまとめ36本、導入事例20本)だけの場合と、それに以前人が書いた製品ページ9本を加えた場合の2通りの材料で、2つのAIに2回ずつ、計4回、同じプロンプトで新しい製品ページを作らせました。製品の特徴は似たものになりましたが、章立てや文章が一致したことはありませんでした。同じように、製品機能の事実(機能説明131本と、関連する機能をまとめたページ)だけを使って、そこから一言で言える発見を二つのAIに10本ずつ、計20本のタイトルとして出させたところ、重なりはありませんでした。