開発AIエージェントの能力を引き出すLLMの原理への理解

開発AIエージェントにプログラムを書かせてみたけど、思った通りにいかなかった。その一度の経験で「やっぱりAIはまだダメだ」「ハルシネーションがあるから信頼できない」と結論づけてしまう人は少なくありません。このようにAIの出力はガチャであるという世界観は、誤りであるだけでなく、自分の可能性も狭めています。

「やっぱりAIはダメだ」という認知バイアス ​

「AI効果」という言葉をご存じでしょうか。人間にはAIの能力を過小評価する認知バイアスがあり、AIが何かを達成しても「それは本当の知能ではない」と再定義してしまう傾向が、研究でも示されています。

「やっぱりAIはダメだ」という評価も、実はこのAI効果という認知バイアスに陥っている可能性があります。少なくとも、そのような疑いの目を常に自分に向けてみることは、思考として健全です。

一度の出力がAIの実力ではない ​

この早すぎる見切りの背景には、LLM（大規模言語モデル）の仕組みへの理解不足もあります。

多くの人がAIに対して持っているイメージは、「質問を入れると、それらしい答えを返す装置」というものでしょう。この理解では、一度期待外れの答えが出た時点で「これがこのAIの実力だ」と結論づけ、同じ質問をしても同じ結果が返ってくるだろうと思い込んでしまいます。

しかしLLMの動作はそうではありません。AIが過去に生成した回答、そしてそれに対するあなたの訂正や追加指示──これらすべてが次の入力になります。根気よくフィードバックを続けていくことで、出力は少しずつ改善されていく。どこかのタイミングで、期待する水準に到達する瞬間がやってきます。

これはガチャ（独立した試行の繰り返し）とは根本的に違います。前のやり取りの蓄積が、次の出力の品質を押し上げるフィードバックプロセスなのです。

このように前回の出力とユーザーの次の入力を積み重ねていく流れは、ChatGPTがLLMをチャット形式に応用したことで生まれたイノベーション、いわゆるチャット補完（Chat Completion）のひとつと言っていいでしょう。相互に作用しながらひとつの成果物を磨き上げていく、その原型がここにあります。

早々に見切りをつけるということは、このチャット補完というイノベーションの強みを知っていながら、自らその効果を切り捨ててしまう矛盾をはらんでいます。

フィードバックで変わった実体験 ​

弊社のWebデザインは、現在ほぼ100%AIによる生成に移行しています。まだ人間のデザイナーには及ばない部分もありますが、最初にAIにデザインを依頼したときの出力は、期待との大きな乖離がありました。悪い意味でAIチックな、いかにも自動生成されたデザインが返ってきて、正直がっかりしました。

しかし、そこで見切りをつけず、直してほしいポイントやフィードバックを根気よく伝え続けました。するとあるタイミングから、短いプロンプトでもほぼ期待通りのデザインが出てくるようになったのです。最初の出力で見切りをつけていたら、この体験は得られませんでした。

バイアスを超えるためのふたつのアプローチ ​

では、この短絡的な見切りをどう乗り越えればよいのでしょうか。

ひとつは、AIとの相互作用による共同作業を数多く経験することです。一問一答で答えをもらうだけではなく、ひとつの成果物をAIと一緒に磨き上げていくプロセスを踏む。その中で、フィードバックによって出力が改善されていく実感を得ることが、バイアスを解消する最も確実な方法です。

もうひとつは、LLMの原理に目を向けることです。LLMがどのような仕組みで動いており、それをもとにしたAIシステムが今どのような原理で私たちの前で働いているのか。その理解があれば、一度の失望でAIを見限ることなく、より正確で健全な期待を持ってAIと向き合えるようになります。

AIとの共同作業を通じて成果物を磨き上げる経験を、組織として積み重ねるには、実践的なサポートが効果的です。週1回のセッションで、AIの可能性を最大限に引き出すノウハウを組織に根付かせるコーチングを提供しています。

AI開発コーチング

「自走するAI中心チームをあなたの組織に」。週1回の継続セッションで、AIによる爆速開発と業務戦力化を組織に定着させる実践型コーチングサービスです。