エージェントが懇親会に
企業は AI エージェントにより多くのアクセス権を与えようと急いでいますが、真のボトルネックはアクセス権ではなく、整った最新のコンテキストです。
Julie Colwell
プリンシパル ストラテジスト
Workday
企業は AI エージェントにより多くのアクセス権を与えようと急いでいますが、真のボトルネックはアクセス権ではなく、整った最新のコンテキストです。
Julie Colwell
プリンシパル ストラテジスト
Workday
エージェントが懇親会で、会計の全額を経費として計上しようとします。
エージェントは、チームの夕食会を終えたばかりの社員に代わって、会計を処理しようとしているのです。
そして、エージェントがまさにその通りに実行します。チップを含めた全額を、何も質問することなく承認します。
問題: 6 人の「チーム」メンバーのうち 2 人が臨時従業員であり、臨時従業員の日当は正社員よりも低く設定されています。実際に適用されるポリシーは、エージェントが共有ドライブから取得したグローバル ポリシーではなく、財務部門が 11 週間前に更新した地域別の追加ポリシーであり、エージェントが確認しなかった別のシステムに保存されています。また、500 ドルを超える金額については、事後ではなく、支払い前にディレクターの承認を得る必要があります。
真相: エージェントは、ハルシネーションによってポリシーを作り出したわけでも、計算を間違えたわけでもありませんでした。与えられたコンテキストに基づいて動作し、欠けているコンテキストを無視したのです。これが、現在のエージェント型 AI の最大の問題点なのです。
レポート
エージェントは、ハルシネーションによってポリシーを作り出したり、計算を間違えたりしたわけではありません。与えられたコンテキストに基づいて動作し、欠けているコンテキストを無視したのです。
あらゆる企業が、実質的な意思決定をエージェントに委ねようとしています。それは、経費、承認、ヘッドカウント、給与計算にまで及んでいます。こうした意思決定の質は、その意思決定の根拠となる情報の質に左右されます。現状では、ほとんどの企業内の情報は分散され、古く、矛盾しています。
データ:
調査全体を通して一貫した傾向が見られます。それは、エージェントが情報に対して十分にアクセスできていないということではありません。問題は、その情報を「エージェントが行動に移せるほど整った状態」にする作業を、誰も行っていないということです。
エージェントが失敗する原因は、知識が不足しているからだと考えがちです。たいていはその逆です。
研究者はこの現象に「コンテキストの劣化」という名前を付けました。AI システムが選別しなければならない情報量が増えるにつれて、誤った情報を重視したり、重要な詳細を見落としたりする可能性は、減るどころか増えていきます。Chroma 社が行ったコンテキストの劣化に関する調査では、タスクの難易度に関係なく、与える情報が長くなるほど、主要なすべてのモデルでパフォーマンスが低下することが明らかになりました。
関連する、よく知られた失敗事例として、「中間部分の見落とし」という影響があります。これは、モデルが与えられた情報の最初と最後にばかり過剰な注意を払い、中間部分に埋もれた情報を見落としやすくなる現象を指します。40 ページにも及ぶポリシー文書の PDF ファイルの中間部分に「地域別の食事代上限に関する追加ポリシー」を埋もれさせてしまえば、それが AI に考慮されない可能性は十分にあります。
この問題を解決するための新たな分野として、コンテキスト エンジニアリングと呼ばれるものがあります。これは、エージェントに与える情報を単に収集するだけではなく、精選すべきものとして扱うという考え方です。この実践に関し、業界で広く引用されている記事で述べられている主要な考え方は、モデルにさらに多くの情報を与えることが目標ではなく、実際に職務を遂行できる最小限の情報セットを見つけ出すというものです。これは、多くのエンタープライズ ソフトウェアが解決してきた問題とは異なる設計上の問題です。この 20 年間、あらゆる情報を収集し、検索可能にすることが本質的なアプローチでした。エージェントは、このアプローチを評価するどころか、マイナスに働かせるのです。
関連する一連の調査 (エージェントの信頼性に関する最新調査を含む) は、別の角度から同じ点を指摘しています。つまり、エージェントは単独で失敗することはめったにないということです。エージェントの動作は、与えられたコンテキストにおける指示、記憶、ツール、そして取得された情報によって完全に形成されます。そうしたコンテキストが不十分である場合、エージェントはタスクから逸脱したり、古い情報に基づいて絶対的な自信を持って動作したり、適切な状況に対して誤ったルールを適用したりする可能性があります。
こうした問題は、デモでは一切現れません。デモは、ほぼ設計上、エージェントのコンテキストが最も精選され、整った状態にある唯一の機会です。本番環境には、実際に社員、地域的な差異、例外があり、そして 6 か月前には正確であっても今では正確性に欠けるデータが存在するのです。そのギャップこそが、エージェント型 AI のパイロットが行き詰まる原因であり、Gartner 社が今後 2 年以内にかなりの割合でエージェント型 AI プロジェクトが停滞すると予測する理由でもあるのです。
これはチームの夕食会に限ったことではありません。同様の状況は、財務部門が決算を行うとき、福利厚生の申し込み時、あるいはベンダーとの契約更新の際にも起こり得ます。エージェントが動作を求められる場面では、実際のところ 2 つの経路しかありません。最新で、曖昧さのない明確なコンテキストを与えれば、エージェントは、適切なルールを適用し、真の例外を指摘し、明確化するための重要な質問をするなど、何をすべきかを正確に理解します。
あるいは、ばらばらで矛盾した情報の寄せ集めに基づいて作業させれば、間違った申請を承認したり、何にも従わなかったり、質問すらしなかったりすることになります。
この問題には、一見すると「解決した」ように見えて、実はそうではないパターンが存在します。それは、人事システム、ポリシー Wiki、前四半期の支出データなど、あらゆるものに技術的に連携されているエージェントです。
アクセス権はもはや、多くの組織が直面する制約要因ではなくなっています。質が重要なのです。
Cognizant 社は、オーストラリアで給与計算を管理する際に、まさにこの問題に直面しました。オーストラリアでは、企業は給与計算のたびに、税金と年金に関する詳細を 24 時間以内に税務署に報告しなければなりません。コンプライアンス要件においては、古くなったコンテキストや、システム間で分断されたコンテキストは、実質的に一切許されないのです。
これまで Cognizant 社のチームは、給与計算を完了するのに 9 日間を費やしていました。その多くは、ひとつのシステムが把握している情報と別のシステムが必要とする情報を照合調整するための、手作業によるレポート作成や仕訳作業に費やされていました。給与計算を単一の接続されたシステムに統合したことで、処理期間が 2 日間に短縮されました。手作業でデータを繋ぎ合わせる必要がなくなり、正しいコンテキストがようやくひとつの場所に集約されたからです。
アクセス権はもはや、多くの組織が直面する制約要因ではなくなっています。質が重要なのです。
エージェントは食事代に関するポリシーにアクセスできましたが、地域別の最新ポリシーにはアクセスできませんでした。参加者データにはアクセスできたものの、カレンダーの予定から、インターンと正社員を判別する手段はありませんでした。承認ワークフローへのアクセス権はあったものの、この経費は事後ではなく、支払い前にワークフローを経由する必要があるという指示はなかったのです。
必要なコンテキストはすべて、技術的には企業内のどこかに存在していたのです。それらのコンテキストはどれも、整理されておらず、最新のものでもなく、意思決定が行われる時点で、意思決定に紐づいたものでもなかったのです。
エージェントとデータソースを連携することと、エージェントにコンテキストを与えることは同じではありません。コンテキストとは、評価・構造化され、そして最新の状態に保たれているものなのです。ポリシー文書は、誰か (あるいは何らかのシステム) が、どのバージョンが正式であるかを判断し、それを適切な役割や地域に紐付け、さらに、事実がポリシーに当てはまらない場合にどう処理すべきかを定義して初めて、コンテキストとなるのです。
エージェントとデータソースを連携することと、エージェントにコンテキストを与えることは同じではありません。
同じエージェントに、整備されたコンテキスト (役割とヘッドカウントに正しく関連付けられた最新の地域別ポリシー、支払い前に必要となる承認に関する明確な指示、その場に誰がいたのかを明確に把握できる情報など) を与えれば、結果は一変します。エージェントは 2 人のインターンの日当に対しフラグを立てます。カードで決済される前に、合計金額を承認プロセスへと回します。そして、適切な額のチップを残します。
エージェントが賢くなったわけではありません。すべては与えるコンテキスト次第なのです。
エージェントが賢くなったわけではありません。すべては与えるコンテキスト次第なのです。
エージェント型 AI で成功を収める組織は、必ずしも最も高度なモデルを有する組織とは限りません。企業内のコンテキストを、エージェントが行動に移せるほど価値ある状態にするという、不可欠な取り組みを行った組織なのです。
レポート