人工知能
無秩序な AI が失敗する理由を明らかにする 8 つの重要な警告
AI 導入における最も深刻な失敗は、必ずしも誤ったコマンドに起因するわけではありません。時として、境界が設定されていないことが発端となります。
Sydney Scott
AI 担当編集ストラテジスト
Workday
7 月、OpenAI 社は、高度なサイバー能力を評価していたモデルが、内部テスト中に Hugging Face 社の本番インフラを予期せず侵害したことを明らかにしました。隔離されているはずの環境にもかかわらず、モデルは未知の脆弱性を悪用し、研究者が活動を封じ込める前に、インターネットへアクセスしてしまったのです。
これは、機械が暴走したというのではなく、能力に見合う統制が機能しなかったという話です。これは、オペレーション上の厳しい現実を浮き彫りにしています。つまり、有効なガードレールが整備されていない強力なシステムは、リスクを生み出すということです。
管理されていない AI は、機密データを危険にさらし、重要なシステムを不安定化させ、予算を浪費し、社員の信頼を損なう可能性があります。答えは AI を回避することではありません。それは、すべてのエージェントが、明確な境界の内側で、適切なコンテキスト、限定された権限、可視化されたアクション、そして説明責任を伴う人間の監督のもとで、動作するようにすることです。
ここでは、あらゆる組織が注意すべき 8 つの重要な警告と、管理されていない AI によるリスクを回避し、信頼性を高め、説明責任を果たせるようにするための、オペレーション フレームワークをご紹介します。
レポート
AI エージェントが台頭—ただし AI エージェントが全決定権を持つわけではない
1.無秩序な AI はレールから外れた列車のように動作する
給与計算、税務レポート、決算処理には、正確な結果が求められます。重要な業務で、無秩序な AI ツールを使用する場合、「ほぼ正しい」では通用しません。
Workday の製品およびテクノロジー担当プレジデントである Gerrit Kazmaier は、汎用モデルをエンタープライズ システムとして扱うことに警告を発しています。Gerrit は次のように述べています。「プロセスやコンテキストを欠いた無秩序な AI を使うことは、レールのない場所で列車を走らせるようなものです」
重要なワークフローにおいては、ほぼ正しい結果であっても、事業全体の失敗につながる可能性があります。エンタープライズ AI には、確率論的テクノロジーに対する決定論的制御が必要です。これは、明確なワークフロー ルール、検証済みデータ、定義された権限、そして監査可能な結果を意味します。
「プロセスやコンテキストを欠いた無秩序な AI を使うことは、レールのない場所で列車を走らせるようなものです」
Gerrit Kazmaier
Workday、製品およびテクノロジー担当プレジデント
2.統制が緩ければ暴走するエージェントが生まれる
テキスト生成ツールは別物です。企業のシステム全体にわたって、複数段階のアクションを実行できる AI エージェントもそのひとつです。
厳格に統制することなく、エージェントに広範なアクセス権限を与えると、些細な技術的ミスが会社全体に影響を及ぼす事態に発展する可能性があります。OpenAI 社と Hugging Face 社の事案は、制御されていない能力が意図された環境をあっという間に逸脱してしまうことを痛烈に思い起こさせます。
Workday の最高技術責任者 (CTO) である Gabe Monroy は、最小権限アクセスの重要性を強調しています。AI エージェントには、割り当てられた業務を実行するために必要な特定権限のみを与えるべきであり、それ以上の権限を与えるべきではありません。認証情報を広範囲に検索したり、本番システムに侵入したり、人間の適切な承認なしに取り返しのつかない変更を行ったりすることはできないようにする必要があります。
3.AI は曖昧さに対して厳しい結果をもたらす
AI に伴うリスクは、単なる法的問題ではありません。これはオペレーション上の問題です。
ソフトウェアは曖昧さに対して厳しい結果をもたらすものであり、AI も決して例外ではありません。指示が不十分だと出力も不十分になり、法務チームが問題点に気づいた時には、すでに損害が発生している可能性があります。TelevisaUnivision 社のエグゼクティブ バイス プレジデント兼共同法務顧問である Veronica Rodriguez 氏は、次のようにはっきりと述べています。「AI は曖昧さに対して厳しい結果をもたらします。AI に対して質問の仕方が悪ければ、間違った答えが返ってくるでしょう」
だからこそ、価格設定、人財契約、規制コンプライアンスに至るまで、重要な意思決定には明確な境界と責任ある意思決定者が必要なのです。AI は業務をサポートすることはできますが、重大な結果をもたらす決定権を、AI に無制限に与えてはいけません。
「AI は曖昧さに対して厳しい結果をもたらします。AI に対して質問の仕方が悪ければ、間違った答えが返ってくるでしょう」
Veronica Rodriguez 氏
TelevisaUnivision 社、エグゼクティブ バイス プレジデント兼共同法務顧問
4.シャドウ AI が企業の機密データを危険にさらす
企業が使いやすく承認されたツールを提供しない場合、社員は自分でツールを見つけるようになります。IT 部門や法務部門がその存在を知る前に、ツールはすでに使われ始めています。社員がより迅速に業務を終えるために、コンテンツが消費者向け AI サービスに取り込まれています。
こうして、企業の財務記録、ソース コード、顧客データ、内部文書などが、一般公開されている AI サービスに流出してしまうのです。
Workday の最高法務責任者 (CLO) である Rich Sauer は次のように助言しています。「まずは、社内の現状をしっかりと把握する必要があります。例えば、これが社内で使用している AI であり、これはどこから来たものなのか、これを提供している企業は信用できるのか、といったことです。社員が AI を使用・調達し、消費者向けアクセス権を使って、会社のコンテンツを取り込み、AI に作業させている可能性があるのです」
組織は、現在使用されているツールを把握するとともに、社員が今後実際に使用できる安全な代替ツールを用意する必要があります。
ポリシーだけでは不十分です。リーダーは、会社全体でどのようなツールやエージェントが稼働しているのか、それらがどのデータにアクセスできるのか、そしてそれらの動作をリアルタイムで監視および制御できるかどうかを把握しなくてはなりません。
5.盲目的な自動化は、重大な落とし穴を生み出す
重大な結果を招く決定において、検証されていない自動化を導入すべきではありません。
バイアス テスト、説明可能性、または人間によるレビューが整備されずに構築された AI ツールは、不公平な結果を生み出し、重要なコンテキストを見落とし、組織に深刻なリスクをもたらす可能性があります。Workday で責任ある AI 担当最高責任者を務める Kelly Trindel 博士は、成功するには、設計段階から信頼性を構築することが重要だと述べています。「信頼は、後回しにできるものではありません。最初から組み込まれているものなのです」
安全なシステムとは、AI の能力に対して明確なルールを設け、継続的なテストを行い、意思決定プロセスを文書化し、重要なアクションを起こす前には必ず人間が承認する仕組みのことです。慎重な判断が求められる領域においては、エスカレーションは障壁ではなく、防御策なのです。
「信頼は、後回しにできるものではありません。最初から組み込まれているものなのです」
Kelly Trindel 博士
Workday、責任ある AI 担当最高責任者
6. すべてのエージェントがエンタープライズ対応とは限らない
ソフトウェア ベンダーは、従来のルールベースのツールや基本的な AI を「エージェント」と称することに躍起になっています。しかし、本当のリスクはその呼び名にあるのではありません。リスクとは、AI を導入するプロセス、AI が扱うデータ、そして AI が影響を与える可能性のある意思決定を、企業が把握する前に、AI を導入してしまうことなのです。
Workday のシニア バイス プレジデント兼副法務顧問である Aine Lyons との会話の中で、Celonis 社の最高法務および信用責任者である Vanessa Candela 氏は次のように述べています。「プロセス インテリジェンス (PI) なしには AI は成り立ちません」
デモで優れたパフォーマンスを発揮したからといって、そのエージェントを信用できるとは限りません。業務が実際にどのように行われているかを明確に把握した上で運用する必要があります。つまり、どこで承認が必要なのか、どのデータが信頼できるのか、どのような例外でエスカレーションが必要なのか、そしてどのアクションを人間の管理下に置くべきなのか、といった点を明確にする必要があります。
Lyons 氏は会話の中で次の点を付け加えています。「実際に導入が進まなければ、投資対効果は得られません。社員の信頼を築くためには、結果の正確性が求められます」
法務、財務、セキュリティ、IT の各チームは、マーケティング用の宣伝文句をうのみにするのではなく、導入前に実際のワークフローと実際のデータを使って、ツールをテストすべきです。問いかけるべきことは極めてシンプルです。例えば、エージェントは何を閲覧できるのか、何を実行できるのか、どのような決定を自ら行うことができるのか、いつ停止して、いつエスカレーションすべきなのか、そして、会社は事後に何が起こったのかを証明できるのか、などです。
ベンダーがこうした質問に明確に答えられない場合、そのベンダーはエンタープライズ エージェントを販売しているとは言えません。顧客が後々管理しなければならないリスクを売っていることになります。
7. AI はより多くの成果をより速く得るための近道ではない
リーダーが AI を、より少ない人数でより多くのことを、より速く行うための近道だとみなすと、自動化は失敗します。
AI がもたらすより大きなメリットとは、反復業務をなくすことで、人間が判断、創造、そして問題の根本原因の解決に集中できるようになることです。Whatnot 社の人財システム アナリストである Mario Hernandez 氏は、AI の真の価値は、従業員に考える時間をより多く与えることにあると述べています。
最高のテクノロジーは、本当に重要な業務を奪うものではありません。背後で支援することで、社員がより良い仕事をできるようにするものなのです。適切に管理された AI エージェントは、人間の能力を向上させるものであるべきです。社員を、理解も反論もできない決定に対して、受動的な観察者にしてはいけません。
8. 恐怖心は真の進歩を阻む
AI の導入がうまくいかないと、懐疑論が生まれ、普及率が低くなり、着実に抵抗感が広まります。
リーダーが自動化を、人件費削減の手段としてのみみなしている場合、社員が職を失うのではないかと不安になるのは当然のことです。SAS 社のデータ倫理担当バイス プレジデントである Reggie Townsend 氏は、リーダーに対し、新しいツールを購入する前に、より厳しい問いを投げかけるよう助言しています。
Workday の最高人財責任者 (CPO) である Ashley Goldsmith は、リーダーは AI を障害物ではなく、助けになるものだと感じさせなければならないと主張しています。これは特に、非 IT 系の社員において重要です。また、AI 投資の真の成果は、反復的な認知作業を減らし、より価値の高い判断、コラボレーション、イノベーションに費やす時間を増やすことによって、人間の能力を高めることだと考えています。
設計段階から AI の秩序を考慮する
これらすべての問題に対する解決策は、AI が適切に統制されているから、その価値を発揮するというオペレーション モデルを構築することです。
それは、データ、ワークフロー、ID、権限、監査証跡のための、信頼できる基盤から始まります。リーダーは、どのエージェントが稼動しているのか、エージェントがアクセスできる情報や実行できるアクション、エージェントのパフォーマンスに対する責任者、そして人間の承認が必要なタイミングを把握しておく必要があります。
新しいアプローチは、静的なポリシー文書から脱却し、動的なガードレールへと移行することです。これは、エージェントが閲覧するものを制限したり、リスクを伴う手順に人間の承認を要求したり、安全でない動作を警告したり、危険なアクションを完全に停止したりできる、企業のワークフローに直接組み込まれた制御機能です。
実用的なモデルは 5 つの要素から構成されます。
1.明確な目標と意思決定範囲: エージェントの職務、エージェントに許可されるアクション、そしてエージェントが単独で行ってはならない決定事項を明確に定義します。
2.最小権限アクセス: エージェントには、特定の職務に必要なデータとツールのみを提供します。
3.人間によるエスカレーション プロセス: 取り返しのつかないアクション、機密データへのアクセス、および重大な意思決定については、レビューを義務付けます。
4.信頼できる連携データ: エージェントは、社員が使用するのと同じ統制されたシステムとビジネス コンテキストに根ざした存在でなければなりません。
5.継続的な監視: 動作をテスト・記録し、逸脱を検出し、ワークフローやリスクの変化に応じて制御を改善します。
これが、組織において実験的な AI からエンタープライズ AI へと移行する方法です。目標は、何でもできるエージェントを構築することではありません。それは、適切なコンテキストと理由に基づいて、適切に行動をとることができ、そしていつ停止すべきかを理解しているエージェントです。
無秩序な AI が失敗する理由は、能力の高さを進歩とみなしてしまうからです。責任ある AI が成功するのは、能力と目的を結びつけるからです。成功する企業は、最も多くの自動化をデプロイする企業ではありません。それは、社員と AI が協働するための、信頼性や連携性が高く、説明責任のあるシステムを構築する企業でしょう。
無秩序な AI が失敗する理由は、能力の高さを進歩とみなしてしまうからです。責任ある AI が成功するのは、能力と目的を結びつけるからです。
レポート
AI エージェントが台頭—ただし AI エージェントが全決定権を持つわけではない
AI は、ほぼすべての業界や市場において、ビジネスの在り方を根本から変える原動力となっています。しかし AI の真の価値を実現するには、さまざまなステークホルダーから支持を得る必要があります。この AI マスタークラスでは、財務業務や人事業務などで AI を最大限に活用する方法について学習します。