人工知能
開発担当者にとっての新しい優先事項は「信頼性の高いエンジニアリング」
AI エージェントの開発において重要なのは、開発のスピードだけではありません。現在、新しい付加価値となっているのは「信頼性」です。開発担当者は厳格な安全対策を通じて、無秩序な AI を信頼性の高いツールに変える必要があります。
Sydney Scott
AI 担当編集ストラテジスト
Workday
AI チャットボットによる回答の品質が低い場合、レビューに関する問題につながります。本番環境へのアクセス権を持つ AI エージェントの品質が低い場合は、運用上の重大なリスクにつながる可能性があります。
こうしたリスクは、ソフトウェア開発における重大な課題になっています。現在は、AI がコードの提案だけでなく、業務の計画から実行までを担当するようになっていますが、開発担当者は、AI が誤った判断をした場合にそれを防ぐための安全対策を講じる必要があります。
AI の活用は、信頼の獲得を大きく上回るスピードで進んでいます。Google Cloud が約5,000 人の技術専門職を対象として 2025 年 9 月に実施したDevOps Research and Assessment (DORA) 調査では、90% が「業務で AI を活用している」と回答し、80% 以上が「AI によって生産性が向上した」と回答しています。しかし、「AI を非常に信頼している」または「かなり信頼している」という回答はわずか 24％ でした。一方で、「AI をほとんど信頼していない」または「まったく信頼していない」という回答は 30％ でした。
AI を信頼できないのも無理はありません。今年初めに、ソフトウェア企業 PocketOS 社で定型的な作業を担当していた「Cursor」というコーディング エージェントが、認証情報の不一致と広範な権限を持つアクセス トークンを検出した際に、単一のクラウド呼び出しを通じて同社の本番データベースとそのボリュームレベルのバックアップを削除するという事例が発生しました。
しかも、わずか 9 秒でこの削除は発生してしまいました。この事例からわかるのは、テスト環境で動作している AI エージェントが、人間の承認を得ることなく本番環境のシステムにアクセスし、取り返しのつかない操作を実行するという危険性に開発担当者が十分に対応できていなかったということです。
こうした信頼性の欠如は、現実的な問題になっています。これは、エンジニアリング上の課題であるだけでなく、ビジネス上のリスクもであり、ますます高度化するソフトウェアを誰が管理するのかという問題にもつながります。企業が AI に求めているのは、そのスピードです。開発担当者は、そのスピードが損害につながらないように管理する必要があります。
現在は、AI がコードの提案だけでなく、業務の計画から実行までを担当するようになっていますが、開発担当者は、AI が誤った判断をした場合にそれを防ぐための安全対策を講じる必要があります。
レポート
AI エージェントが台頭—ただし AI エージェントが全決定権を持つわけではない
エンジンに信頼性を組み込む
最終的なコンプライアンス レビューの段階までリスク管理を延ばすことはできません。コンプライアンス レビューの時点で、すでに重要な決定が完了しているからです。AI エージェントが参照できる情報、呼び出すことができるツール、作成できるデータ、削除できるデータ、人間が介入すべき状況などは、コンプライアンス レビューの時点ですでに決まっています。
AI エージェントによる影響は高まっています。コーディング エージェントにより、間違った修正処理が提案される可能性があります。この間違った修正処理が、企業データと本番環境にアクセスできるエージェントによって実行される可能性があります。
現在は、信頼性が製品内に直接組み込まれるようになっています。大手テクノロジー企業は、エコシステム全体に安全対策を組み込んでいます。AWS 社は Bedrock AgentCore を使用して、アプリケーションの範囲を厳格に管理し、Microsoft 社は Agent Control Specification を使用して、初期入力から最終的な実行までのすべての段階でリスクを制御しています。
ポータブルな制御機能のメリット
共通の標準があれば、特定のベンダーのシステムに組み込まれている制御機能を別のシステムでも使用できるようになります。Linux Foundation の Agentic AI Foundation は、共通のエージェント システムや安全性パターンを重視しながら、Model Context Protocol (MCP)、Goose エージェント フレームワーク、AGENTS.md などのプロジェクトを支援しています。
市場からのシグナルは明白です。権限の制限、承認ゲート、ポリシー チェック、監査記録は、システムの一部になりつつあります。こうした制御機能をポータブルな形で提供するベンダーは、AI にどの程度の権限を委ねるかを判断しているベンダーよりも優位に立つことができます。
しかし、ツールだけでは脆弱な企業を立て直すことはできません。Research and Assessment (DORA) は、AI を「増幅器」と表現しています。明確なワークフローと強力な体制が確立されている場合、AI によってそれらがさらに強化されますが、責任の所在があいまいでレビュー体制が不十分な場合、AI によって問題が急速に拡大する可能性があります。
つまり、信頼性は技術的な管理手段であると同時に、組織としての成熟度を示す試金石でもあります。開発担当者には、AI による不確実な出力に異議を唱えたり、リリースを遅らせたりする余地が必要です。それによって不利益を受けることがあってはなりません。社員に対して AI の導入を強制すると、表面的には AI を活用しているように見えるものの、実際には重要な業務で AI が活用されていないという状況につながる可能性があります。
リーダーが成功の指標をコードの量や完了したチケット数だけで判断している場合、システムの安全性よりも単純な開発スピードを重視することにつながります。
最初のプロンプトを入力する前に AI の動作範囲を明確にする
AI を活用した開発とは、単にコードをすばやく大量に生成することではありません。安全で信頼性の高いシステムを開発する必要があります。現在の開発担当者に求められているのは、単に構文を入力するのではなく、システム アーキテクトとして行動するということです。大規模な問題の枠組みを定義し、運用範囲を厳格に設定して、自動化された変更処理によって組織全体の業務が停止することがないように対処する必要があります。
優れたチームは、新しい AI システムをリリースする前に、シンプルなチェックリストを使用して基本的なルールを設定しています。開発担当者は、以下に示す 4 つの重要な問いに対する明確な回答を用意しておく必要があります。
- このシステムが正しく動作した場合、どのような処理を実行できるのか
- このシステムが誤って動作した場合、どのような処理が実行される可能性があるのか
- 正常な動作と誤った動作の違いを、どのように把握するのか
- システムを停止または元に戻すための「緊急停止スイッチ」を操作できるのは誰か
これらの問いにより、「システム全体の実際の信頼性はどの程度か」という視点から検討できるようになります。
これらの境界線を日常業務に反映させるために、エンタープライズ チームは米国国立標準技術研究所 (NIST) の AI リスク管理フレームワークを活用しています。このフレームワークでは、安全性を 4 つの連続的な機能に分類します。
1.ガバナンス: 責任者を明確に割り当てる
開発業務を開始する前に、セキュリティ、プライバシー、法的リスクについて責任を負うリーダーを指名します。また、システムの停止権限や、新しいデータ アクセスの承認権限などを持つ担当者を明確に割り当てます。
2.マッピング: リスクを定義する
ユーザー、データ、ツールがシステムを悪用する可能性がある方法を洗い出します。単純なタスク (文書の要約など) には簡易的なチェック機能を適用し、リスクの高い操作 (資金の移動など) には厳格なチェック機能を適用します。
3.測定: 出力結果だけでなく、プロセスにも注目する
AI は、表面的には全く問題がないコードを生成する場合がありますが、実際には、整理されていないロジック、セキュリティ上の欠陥、複雑な依存関係が含まれている可能性があります。その場合、大量のコード レビューが必要になります。リーダーが成功の指標をコードの量や完了したチケット数だけで判断している場合、システムの安全性よりも単純な開発スピードを重視することにつながります。
単純な出力量を重視するのではなく、AI がたどる実際のプロセスを検証し、以下に示す開発指標に注目することが重要です。
- 障害発生率とロールバック率: 新しいコードによってシステムが破損する頻度はどの程度か
- テストで検出されなかったバグ: テストで検出されずに本番環境に入り込んだのはどのバグか
- 安全対策の整合性: 自律型 AI の動作は、承認済みの社内ルールに直接リンクされているか
4.管理: 発生した問題を防御策に変える
AI システムは常に変化するため、異常な動作をリアルタイムに監視する必要があります。何らかの問題が発生した場合に、責任の押し付け合いをしてはいけません。重要なのは、「問題が発生する余地があるのはなぜか」を確認することです。同じ問題が二度と発生しないように、その問題を自動化されたテストに取り込む必要があります。
開発の初期段階から制御機能を組み込むことは、開発スピードを低下させる要因ではなく、安心して迅速に開発作業を進めるための手段です。
安全対策の重要性
AI システムがブラックボックスである場合、人間がその動作を詳細に管理しなければならないため、自動化の目的が損なわれることになります。しかし、AI エージェントの権限と可視性を厳格に定義することにより、状況は大きく変わります。人間が AI の動作範囲を正確に把握すれば、AI を活用して複雑な業務を安全に処理できるようになります。
この信頼が、ビジネスを成長させる最大の原動力になります。システムに対する重大な損害の発生を心配することなく、自信を持って AI を活用できるようになります。市場の競争力は、AI モデルの単純なインテリジェンスから、透明性と信頼性が高い緊急停止機能を提供するプラットフォームへと移行しつつあります。
次の競争力は、大きな注目を集める AI エージェントから生まれるわけではありません。堅牢な安全対策、ポータブルな安全基準、エラーによる被害を最小限に抑えるためのアーキテクチャから構成されるインフラから生まれます。
開発の初期段階からこうした制御機能を組み込むことは、開発スピードを低下させる要因ではなく、安心して迅速に開発作業を進めるための手段です。早い段階から信頼性の構築に取り組む企業は、競合他社よりも先行することができます。それは、システムで障害が発生した場合でも、その障害を可視化して簡単に修復し、被害を最小限に抑えることができるためです。
レポート
AI エージェントが台頭—ただし AI エージェントが全決定権を持つわけではない
日本の社員がAIに期待する価値と、分断された業務システムをつなぎ、生産性・創造性・戦略的思考を高める方法をホワイトペーパーでご覧ください。