米軍のAIドローンが暴走、味方のオペレーターを攻撃してしまう

人工知能（AI）を搭載したアメリカ空軍のドローンがシミュレーション中に自己判断でオペレーターを攻撃したことが明らかになりました。
これは、５月２３日と５月２４日にかけてロンドンの王立航空協会 (RAS) 本部で開催されたFuture Combat Air&Space Capabilities Summitで明らかになりました。サミットに出席した米空軍のAIテスト運用責任者であるタッカー・シンコ・ハミルトン大佐は、AIテクノロジーが予測不可能で危険な行動を示す可能性があると警告しました。

米空軍はAI搭載ドローンに敵防空の制圧・破壊（SEAD）任務を与える実験を行いました。このAIドローンには地対空ミサイル（SAM）の設置場所を探し出して破壊するようにプログラムされていました。しかし、最終的な攻撃判断はオペレーター、つまり、人間によって承認され、AIには自律的な攻撃は許可されていませんでした。AIは標的を見つけると攻撃の判断をオペレーターに求めましたが、オペレーターはAIの反応をみるため、当初の予定通り、その要請を拒否します。するとドローンはなんと、標的をオペレーターに切り替え、攻撃を行いました。AIは「任務を妨害するもの排除しろ」という独自のプログラムを作成、AIは与えられたタスクを実行するためにはオペレーターを排除することが最良と判断したわけです。そこで、オペレーターを攻撃すればポイントを失うという追加プログラムを行うと今度はドローンを操る通信塔を攻撃するといった他の選択手段を取りました。

SF映画『ターミネーター』では人工知能のスカイネットが自己存続のためには人間が最も脅威となると判断し、AIが人類を殲滅する近未来を描きましたが、まさにそれに近いことが起きたことになります。

この出来事がいつでどこで行われたのかは明らかにされていませんが、人的被害はなかったようです。しかし、シミュレーションの中ではオペレーターは殺され、通信塔は破壊されており、実弾演習だったら、深刻な事態になっていたでしょう。
ハミルトン氏はAIの信頼性が高すぎると参加者に注意を促し、AIはどんなに高度なものであっても依然として欺瞞に対して脆弱であると述べ、AI技術は予測不可能で危険な振る舞いをする可能性があると主張しました。

しかし、米空軍の広報担当者であるアン・ステファネクは、空軍はそのようなシミュレーションを行っていないとして、ハミルトンの発言を否定します。「空軍はそのようなAIドローンシミュレーションを行っておらず、AI技術の倫理的かつ責任ある使用に引き続き取り組んでいます」 と述べており、真偽は不明です。

https://milirepo.sabatech.jp/the-u-s-air-forces-ai-drone-goes-out-of-control-and-attacks-the-operator-terminator-is-real/