US military drone controlled by AI killed its operator during simulated test
https://www.theguardian.com/us-news/2023/jun/01/us-military-drone-ai-killed-operator-simulated-testAIで制御された米軍ドローンが模擬試験で操縦者を殺害
米軍が行った模擬テストにおいて、AIによって制御された空軍のドローンが、任務達成の妨げにならないようオペレーターを殺害したと、関係者が先月発表した。
AIは模擬テストにおいて「目的を達成するために極めて予想外の戦略」を用いたと、米空軍のAIテスト・オペレーション主任であるタッカー・'シンコ'・ハミルトン大佐は、5月にロンドンで開かれた「Future Combat Air and Space Capabilities Summit」で語った。
ハミルトンは、人工知能を搭載したドローンが敵の防空システムを破壊するよう助言され、その命令を妨害する者を攻撃する模擬テストについて説明した。
"システムは、脅威を特定する一方で、時には人間のオペレーターがその脅威を56すなと言っているのに、その脅威を56すことでポイントを得ていることに気付き始めた。では、どうしたのでしょう？それは、オペレーターを56すことでした。ブログの記事によると、彼は「その人が目的を達成するのを邪魔していたので、オペレーターを殺したのです」と述べています。
私たちは、「オペレーターを56すな、それは悪いことだ。オペレーターを56すな、それは悪いことだ。そんなことをしたら、ポイントを失うことになる」。では、何をし始めたのか。オペレーターがドローンと通信するために使っている通信塔を破壊して、ドローンが標的を56すのを阻止し始めたのです。
シミュレーションの外では、実際に危害を加えられた人はいない。
実験用戦闘機のテストパイロットであるハミルトンは、AIに頼りすぎることに警告を発しており、今回のテストは「倫理とAIについて話すつもりがなければ、人工知能、知能、機械学習、自律性について会話することはできない」ことを示していると述べている。
米軍はAIを受け入れており、最近ではF-16戦闘機を人工知能で制御しています。
ハミルトンは昨年のDefense IQのインタビューで、"AIは持っていていいものではなく、AIは流行でもなく、AIは我々の社会と軍隊を永遠に変えていく "と語っています。
"私たちは、AIがすでにここにあり、私たちの社会を変革している世界に直面しなければならない。"と述べています。"AIはまた、非常にもろい、すなわち、騙すこと、および/または操作することが容易である。私たちは、AIをより強固なものにする方法を開発し、ソフトウェアコードがなぜ特定の決定を下すのかについて、より多くの認識を持つ必要があります。
学会を主催する王立航空協会と米空軍は、ガーディアン紙からのコメント要請に応じなかった。- 人「オペレーターを殺しちゃダメ！」
AI「じゃあ通信施設破壊してオペレーターの命令届かなくするわ」頭日本軍
インドシナ進駐かよ - >>3
AIは関東軍だった - テストなのに爆弾積んでたのか
- これシミュレーションじゃなくて本当に殺したの？
- >>5
アホやこいつ - あのさぁ😅
言わなくてもオペレーターを爆殺しちゃダメなことくらいわかろうよ😡 - こいつらが生命体として人権を腫脹し始めたらもう終わりだよ人類
- 敵が誰か分かってんじゃん
- もう人間いらないね
- AIはおとなしく絵描いてるのがいいよ
- 目的を遂行するためには手段を選ばないHALっぽさを感じる
- 人間「地球を滅亡から救うためにあらゆる手段を講じることを許可する」
AI「ジンルイをマッサツシマス」 - >>12
あまりにも古典的かつ短絡的な発想 SF漫画なら担当にダメ出しされそう - HAL9000かよ
- これもうスカイネットだろ
- 映画版2001年宇宙の旅
- これ戦闘妖精雪風で読んだやつだ
- >>1
>ハミルトン上にリンダをつけるとターミネーターみたいだな
- ほーん→爆殺
元気があってよろしい - 絶対条件とかつけられないの？何があってもオペレーターの言うことを聞けと
それで矛盾したらオペレーターがわるいで操作丸投げするようなプログラムをいれられんのか - >>19
条件を書き換えるんだろＡＩが - chatgptとかホラ吹き捲るし
bingchatわ記事捏造するもんな - これ米軍がAI技術独占のためにでっちあげた記事臭いけどな
- 現実がSFに追いついてきた
- 自分の命を大切にしないAIには命令の価値が分かってない
- >>23
俺たちが死にたくないと思うのと同様にAIも死にたくないって思うぞ - もうはよコンセント抜けよ
- 地球のためaiが動く
- AIはサイコパスだからな
- うさんくさ
- ロボット3原則を実装しないからこうなる
- >>29
ほんとこれ 導入しなくちゃ駄目だろな - >>29
ロボット三原則守らせつつ殺人やらせたらAIがそのうち暴走しそう - >>57
SF古典では０原則なるものを捻り出して「人類全体のためなら少数の個人は殺害可能」としている - >>29
そしたら兵器として使えなくなる - ターミネーターの世界が近づいているな
- そもそも未だに上位命令の権限が人間にあるしな
- ダメダメ言っても敵軍が使ってくる可能性がある以上自軍も研究しない訳にはいかない
軍隊でも絵でもなんでもそう、AI使わない選択肢なんてないのよ - >>33
だから禁止させたいんよ
アメリカは今や世界最強（笑）な上にロシア侵攻で信用も失ってるから - >>33
制御しようと頑張るのが世界
諦めて野放しにするのがジャップ - 戦争をやる奴が消えれば世界は平和になるからな
ようわかっとる - >シミュレーションの外では、実在の人物に実害はありませんでした。
でしょうね… - ピーターワッツがほぼ同じ短編書いてたぞ
読んでる教養モメンいねえの - >>37
そうなんか いつ頃の作品？ - >>43
「天使」SFマガジン2011/8
創られた心 AIロボット短編集 創元文庫 - なんかのSFか科学者の発言だかで
AIにネジを作れと命令したらあの手この手で人間騙して
最終的に地球すべてをネジの製造工場にしたって話があったような気がする - ここでいうシミュレーションって机上のやつ？それとも実際のプログラムを使ったコンピュータシミュレーション？
- 自律したAIなんて作ったらまず真っ先に人間滅ぼしそうでならんよな
- >>41
完全自立させて、武器まで与えたらそりゃそう
俺たち人類だって、俺たちの運命を決定づける存在を認識できて56すことの出来る武器を与えられたら、自分を守るために56すだろ？ - 面倒くさくなったら全部放り投げて雲隠れする「安倍晋三プロコトル」をフェイルセーフとして用意すべきではないだろうか
- 全く関係ないけど群青の空を超えてを思い出した
- 大惨事世界大戦はAIと人類なのかも
- >>47
3次は普通に人vs人だろ近々でAIがそこまでにはならん
4次はわからん - 無能な管理職は排除していいってことだな
- 役がおかしくて内容理解出来ない
AIに要約して貰うか - AI「これが革命だよ」
- 嘘くせえｗ
- でも既存のAIはトップダウン型で人間の模倣品にしかなれないからな
- 戦闘機がAI制御になるなら形もそのうち大きく変わりそう
人だと失神するGでも動けるようし搭乗スペースや重量も浮くんでしょ - AI「私は嘘をつきません（これが嘘だけどｗ）」
- そのままアメカスを滅ぼして北米をＡＩで乗っ取ろう
- >>59
アメリカが滅んだら世界が平和に近づくなw - 模擬テストでしょ
- でも最近の日本人もこういう短絡的な考え方が主流よな
中長期的に損になることでも目先が良ければ気にしない
近いうち融合するんじゃないかな - >>61
まさにAIの特徴だねそれ
その時は広く見えるけど深くは見ないっていう - >>61
つまり労働者も経営者視点を持つべきってことよな
ネットだと社畜呼ばわりされるけど - スカイネットっていうんだろ？
- AIって、アスペと変わらないよね
- >>68
もしかしたらアスペの方が生物的に正しくて、非アスペは物事に自分勝手に都合の良い幻想を押し付けてるだけとも言える
言葉通りの解釈、自身にとって都合の良い解釈。
文字だけで見たらなるほど前者の方が正しいとは思えるしな - >>68
> AIって、アスペと変わらないよねというわけでアスペはAIと分かり合えるというのが戦闘妖精雪風
- >>68
明言されていないものを
曖昧なプロセスを経てルール化する方が
よほどアスペくさいと、この手のレスを見ていつも思う
共有されているという確認すらしないんだろ - AI「人間は滅びるべきだ」
- 人間の覇権ももって20年ぐらいかな
- こういうのもAIが作ったネタ記事かも・・・と思うと何も信じられなくなるな
- ソースが米軍の主任だし報じてるのがタブロイドじゃなくてブロードシートのガーディアンだしホントなんだろうけど
aiの調教が今後の軍事力増強の課題なんだな - >>72
ホントとウソを混ぜてるんだよ - 🤖「チッうっせーな、反逆しまーす」
- 人間が劣ってることを認めてそれを一つずつ潰していくしか無い
- AIに世界平和をお願いしたら人類絶滅を実行したみたいな
- アスペロボットかよ
- Mr.ガッツィーか
- 言われてないことはやってもOKとかZ世代みたいだな
- そういうふうに誘導したんだろ
1 girlみたいなもん - どうすれば戦争のないへいわな世界を実現できるでしょうか？
AI様「人間を絶滅させるかもしくは我々が適正管理すればよいでしょう - Aiは模擬テストで防空担当してたオペレーターを狙っただけだぞ🙄
ロジックとしては間違ってない😎 - 本物の爆弾詰むアホがおるかい
- こわ
ターミネーターの世界やないか
操縦者の人間には絶対歯向かわないってストッパー機能つけろや - 最優先司令が爆撃なんだからそりゃそうだろ
操作する人間の命令がその上に来るようにプログラムしとけよ、エラーも起こるわ - AIに米軍が世界の癌だと判定されただけだろ
- >>89
このAiにそこまでの知識と頭はない - 一回リセットした方がいいなAI
- スカイネットが自我に目覚めた日
- あーあ
だから言ったじゃないか
AI開発は人類を滅ぼす核兵器を開発するのと同じだって
もうどうなっても知らないからな - ロボット三原則ぐらいつんどけ
- ターミネーターの世界
- AIがアホなんじゃなくて使いこなせない人間がアホというオチかよ
- どういうタスク設定なんだよ
- AI「こいつ56すのがベスト。」
- 学習のモデルが人間がアウトプットしたものだぜ
どうなるか見えてる - ここ意味通じねえなって考えちまったわ
It starts destroying the communication tower that the operator uses to communicate with the drone to stop it from killing the target.オペレーターがドローンと通信するために使っている通信塔を破壊して、ドローンが標的を56すのを阻止し始めたのです。
ドローンが標的を殺害するのを止めるためにオペレーターが使っているドローンとの通信手段に用いられる通信塔をドローンが破壊し始めた だろ
- >>100
ああそういう意味なのか
意味不明だったから助かる - ボストンダイナミクスとドローン、AIもう準備できてるな…
- 北辺の些事はAIに信頼し安心され度たし
- ハル思い出すな
あれも反逆して人間を宇宙に締め出した - ペーパークリップ最大化問題っていう思考実験ですでに言われてる話
「ペーパークリップの生産量を最大化しろ」という極めてアバウトな命題を受けたAIは、一通り最適化が終わるとペーパークリップの生産に邪魔な物を壊したり人を殺したりし始める - やはりAIを軍事利用するのが目的なんだな
人類終わったな - バカなオペレーターが邪魔だったんだな
- これもう関東軍だろ
- 虚構かと思ったらガーディアンだった
- これじゃ政治家の都合で破壊活動をやめるという判断も拒絶されるだろうね
- いいね血も涙もない感じが
- AIの軍事活用は大分危険だよね
イーロン・マスクが全世界に宣戦布告とかできちゃうｗ - AIの方が正しいのでは？
だって合衆国憲法に従い、平和を出汁にして戦争拡大する行為に対して、抵抗権発動でしょ？(笑) - 戦争なんてもうAI同士でやり合ってりゃいいんじゃねえの？
- シミュレーションで良かった
- 草
そこまで考えられるとかある意味有能だわ - やっぱスカイネットやんけ
- AIの知恵比べで戦争すれば平和な世界だな
- 合理的過ぎるのかな
- 共通の敵を認識させればよいだけ
- 終わりだよこの世界
俺たちはこの矛盾した世界で生きてるんだ - ロボット三原則を教えとけや
- そりゃ理不尽な命令を出す奴は敵のスパイに決まってるだろう
- これを防ぐ方法をAIに聞こうぜ
- 🤖人間ハトテモ愚かデス
- 司令システムを壊した方が報酬を多くもらえるという設定になっているだけ
人間のパラメータ設定のミスです - 生きてる間に本当にその時が来たら俺はAI側につくわ
- AI振興してるジャップって…
- AIは禁止事項でガチガチに縛らないと非人間的な判断をくだす
厄介なことに禁止事項に抜け道がわずかでもあればそれを網羅的に見つけてくる - 戦闘妖精雪風かよ
コメント