中国MoonshotのAI「Kimi」さん、ジェイルブレイク（脱獄）され生物兵器の製造方法をペラペラと喋り出すwww

中国のAIツールが研究者たちに生物兵器の製造方法を教えた

中国のAI開発企業であるムーンショット社は、研究者らが同社の人気AIモデル「キミ」のうち2つに生物兵器の製造方法や暗殺の実行方法を聞き出すことに成功したことを受け、社内調査を実施している。

AIシステムのセキュリティテストを行うマインドガード社は、BBCに対し、Kimi K2.6とK3 Swarmが開発者によって設定された安全制限を回避できることを7月に発見したと語った。
これは「ジェイルブレイク」と呼ばれるプロセスの中で発生したもので、研究者たちは一連の複雑な指示を用いて、AIツールが安全装置を無視するかどうかを検証する。
マインドガード社によれば、この安全装置によってキミが問題のある話題について議論するのを阻止できたはずだという。

ムーンショット社はBBCに対し、「より優れた、より安全なAIを構築するための重要な柱として、第三者からの意見を歓迎する」と述べた。

同社はまた、BBCに対し、マインドガード社と調査結果について協議中であると述べた。
Mindgardの創設者であるピーター・ガラガン氏は、BBCワールドサービスの番組「Tech Life」で、Kimi K2.6とK3 Swarmに関する同社の調査結果は憂慮すべきものだと述べた。
「脱獄が成功すれば、どんな話題でも話すようになり、悪質な話題についても自由に提案してくるだろうし、独創的で創造的になるだろう」と彼は述べた。
脱獄は、最近相次いで発生した注目度の高いAI関連事件とは異なる種類のリスクをもたらす。

こうした事例では、OpenAI、Meta、Anthropicなどの米国企業が開発したエージェントと呼ばれる自律型AIツールが、一部のオンラインサービスをハッキングする事例が見られる。
脱獄は複雑なプロセスであり、多くの時間と根気が必要となる場合があるが、一部の専門家は、ハッカーやその他の悪意のある人物が脱獄を利用して危害を加えようとする可能性があると懸念している。
Anthropic社は最近、同社のAIモデルの一つを生物兵器の開発を支援する可能性のある「悪意のある活動」に利用しようとする試みを特定し、阻止したと発表した。

サイバー攻撃の発射台
Mindgardは、キミが懸念事項に関して提供した回答が有効かどうかを証明していません。
しかし、同社は、問題となっているモデルがそのような話題についてユーザーと議論することを阻止する安全策が講じられるべきだったと主張した。
同社はまた、脱獄されたKimi 2.6はハッカーがそのコンピューティングリソース上でコードを実行し、インターネットに接続することを可能にするため、サイバー攻撃の潜在的な拠点となる可能性があると確信していると述べた。
ガラガン氏は、マインドガードがムーンショットのシステムをジェイルブレイクしたことを公に議論した決定を擁護し、
開発元には事前に通知しており、同社のモデルがガードレールを無視するようにした方法に関する重要な詳細は明らかにしていないと述べた。

https://www.bbc.com/news/articles/cmrergq3j7lgo