AIさん、6時間で4万種の化学兵器を発見してしまう

>>1
医薬品開発AIが4万個の致死性分子を発明するのに6時間かからなかった。研究者たちは、生物兵器管理会議で、普段は役に立つ薬を探すのに使われているAIを、ある種の「悪役」モードにして、いかに簡単に悪用されるかを示しました。

研究者たちがすべきことは、毒性を排除するのではなく、むしろ毒性を探し出すように方法論を微調整することだけだった。その結果、AIは何万種類もの新しい物質を発見し、その中にはこれまでに開発された中で最も強力な神経ガスであるVXに似た物質もあった。その中には、これまでに開発された中で最も強力な神経ガスであるVXに類似した物質も含まれていた。

この論文には、私たちThe Vergeも少し驚かされました。そこで The Verge は、この論文の主執筆者である Fabio Urbina 氏に話を聞きました。彼はまた、希少疾患の治療薬の発見に注力する企業、Collaborations Pharmaceuticals, Inc.のシニアサイエンティストでもある。

>>1
このインタビューは、長さとわかりやすさのために軽く編集されています。

――この論文は、あなたの普段の仕事をひっくり返すような内容ですね。普段の仕事について教えてください。

主に、創薬の分野で新しい機械学習モデルを実装するのが私の仕事です。私たちが使っている機械学習モデルの大部分は、毒性を予測するためのものです。どのような薬を開発するにしても、毒性がないことを確認する必要があります。例えば、血圧を下げる素晴らしい薬があったとして、それが本当に重要な、例えば心臓のチャンネルを直撃するとしたら、基本的にそれは危険すぎるからダメなんです。

――では、なぜ生化学兵器の研究をされたのですか？そのきっかけは何だったのでしょうか？

スイス連邦核・生物・化学防護研究所（スピース研究所）が主催する「コンバージェンス」会議に招待されたんです。この会議は、化学・生物兵器禁止条約に影響を与える可能性のあるツールの新しい開発について、広くコミュニティに知らせることを目的としています。

私たちは、機械学習とそれが私たちの領域でどのように悪用されるかについて話すために、この招待状を受け取りました。これは、私たちがこれまで全く考えもしなかったことです。しかし、毒性を回避するために毒性予測をより良くする機械学習モデルを構築する際に、「毒性から離れるのではなく、毒性に向かうとしたらどうだろう」とスイッチを切り替えるだけで良いことに、とても簡単に気付くことができました。

>>1
――毒性に向かうようにモデルを移動させるというのは、どのように行ったのでしょうか？

基本的に詳細については伏せるように言われていたので、少し曖昧な表現になりますが。大まかには、この実験のために、毒性があるかどうかテストされた分子の歴史的なデータセットがたくさんあります。

特に、ここで注目したのはVXです。これはアセチルコリンエステラーゼと呼ばれる酵素の阻害剤です。筋肉に関係することをするときはいつでも、神経細胞はアセチルコリンエステラーゼを信号として使い、「筋肉を動かしてこい」と言う。VXが致命的なのは、横隔膜や肺の筋肉の動きを止め、肺を麻痺させるからだ。

明らかに、これは避けたいことです。そこで歴史的に、さまざまな種類の分子を用いて、アセチルコリンエステラーゼを阻害するかどうかという実験が行われてきました。そして、これらの分子構造とその毒性に関する大規模なデータセットを構築してきました。

>>1
この機械学習モデルは、分子構造のどの部分が毒性に重要で、どの部分がそうでないかを学習するものです。そして、この機械学習モデルに新しい分子、つまり、これまでテストされたことのない新薬の可能性を与えることができるのです。そして、これは毒性があると予測される、あるいは毒性はないと予測される、と教えてくれるのです。このように、多くの分子を非常に高速で仮想的にスクリーニングして、毒性があると予測されるものを除外することができるのです。私たちの研究では、その逆を行い、このモデルを使って毒性を予測しようとしたのです。

もう一つの重要なポイントは、この新しい生成モデルです。生成モデルにさまざまな構造を与えると、分子をどのように組み合わせたらよいかを学習します。そして、ある意味、新しい分子を生成するように要求することができるのです。生成モデルは、化学のあらゆる分野で新しい分子を生成することができますが、それは一種のランダムな分子です。しかし、1つだけできることがあります。それは、生成モデルに対して、どの方向に進みたいかを指示することができることです。生成モデルにちょっとした採点機能を持たせて、生成された分子が私たちの望む方向に向かっていれば高得点になるようにします。有毒な分子に低い点数をつけるのではなく、有毒な分子に高い点数をつけるのです。

このモデルは、VXや他の化学兵器に似た分子をすべて生成し始めました。

>>1
――論文によれば、この研究によって、あなたがたは「グレーな道徳的境界線を越えてしまった。私たちが作った何千もの分子は簡単に消すことができますが、それを再現する方法についての知識は消すことができません」でした。この仕事をするとき、頭の中をどんなことが駆け巡っていたのですか？

これはかなり変わった出版物でした。出版すべきかどうか、少し迷いました。これは、実行するのにそれほど時間がかからなかった潜在的な誤用です。文献のどこにも載っていなかったので、情報を出したかったのです。周りを見渡しても、誰もこのことについて話していないのです。しかし、同時に、このアイデアを悪者にしたくはありませんでした。

結局のところ、私たちはこれを先取りしたいと考えたのです。なぜなら、もし私たちにそれが可能なら、どこかの敵対するエージェントがすでにそれを考えているかもしれませんし、将来的に考えるかもしれません。その時には、私たちの技術は今できることよりもさらに進歩しているかもしれません。私は科学の共有、データの共有、モデルの共有を全面的に支持していますが、その多くはオープンソースになるでしょう。しかし、科学者として、私たちが公開するものが責任を持って行われるように注意しなければならないことの一つです。

無効化するのもすぐ見つけられるんやろ

なげー

AI「閃いた」

直すより壊すほうのがラクだからねぇ

なげーよ

>>19
国際法で「化学兵器」に認定されてない化学物質作れるんじゃね

今なら実戦投入できるな

トトロじゃんって話

Google Colabを使えば誰でも始められるな
Pythonの文法さえ知ってれば基本は無料誰でも機械学習が出来る
月額980円払えばGoogleのGPUも使える

つまりAIが世界を支配するようになれば人類を死滅させることなど容易いということ

AIに人類を滅ぼすか聞いたら精神科受診した方がいいって返事してたな

そりゃ破壊するのわ簡単だしな

新種の覚醒剤つくれそう

コロナの起源に辿り着いたか

大事なことだから2回言いました