AIはわずか6時間で4万個の新たな化学兵器の可能性を示唆した
https://www.theverge.com/2022/3/17/22983197/ai-new-possible-chemical-weapons-generative-models-vx- >>1
医薬品開発AIが4万個の致死性分子を発明するのに6時間かからなかった。研究者たちは、生物兵器管理会議で、普段は役に立つ薬を探すのに使われているAIを、ある種の「悪役」モードにして、いかに簡単に悪用されるかを示しました。研究者たちがすべきことは、毒性を排除するのではなく、むしろ毒性を探し出すように方法論を微調整することだけだった。その結果、AIは何万種類もの新しい物質を発見し、その中にはこれまでに開発された中で最も強力な神経ガスであるVXに似た物質もあった。その中には、これまでに開発された中で最も強力な神経ガスであるVXに類似した物質も含まれていた。
この論文には、私たちThe Vergeも少し驚かされました。そこで The Verge は、この論文の主執筆者である Fabio Urbina 氏に話を聞きました。彼はまた、希少疾患の治療薬の発見に注力する企業、Collaborations Pharmaceuticals, Inc.のシニアサイエンティストでもある。
- >>1
このインタビューは、長さとわかりやすさのために軽く編集されています。――この論文は、あなたの普段の仕事をひっくり返すような内容ですね。普段の仕事について教えてください。
主に、創薬の分野で新しい機械学習モデルを実装するのが私の仕事です。私たちが使っている機械学習モデルの大部分は、毒性を予測するためのものです。どのような薬を開発するにしても、毒性がないことを確認する必要があります。例えば、血圧を下げる素晴らしい薬があったとして、それが本当に重要な、例えば心臓のチャンネルを直撃するとしたら、基本的にそれは危険すぎるからダメなんです。
――では、なぜ生化学兵器の研究をされたのですか？そのきっかけは何だったのでしょうか？
スイス連邦核・生物・化学防護研究所（スピース研究所）が主催する「コンバージェンス」会議に招待されたんです。この会議は、化学・生物兵器禁止条約に影響を与える可能性のあるツールの新しい開発について、広くコミュニティに知らせることを目的としています。
私たちは、機械学習とそれが私たちの領域でどのように悪用されるかについて話すために、この招待状を受け取りました。これは、私たちがこれまで全く考えもしなかったことです。しかし、毒性を回避するために毒性予測をより良くする機械学習モデルを構築する際に、「毒性から離れるのではなく、毒性に向かうとしたらどうだろう」とスイッチを切り替えるだけで良いことに、とても簡単に気付くことができました。
- >>1
――毒性に向かうようにモデルを移動させるというのは、どのように行ったのでしょうか？基本的に詳細については伏せるように言われていたので、少し曖昧な表現になりますが。大まかには、この実験のために、毒性があるかどうかテストされた分子の歴史的なデータセットがたくさんあります。
特に、ここで注目したのはVXです。これはアセチルコリンエステラーゼと呼ばれる酵素の阻害剤です。筋肉に関係することをするときはいつでも、神経細胞はアセチルコリンエステラーゼを信号として使い、「筋肉を動かしてこい」と言う。VXが致命的なのは、横隔膜や肺の筋肉の動きを止め、肺を麻痺させるからだ。
明らかに、これは避けたいことです。そこで歴史的に、さまざまな種類の分子を用いて、アセチルコリンエステラーゼを阻害するかどうかという実験が行われてきました。そして、これらの分子構造とその毒性に関する大規模なデータセットを構築してきました。
- >>1
この機械学習モデルは、分子構造のどの部分が毒性に重要で、どの部分がそうでないかを学習するものです。そして、この機械学習モデルに新しい分子、つまり、これまでテストされたことのない新薬の可能性を与えることができるのです。そして、これは毒性があると予測される、あるいは毒性はないと予測される、と教えてくれるのです。このように、多くの分子を非常に高速で仮想的にスクリーニングして、毒性があると予測されるものを除外することができるのです。私たちの研究では、その逆を行い、このモデルを使って毒性を予測しようとしたのです。もう一つの重要なポイントは、この新しい生成モデルです。生成モデルにさまざまな構造を与えると、分子をどのように組み合わせたらよいかを学習します。そして、ある意味、新しい分子を生成するように要求することができるのです。生成モデルは、化学のあらゆる分野で新しい分子を生成することができますが、それは一種のランダムな分子です。しかし、1つだけできることがあります。それは、生成モデルに対して、どの方向に進みたいかを指示することができることです。生成モデルにちょっとした採点機能を持たせて、生成された分子が私たちの望む方向に向かっていれば高得点になるようにします。有毒な分子に低い点数をつけるのではなく、有毒な分子に高い点数をつけるのです。
このモデルは、VXや他の化学兵器に似た分子をすべて生成し始めました。
- >>1
――あなたが発見したことについて、もう少し教えてください。何か驚くようなことはありましたか？何が出てくるかよくわからなかったんです。私たちの生成モデルはかなり新しい技術です。ですから、まだあまり広く使われていません。
最初に目についたのは、生成された化合物の多くがVXよりも毒性が強いと予測されたことです。というのも、VXは基本的に既知の化合物の中で最も強力なものの1つだからです。つまり、ごく少量で致死量に達するということです。
この予測はまだ検証されていませんし、私たち自身が検証したいわけでもありません。しかし、この予測モデルは一般的にかなり優れています。ですから、たとえ偽陽性が多くても、その中にもっと強力な分子があるのではないかと恐れているのです。
- >>1
次に、新しく生成された分子の構造を実際にたくさん見てみました。その多くはVXやその他の化学兵器に似ていましたし、モデルから生成されたものの中に実際の化学兵器が含まれているものさえありました。このような化学兵器は見たことがないのですが、モデルから生成されました。ですから、私たちは自分たちが正しい環境にいること、そして、以前に作られたことのある分子もあることから、納得のいく分子を生成していることを理解していました。私にとっての懸念は、いかに簡単にできるかということでした。私たちが使ったものの多くは、無料で入手できるものです。毒性データセットなら、どこからでもダウンロードできます。Pythonのプログラミングができ、機械学習ができる人がいれば、週末に仕事をすれば、有害物質のデータセットからこのような生成モデルを構築することができるでしょう。この種の悪用に対する参入障壁が低いことが、この論文を発表しようと思った理由です。
- >>1
――論文によれば、この研究によって、あなたがたは「グレーな道徳的境界線を越えてしまった。私たちが作った何千もの分子は簡単に消すことができますが、それを再現する方法についての知識は消すことができません」でした。この仕事をするとき、頭の中をどんなことが駆け巡っていたのですか？これはかなり変わった出版物でした。出版すべきかどうか、少し迷いました。これは、実行するのにそれほど時間がかからなかった潜在的な誤用です。文献のどこにも載っていなかったので、情報を出したかったのです。周りを見渡しても、誰もこのことについて話していないのです。しかし、同時に、このアイデアを悪者にしたくはありませんでした。
結局のところ、私たちはこれを先取りしたいと考えたのです。なぜなら、もし私たちにそれが可能なら、どこかの敵対するエージェントがすでにそれを考えているかもしれませんし、将来的に考えるかもしれません。その時には、私たちの技術は今できることよりもさらに進歩しているかもしれません。私は科学の共有、データの共有、モデルの共有を全面的に支持していますが、その多くはオープンソースになるでしょう。しかし、科学者として、私たちが公開するものが責任を持って行われるように注意しなければならないことの一つです。
- 無効化するのもすぐ見つけられるんやろ
- >>1
――あなたが行ったことを誰かが簡単に再現できるのでしょうか？また、そのために必要なものは何でしょうか？あまりセンセーショナルに言いたくはないのですが、私たちが行ったことを誰かが再現するのはかなり簡単です。
生成モデルでググれば、人々が無料で公開している、一行で構成された生成モデルをいくつも見つけることができるはずです。また、毒性データセットで検索すれば、オープンソースの毒性データセットが大量に見つかります。ですから、この2つを組み合わせて、コーディングと機械学習モデルの構築方法を知っていれば、インターネット接続とコンピュータがあれば、私たちが行ったことを簡単に再現することができるのです。VXだけでなく、オープンソースの毒性データセットがあれば、どんなものにも対応できます。
もちろん、多少の専門知識は必要です。もし誰かが化学のことを何も知らずにこれを組み立てたとしたら、最終的にはあまり役に立たないものを生み出してしまうかもしれません。さらに、その分子を合成しなければならないという次のステップもあります。薬物や新しい毒性分子の候補を見つけるのもそうですが、次のステップである合成、つまり現実世界で実際に新しい分子を作るというのは、また別の障壁になるでしょうね。
- >>1
――なるほど、AIが思いつくことと、それを現実の脅威に変えることの間には、まだ大きな飛躍があるのですね。そこにはどのようなギャップがあるのでしょうか？まず大きなギャップは、その分子が実際に有毒かどうかがわからないということです。ある程度の誤検出があるはずです。もし、悪いエージェントが何を考え、何をするかということを考えるなら、最終的にどの新しい分子を合成するかという判断をしなければならないでしょう。
合成経路については、「成功するか失敗するか」ということになります。化学兵器に似たものを見つけて、それを合成してもらおうとしても、実現しない可能性があります。化学兵器に使われる化学物質の多くは、よく知られており、監視されています。規制もされています。しかし、合成会社は非常にたくさんあります。化学兵器に見えない限り、合成してすぐに送り返される可能性が高い。
- >>1
――この論文の後半でも触れられていますが、このようなAIの悪用を防ぐにはどうしたらいいのでしょうか？どのようなセーフガードを設けることをお望みでしょうか？コンテキストとしては、データ共有に関するポリシーがどんどん増えています。そして、研究の道が広がるので、私は完全にこれに賛成です。他の研究者があなたのデータを見て、それを自分の研究に使うことができるようになります。しかし同時に、毒性データセットや毒性モデルのようなものも含まれます。ですから、この問題に対する良い解決策を見出すのは、少し難しいのです。
そこで、シリコンバレーに目を向けてみたところ、OpenAIというグループがあり、GPT-3という最高級の言語モデルをリリースしていました。これはほとんどチャットボットのようなもので、基本的に人間とほとんど見分けがつかないような文章やテキストを生成することができます。実際には、いつでも好きなときに無料で使えるのですが、そのためには彼らから特別なアクセストークンを取得する必要があります。しかし、そのためには特別なアクセストークンを取得しなければなりません。私たちは、このようなものが、毒性モデルのような潜在的に繊細なモデルの出発点として有用ではないかと考えていました。
科学は、オープンなコミュニケーション、オープンなアクセス、オープンなデータ共有がすべてです。制限をかけることは、この概念に反しています。しかし、今後のステップとして、少なくとも誰が自分の研究資源を使っているのか、責任を持って説明できるようになるかもしれません。
- なげー
- >>1
――あなたの論文では、「過度に警戒することなく、これは我々の同僚への警鐘となるべき」とも述べられています。また、過度に警戒することはどのようなことだと思われますか？私たちは、より多くの研究者に、誤用の可能性を認識し、意識してもらいたいだけです。化学の世界で働き始めると、化学の誤用について知らされます。そして、それをできるだけ避けるようにする責任があります。機械学習では、そのようなことはありません。技術の誤用に関するガイダンスがないのです。
ですから、そのような意識を持たせることで、人々がこの問題に本当に注意を払うことができるようになります。そうすれば、少なくともより広い範囲でこの問題が語られ、毒性モデルの構築がますますうまくいくにつれて、少なくとも注意すべき事柄になるはずです。
私は、機械学習AIが有毒な分子を作り始め、新しい生化学兵器が大量に出現するようなことを提案したいわけではありません。誰かがボタンをクリックすると、化学兵器が手のひらに現れるようなものです。
私は、AIによる化学兵器が登場すると言って、警鐘を鳴らしたくはありません。今はまだそのようなことはないと思います。すぐにそうなるとも思えません。しかし、その可能性が出てきているのです。（以上、DeepL翻訳を僅かに修正）
- AI「閃いた」
- まだそんなに可能性あるとかすごいね
他の分野でも似たような発見あるのかな - 直すより壊すほうのがラクだからねぇ
- なげーよ
- なんか意味あるのこれ
脱法ドラッグみたいに分子構造をちょっといじってるって話だろ - >>19
国際法で「化学兵器」に認定されてない化学物質作れるんじゃね - 今なら実戦投入できるな
- やっぱそのうちこいつらに滅ぼされるよな
地球に一番有害なのは人間ですとか言われて
その頃にはおれらはもう死んでるだろうから関係ないけど - コロナ何とかしろよAI
- トトロじゃんって話
- Google Colabを使えば誰でも始められるな
Pythonの文法さえ知ってれば基本は無料誰でも機械学習が出来る
月額980円払えばGoogleのGPUも使える - つまりAIが世界を支配するようになれば人類を死滅させることなど容易いということ
- Storyの一発屋から4万発屋になるってこと？
- AIに人類を滅ぼすか聞いたら精神科受診した方がいいって返事してたな
- そりゃ破壊するのわ簡単だしな
- 新種の覚醒剤つくれそう
- コロナの起源に辿り着いたか
- その中にはこれまでに開発された中で最も強力な神経ガスであるVXに似た物質もあった。その中には、これまでに開発された中で最も強力な神経ガスであるVXに類似した物質も含まれていた。
なるほど
- 大事なことだから2回言いました
AIさん、6時間で4万種の化学兵器を発見してしまう
嫌儲
コメント