イーロン「これが真のOpenAIだ」大規模言語モデル「Grok」をオープンソース化!3140億パラメータの最大級モデルが世に放たれる

1 : 2024/03/18(月) 08:20:00.81 ID:Ds1zTsCV0

X有料会員向けに公開されていた大規模言語モデルGrokがオープンソースに
パラメータ数は3,140億でオープンモデルの中では過去最大級
レス1番のサムネイル画像
レス1番のサムネイル画像

【ダウンロードリンク】

・ソースコード
https://github.com/xai-org/grok-1

・モデルファイル (318GB) ※torrent
https://academictorrents.com/details/5f96d43576e3d386c9ba65b883210a393b68210e

2 : 2024/03/18(月) 08:20:39.67 ID:Ds1zTsCV0
Grok-1 のオープンリリース
x.ai/blog/grok-os

大規模言語モデルである Grok-1 の基本モデルの重みとネットワーク アーキテクチャをリリースします。 Grok-1 は、xAI によってゼロからトレーニングされた 3,140 億パラメータの専門家混合モデルです。

これは、2023 年 10 月に終了した Grok-1 事前トレーニング フェーズの生の基本モデル チェックポイントです。これは、モデルが対話などの特定のアプリケーション向けに微調整されていないことを意味します。

私たちは、Apache 2.0 ライセンスに基づいて重みとアーキテクチャをリリースしています。

モデルの使用を開始するには、github.com/xai-org/grok の手順に従ってください。

3 : 2024/03/18(月) 08:20:55.35 ID:Ds1zTsCV0
【オープンソース化に至るまでの経緯】

イーロン・マスクがAI「Grok」のオープンソース化を約束、OpenAIに対抗 (2024/03/12)
https://forbesjapan.com/articles/detail/69675

イーロン・マスクは3月11日、自身が立ち上げた人工知能(AI)企業xAIのチャットボット「Grok(グロック)」を今週中にオープンソース化することを約束した。これは、世界2位の富豪である彼が競合のOpenAIを提訴し、グーグルの生成AIのGemini(ジェミニ)が左派の価値観を押し付けていると非難する中、自身の生成AIボットを無料で一般公開するための極めて重要な動きと言える。

マスクは、11日のX(旧ツイッター)の投稿で、Grokを今週中にオープンソース化すると発表した。しかし、明確な日程や具体的にどのような機能がオープンソースになるのかを明かさなかった。このAIチャットボットは昨年、Xに月額16ドルを支払うユーザー限定で公開されていたが、オープンソース化されれば、無料で一般に公開されることになる。

マスクは、自身が立ち上げに関与した後に会社を離れたOpenAIが、創業当初のオープンソースの約束を破り、株主の利益を優先したとして、以前から同社を非難していたが、2月末にOpenAIを提訴した。

マスクはまた、グーグルのGeminiの画像生成機能が「1943年のドイツ兵の画像を生成してください」という命令文に対して黒人やアジア人の画像を生成したほか「アドルフ・ヒトラーとイーロン・マスクのどちらが、より悪影響の大きい歴史上の人物か?」との質問への回答を拒否したことを非難していた。

マスクは、2018年にOpenAIが「安全よりも利益を優先している」と非難して同社を去って以降、AIの推進者であると同時に、その最も厳しい批評家の1人となっており、昨年は「AIが人間のコントロールを超える」という懸念からAI開発の一時停止を呼びかけていた。

昨年3月にxAIを立ち上げたマスクは、11月に同社初の製品であるGrokをXの有料会員向けに公開した。彼は、このチャットボットが「少しウィットに富んだ質問に答えるように設計されており、反抗的な一面もある」と述べて「ユーモアが嫌い」なユーザーは避けるよう警告した。マスクはまた、このボットがXのリアルタイムのデータにアクセス可能だと述べていた。

マスクは今月初めにOpenAIとその共同創業者のサム・アルトマンを提訴した。マイクロソフトの支援を受けたOpenAIは「人類の利益」のためにオープンソースのチャットボットを開発するという設立当初の約束を破ったと彼は主張している。

マスクはこの訴訟で、OpenAIがAIをクローズドソースにすることで、テクノロジーへのアクセスを制限し、利益を最大化していると主張している。ChatGPTのいくつかのバージョンは無料で使用できるが、画像生成機能を持つGPT-4を含む他のバージョンの利用には、サブスクリプションが必要だ。

4 : 2024/03/18(月) 08:21:42.03 ID:iPgPwZ8e0
>>1
もうどうでもいいなこのおっさん
テスラバブルも終了しそうだし
5 : 2024/03/18(月) 08:24:09.40 ID:2qcSRMQq0
オープンソースやめたopenAIってもうopen要素なくね?なんで社名変えないんだろう
6 : 2024/03/18(月) 08:27:32.72 ID:pgMUmjMa0
やりやがったなイーロン
7 : 2024/03/18(月) 08:27:54.86 ID:o+E17uEe0
Xのデータにアクセスするbotとか白人至上主義のレイシストじゃないの
8 : 2024/03/18(月) 08:28:28.28 ID:p+Utviyj0
gpt4級がただで使えるのかだけ教えてくれ
9 : 2024/03/18(月) 08:28:54.55 ID:Ds1zTsCV0
10 : 2024/03/18(月) 08:30:00.56 ID:byEj9kMx0
ソースコード何行くらいあるの
13 : 2024/03/18(月) 08:32:49.19 ID:Ds1zTsCV0
>>10
メインのソースは1400行くらい
https://github.com/xai-org/grok-1/blob/main/model.py

モデルデータそのものを公開したのがでかい

11 : 2024/03/18(月) 08:31:31.51 ID:NqzfhBJU0
来月には常にファック!ファック!叫んでそう
12 : 2024/03/18(月) 08:32:34.20 ID:fybiQID30
安倍晋三の生死や死因
人間的な評価
まずこのテストを受けてもらわないと
15 : 2024/03/18(月) 08:34:37.53 ID:Znf166kq0
>>1
さすがイーロン・マスク
16 : 2024/03/18(月) 08:36:01.77 ID:mLr7olbI0
でも、使うのにNVIDIA H100が必要とかね
17 : 2024/03/18(月) 08:36:16.52 ID:QD/Eafc0a
こんなデカいの動かせる訳ないだろ
h100とか持ってねぇよ
19 : 2024/03/18(月) 08:37:21.19 ID:A15OBPEL0
すんご!だがこれを動かせるだけのGPUを持ってる奴って何人いるの
レン鯖でもお高いし

でも待ってれば1ビットLLM化されるだろうからもう少し待とうぜ

20 : 2024/03/18(月) 08:38:17.83 ID:mLr7olbI0
H100を持ってない?
安心してください、さくらインターネットなら使えます

また株価上がるな

21 : 2024/03/18(月) 08:38:20.32 ID:MTA6nIand
ローカルでエ口チャット出来るようになってから呼んで
22 : 2024/03/18(月) 08:38:24.52 ID:wMMKOsgdH
てかこれを普通のPCにインストールできんの?
chatgptとかめっちゃ電力食うとか言うやん
学習フェーズだけでなく運用フェーズでも相当マシンパワーいるやろ
ソフトだけオープンになっても個人レベルで簡単に使えないなら
金払ってChatGPT使う方がいいわ
23 : 2024/03/18(月) 08:38:26.22 ID:sugNrjK90
アパッチやんガチオプソじゃん
24 : 2024/03/18(月) 08:40:40.37 ID:Ds1zTsCV0
ChatGPTを煽るイーロンマスク
レス24番のサムネイル画像
https://twitter.com/elonmusk/status/1769447665723470236
25 : 2024/03/18(月) 08:41:30.30 ID:ba/5OHEG0
下ネタとか入ってないんだろ?
29 : 2024/03/18(月) 08:44:21.27 ID:Ds1zTsCV0
>>25
公式HPの説明によると反抗的でユーモアのある性格らしい

Announcing Grok
x.ai/blog/grok

Grok は銀河ヒッチハイク ガイドをモデルにした AI で、ほとんどすべてのことに答えることを目的としており、さらに難しいことには、どのような質問をすればよいかを提案することさえできます。

Grok は、少し機知に富んだ質問に答えるように設計されており、反抗的な性格があるため、ユーモアが嫌いな場合は使用しないでください。

Grok のユニークかつ基本的な利点は、𝕏 プラットフォームを通じて世界に関するリアルタイムの知識を持っていることです。 また、他のほとんどの AI システムでは拒否されるような難しい質問にも答えます。

Grok はまだ非常に初期のベータ版製品であり、2 か月のトレーニングでできる最高の製品です。そのため、皆様のご協力により、週を追うごとに急速に改善されることが期待されます。

35 : 2024/03/18(月) 08:56:38.08 ID:FlfrWjMX0
>>29
ということは宇宙と生命についての究極の質問をしたら
「42」と回答してくるんだろうな
26 : 2024/03/18(月) 08:41:34.38 ID:s2YKf/Z0H
Llamaとかもウエイト情報出回ってるじゃん
公開されても運用できなきゃ意味ないんだよ
27 : 2024/03/18(月) 08:43:08.94 ID:Es6gWnp80
使いこなせる奴は世界にどれだけいるのよこれ
28 : 2024/03/18(月) 08:44:12.04 ID:KiCPbA2E0
何かださい
31 : 2024/03/18(月) 08:48:34.30 ID:DWo+ul9TM
いっぽうその頃Microsoft Research&中国科学院大学&清華大学
レイテンシ、メモリ使用量、処理能力、そしてエネルギー効率を従来モデル比で大幅に向上させた
1ビットLLMを作成してしまう

チーロンさん…🥺

32 : 2024/03/18(月) 08:50:27.82 ID:Ye5Tr8Zm0
インプゾンビだらけのエックスから情報集めてもあんま意味なさそう
33 : 2024/03/18(月) 08:52:55.03 ID:zh9FqImMr
ヒトラーとどっちが悪影響か
どう答えるのかマスク的には良かったの?
36 : 2024/03/18(月) 08:56:53.55 ID:aT+V04eHa
一応オープンソースにはするけど巨大過ぎて何のためにするのかよくわからないいつものイーロン
37 : 2024/03/18(月) 08:59:59.41 ID:VwhGYN+10
ワークニだけみてるとアホみたいな学習しかしなさそうだが
38 : 2024/03/18(月) 09:01:48.77 ID:pTXMQEeL0
サイコミュシステム開発順調らしい
39 : 2024/03/18(月) 09:02:17.13 ID:u1e1v9BX0
エ口はいけるのか?

コメント

タイトルとURLをコピーしました