GPT-3を矮小化するオープンソースモデルは、ビッグテックからAIを解放することを目的としています

GPT-3よりも大きな言語モデルが、ビッグテックのクラッチからAIを解放するという大胆な野心を持って登場しました。

BLOOMという名前のラージランゲージモデル（LLM）は、シリコンバレーの主要なシステムと同様のパフォーマンスを約束しますが、アクセスへのアプローチは根本的に異なります。

ハイテクの巨人は自慢のLLMを一般に公開しない傾向がありますが、BLOOMは誰でも無料で利用できます。

また、GoogleのLaMDAやOpenAIのGPT-3とは異なり、多言語対応であり、英語が支配的な分野では珍しい機能です。

これらの機能は、社会に深い影響を与えるように設定されているテクノロジーへのアクセスを民主化する可能性があります。

強力なAIモデルは、オープンな方法でトレーニングおよびリリースできます。

LLMは、エッセイの作成、コードの生成、言語の翻訳など、さまざまなタスクに精通していることを証明しています。

それでも、彼らは有害なコンテンツの作成にも長けています—そして彼らの将来の能力は 予測が難しい。

BLOOMは、研究者にリスクとメリットを探求するユニークな機会を提供します。

「BLOOMは、産業用AI研究所の典型的な秘密とは対照的に、最も強力なAIモデルが、説明責任を持って実際にオープンな方法で、より広範な研究コミュニティによってトレーニングおよびリリースできることを示しています。」 BLOOMのトレーニングの共同リーダーであるTevenLeScaoは声明の中で述べた。

AIを開く

LLMは、作成して実行するのに非常に費用がかかります。 たとえば、GPT-3のトレーニングには費用がかかると見積もられました 最大2760万ドル。

必然的に、テクノロジー企業は、特に競争上の優位性を提供する場合に、そのような大規模な投資を保護したいと考えています。

したがって、いくつかの注目すべき例外を除いて、LLMがオープンソースになることはめったにないことは驚くべきことではありません。

メタは最も顕著な異常を生み出しました。 5月、同社は1,750億のパラメータOPTへのアクセスを提供しました システム。

ただし、完全なモデルは、要求があった場合にのみ、非営利目的で使用できます。

BLOOMはアクセシビリティを向上させます。

1,760億パラメータのモデルは、同意する個人または機関であれば誰でも無料で利用できます。 システムの 責任あるAIライセンス。

誰でもできます 公に見る モデルの背後にある会議のメモ、ディスカッション、およびコード。

ブルームの種

BLOOMは、2021年初頭に開始された研究プロジェクトであるBigScienceによって作成されました。このイニシアチブはブートストラップされ、AIスタートアップが主導しています 抱きしめる顔。

BigScienceの共同リーダーであるThomasWolfは、次のように述べています。とHuggingFaceの共同創設者

トレーニングコーパスは私たちの価値観と一致しています。

60か国以上と250の機関からの100,000人の研究者からなるWolfのチームは、LLMへの参加と責任を促進するためにBLOOMを開発しました。

彼らはモデルを訓練しました に ジャン・ゼースーパーコンピューター フランスのパリで。

ライプツィヒ大学の研究科学者でBigScienceの研究者であるクリストファー・アキキは、次のように述べています。

「BigScienceの学際的かつ国際的な構成により、倫理、法律、環境、言語、技術など、複数の視点からプロセスのすべてのステップを批判的に振り返ることができました。

「つまり、パフォーマンスや規模を犠牲にすることなく、倫理的な懸念を軽減することができました。」

サイズは確かに印象的です。 1760億のパラメーターで、BLOOMはOpenAIのGPT-3およびMetaAIのOPTよりも大きくなっています。

このモデルは、46の自然言語と方言および13のプログラミング言語でテキストを生成できます。 それらの多くにとって、これは100Bを超えるパラメーターを持つ史上初の言語モデルです。

また、ユニークな手頃な価格です。 BigScienceは言う 研究者は、クラウドプロバイダーで1時間あたり40ドル未満でBLOOMを使用できます。

このモデルは、Big Techによって構築されたモデルと競合する可能性は低いですが、少なくともそれらを精査する方法を提供します。