GitHub Copilotは、大規模な言語モデルに基づく最初の実際の製品です

この記事は、 人工知能のビジネス

GPT-2以降、大規模な言語モデルのアプリケーションに多くの興奮がありました。 また、過去数年間で、記事の作成、Webサイトの設計、画像の作成、さらにはコードの作成など、多くのエキサイティングなタスクにLLMが使用されるのを見てきました。

しかし、私が前に議論したように、 広い格差 新しいテクノロジーが何かクールなことをすることを示すことと、同じテクノロジーを使用して実行可能なビジネスモデルで成功する製品を作成することの間。

マイクロソフトは、最初の本物のLLM製品を発売したばかりだと思います。 GitHubCopilotの公開リリース 先週。 これは、強力な製品/市場適合性を持ち、莫大な付加価値を持ち、打ち負かされにくく、費用対効果が高く、非常に強力な流通チャネルを持ち、大きな利益の源となる可能性があるアプリケーションです。

GitHub Copilotのリリースは、次の2つのことを思い出させます。1つは、LLMは魅力的ですが、特定のタスクに適用する場合とは対照的に、便利です。 人工知能。 そして第二に、LLMの性質により、MicrosoftやGoogleなどの大規模なテクノロジー企業は 不当なアドバンテージ それらを商業化するために—LLMは民主的ではありません。

スペシャライズドLLM

副操縦士は AIプログラミングツール これは、VisualStudioやVSCodeなどの一般的なIDEに拡張機能としてインストールされます。 オートコンプリートのような、プログラミング用のコードを書くときに提案を提供します。 その機能は、コード行の完成から、関数やクラスなどのコードのブロック全体の作成にまで及びます。

コパイロットはによって供給されています コーデックス、のバージョン OpenAIの有名なGPT-3モデル、幅広いタスクを実行する能力の見出しを作った大規模な言語モデル。 ただし、GPT-3とは異なり、Codexはプログラミングタスク専用に微調整されています。 そしてそれは印象的な結果を生み出します。

GitHub CopilotとCodexの成功は、1つの重要な事実を強調しています。 LLMを実際に使用する場合、専門化は一般化に勝ります。 コパイロットが2021年に最初に導入されたとき。 CNBCが報告：「…OpenAIが最初のトレーニングだった頃 [GPT-3]、スタートアップはコードを助ける方法を教えるつもりはなかった、 [OpenAI CTO Greg] ブロックマンは言った。 それはもっと意味がありました 汎用言語モデル [emphasis mine] たとえば、記事を生成したり、間違った文法を修正したり、ある言語から別の言語に翻訳したりすることができます。」

しかし、GPT-3はさまざまなアプリケーションで軽度の成功を収めていますが、CopilotとCodexは1つの特定の分野で大ヒットしていることが証明されています。 コーデックスは書くことができません 詩やGPT-3のような記事、しかし、それはさまざまなレベルの専門知識の開発者にとって非常に有用であることが証明されています。 CodexはGPT-3よりもはるかに小さいため、メモリが多く、計算効率が高くなります。 そして、それが人間の言語の制限のない曖昧な世界とは対照的に、特定のタスクのために訓練されていることを考えると、それはより少ない傾向があります GPT-3のようなモデルがしばしば陥る落とし穴。

ただし、それは注目に値します。 GPT-3は人間の言語について何も知りません、コパイロットはコンピュータコードについて何も知りません。 それは トランスフォーマーモデル これは、何百万ものコードリポジトリでトレーニングされています。 プロンプト（たとえば、コードの一部またはテキストによる説明）が与えられると、最も意味のある次の一連の命令を予測しようとします。

その巨大なトレーニングコーパスと大規模なニューラルネットワークにより、Copilotは主に適切な予測を行います。 しかし、時には、それはほとんどの初心者プログラマーが避けるであろうばかげた間違いをするかもしれません。 プログラマーのようにプログラムについては考えていません。 ソフトウェアを設計したり、段階的に考えたり、ユーザーの要件や経験など、成功するアプリを構築するためのすべてのことを考えたりすることはできません。 これは 人間のプログラマーに代わるものではありません。

コパイロットの製品/市場適合

製品のマイルストーンの1つは、製品と市場の適合性を達成すること、または市場の代替ソリューションよりも問題を解決できることを証明することです。 この点で、コパイロットは驚くべき成功を収めています。

GitHubは昨年6月にプレビュー製品としてCopilotをリリースし、それ以来100万人以上の開発者によって使用されています。

GitHubによると、Copilotがアクティブ化されているファイルでは、記述されたコードの約40％を占めています。 開発者とエンジニア 先週話しました コパイロットの能力には限界がありますが、それが生産性を大幅に向上させることは否定できません。

一部のユースケースでは、CopilotはStackOverflowやその他のコードフォーラムと競合しており、ユーザーは直面している特定の問題の解決策を検索する必要があります。 この場合、Copilotの付加価値は非常に明白で明白です。つまり、欲求不満や注意散漫が少なくなり、集中力が高まります。 開発者は、IDEを離れてWebでソリューションを検索する代わりに、必要な機能の説明またはドキュメンテーション文字列を入力するだけで、Copilotがほとんどの作業を行います。

その他の場合、Copilotは、Pythonでmatplotlibチャートを構成するなど、イライラするコードを手動で作成することと競合しています（非常にイライラするタスク）。 Copilotの出力には微調整が必​​要な場合がありますが、開発者の負担のほとんどが軽減されます。

他の多くのユースケースでは、Copilotは、多くの開発者が毎日直面する問題に対する優れたソリューションとしての地位を固めることができました。 開発者は、テストケースの実行、Webサーバーのセットアップ、コードの文書化、および以前は手作業を必要とし、骨の折れる他の多くのタスクなどについて教えてくれました。 コパイロットは、彼らが日常業務で多くの時間を節約するのを助けました。

流通と費用対効果

製品/市場の適合性は、成功する製品を作成するためのいくつかの要素の1つにすぎません。 あなたが良い製品を持っているが、費用効果が高く収益性の高い方法でその価値を提供するための適切な流通チャネルを見つけることができないなら、あなたは運命にあります。 同時に、競合他社に対する優位性を維持し、他の企業があなたの成功を複製するのを防ぎ、継続的に価値を提供できるようにする計画が必要になります。

Copilotを成功する製品に変えるために、Microsoftは、テクノロジー、インフラストラクチャ、市場など、いくつかの非常に重要な要素をまとめる必要がありました。

まず、適切なテクノロジーが必要でしたが、そのおかげで取得しました。 OpenAIの技術の独占的ライセンス。 2019年以降、OpenAIはテクノロジーのオープンソーシングを停止し、代わりにマイクロソフトを中心とする財政支援者にライセンスを供与しています。 CodexとCopilotは、OpenAIの科学者の助けを借りてGPT-3から作成されました。

他の大規模なテクノロジー企業は、GPT-3に匹敵する大規模な言語モデルを作成することができました。 しかし、LLMが トレーニングと実行に非常にコストがかかる。

「Codexの10分の1のモデル、つまりCopilotの背後にあるモデル（紙に12Bのパラメーターがある）の場合、これを評価するには数百ドルかかります。 基準 HuggingFaceの機械学習エンジニアであるLoubnaBenAllalは、TechTalksに語りました。 ベン・アラルは言及しました 別のベンチマーク コーデックスの評価に使用され、彼女自身の小さなモデルには数千ドルの費用がかかりました。

「悪意のあるモデルを評価するために信頼できないプログラムを実行する必要があるため、セキュリティの問題もあります。サンドボックスは通常、セキュリティに使用されます」とベン・アラル氏は述べています。

HuggingFaceの別のMLエンジニアであるLeandrovonWerraは、それを正しく行うために必要な実験のサイズと数に応じて、トレーニングコストを数万から数十万ドルと見積もっています。

「推論は最大の課題の1つです」と、フォンウェラはTechTalksへのコメントで付け加えました。 「最近、リソースを持っているほとんどの人が10Bモデルをトレーニングできますが、ユーザーに応答していると感じるのに十分なだけ推論レイテンシを低くすることは、エンジニアリング上の課題です。」

ここで、Microsoftの2番目の利点が始まります。同社は、Codexなどの機械学習モデルに特化した大規模なクラウドインフラストラクチャを作成することができました。 推論を実行し、ミリ秒単位で提案を提供します。 さらに重要なことに、Microsoftは非常に手頃な価格でCopilotを実行および提供できます。 現在、Copilotは月額$10または年額$100で提供されており、人気のあるオープンソースリポジトリの学生とメンテナに無料で提供されます。

私が話をしたほとんどの開発者は、時間の節約で価格をはるかに上回ったため、価格モデルに非常に満足していました。

今週初めに話したHuggingFaceの別のMLエンジニアであるAbhishekThakurは、次のように述べています。 これらの種類のモデルを無料で提供するインフラストラクチャを構築することは、現実の世界では長期間実現可能ではありません。」

ただし、コードジェネレーターLLMを手頃な料金で実行することは不可能ではありません。

「これらのモデルと必要なデータを構築するためのコンピューティングに関しては、それは非常に実現可能であり、MetaのIncoderやCodeGenなどのCodexの複製がいくつかあります（HuggingFaceHubから無料でアクセスできるようになりました）SalesforceがCodexのパフォーマンスと一致していることから」とフォンウェラ氏は述べています。 「モデルを高速で優れた製品に構築するためのエンジニアリングは確かに含まれていますが、多くの企業が必要に応じてこれを実行できるようです。」

ただし、ここでパズルの3番目のピースが始まります。MicrosoftによるGitHubの買収により、最大の開発者市場にアクセスできるようになり、Copilotを数百万人のユーザーの手に簡単に届けることができました。 Microsoftは、数億人のユーザーに最も人気のあるIDEの2つであるVisualStudioとVSCodeも所有しています。 これにより、開発者が別の同様の製品とは対照的にCopilotを採用する際の摩擦が軽減されます。

価格設定、効率性、市場へのリーチにより、MicrosoftはAI支援ソフトウェア開発の新興市場におけるリーダーとしての地位を確固たるものにしているようです。 市場は他の方向に進む可能性があります。 確かに（そして私が前に指摘したように）大規模な言語モデルは、新しいアプリケーションや市場を作成するための多くの機会を開くでしょう。 しかし、それらは健全な製品管理の基本を変えることはありません。