次世代の学者が不要なAIの冬を回避する3つの方法

人工知能に関しては、2つの現実があります。 1つは、未来がとても明るいので、一目見ただけで溶接ゴーグルを着用する必要があります。 AIは、電気やインターネットと同じように、グローバルな人間の操作に必要なバックボーンテクノロジーです。 しかし、別の現実では、冬が来ています。

「AIの冬」とは、何も成長できない時期です。 つまり、誰も雇用も、獲得も、資金もありません。 しかし、この差し迫った不毛の季節は特別であり、業界全体に影響を与えることはありません。

実際、ほとんどの専門家はそれに気付くことさえありません。 Google、OpenAI、DeepMind、Nvidia、Meta、IBM、および合法的な研究を行っている大学は、心配する必要はありません。 明確で有用な目的を持ったスタートアップは問題ありません—それにもかかわらず典型的な市場の問題です。

来る寒さを心配する必要があるのは、私たちが「ブラックボックス錬金術」と呼ぶものをやろうとしている人だけです。

ブラックボックス錬金術

少なくともある金属を別の金属に変えるというアイデアには いくつかの科学的メリット。

私は、研究者がくだらない小さな予測モデルを構築し、AIが人間よりもうまく解決できるように偽の問題を作成する、非常に人気のある研究の流れについて話しています。

すべてを一文で書き出すと、それが気まぐれであることは明らかなはずです。 しかし、私はここで、ブラックボックスの錬金術が現在の学術研究の大部分を占めていることをお伝えします。それは悪いことです。

ブラックボックスの錬金術は、AIの研究者が、AIが得意なこと（Googleで何かを検索したときに関連する結果を返すなど）を取得し、同じ原則を使用して不可能なことを実行しようとすると発生します。 AIは、結果が得られる理由を説明できないため（作業は内部が見えないブラックボックスで行われるため）、研究者は、作業を表示せずに科学を行っているふりをします。

これは、予測的ポリシングや再犯アルゴリズムから、人の政治からテロリストになる可能性があるかどうかまですべてを検出するとされるでたらめなポップ顔認識システムに至るまで、無数のパラダイムで行われる詐欺です。

十分に強調することができない部分は、この特定の詐欺が学界全体で永続しているということです。 コミュニティカレッジやスタンフォードに通うことを計画しているかどうかは関係ありません。ブラックボックスの錬金術はいたるところにあります。

詐欺の仕組みは次のとおりです。研究者は、特定のタスクで人間よりも「正確」なAIモデルを開発できるようにするスキームを考え出します。

これは、文字通り、最も難しい部分です。 画像を見て、猫か犬かを判断するなど、簡単な作業を選ぶことはできません。 人間はこのタスクで100回のうち100回AIを破壊します。 私たちは猫と犬を区別するのが本当に得意です。

そして、あなたはあまりにも複雑なタスクを選ぶことはできません。 たとえば、予測モデルをトレーニングして、1930年代のどの特許が現代の熱力学アプリケーションに最も関連するかを判断する意味はありません。 そのゲームで勝つことができる人間の数は重要ではありません。

平均的な人が科学的方法で観察、測定、報告できると考えるタスクを選択する必要がありますが、実際にはそれはできません。

それが済んだら、残りは簡単です。

ゲイダー

ブラックボックスの錬金術の私のお気に入りの例は、スタンフォードゲイダー紙です。 でたらめなAIの傑作です。

研究者は、人間の顔のデータベースで基本的なコンピュータビジョンシステムを訓練しました。 顔には自己申告のタグが付けられており、写真に写っている個人が同性愛者であるか異性愛者であるかを示しています。

時間が経つにつれて、彼らは超人的なレベルの精度に到達することができました。 研究者によると、AIは人間よりもどの顔が同性愛者であるかを判断するのに優れており、その理由は誰にもわかりません。

ここに真実があります：他の人間が同性愛者であるかどうかを人間は知ることができません。 推測できます。 正しいと推測する場合もあれば、間違って推測する場合もあります。 これは科学ではありません。

科学には観察と測定が必要です。 観察したり測定したりするものがなければ、科学を行うことはできません。

同性愛はグラウンドトゥルースではありません。 同性愛の科学的測定はありません。

これが私が意味することです：あなたが同性の魅力を経験するならば、あなたは同性愛者ですか、それともあなたがそれに基づいて行動する場合だけですか？ あなたはゲイの処女になれますか？ あなたは奇妙な経験をして、まっすぐにとどまることができますか？ あなたを同性愛者として認定するのにいくつの同性愛者の考えが必要ですか、そして誰がそれを決定することができますか？

単純な現実は、人間のセクシュアリティはチャートにプロットできるポイントではないということです。 他の誰かが同性愛者であるかどうかを誰も判断できません。 人間には、クローゼットの中にとどまり、自分の体験的なセクシュアリティを否定し、自分のラベルを決定するために自分の生活に必要な「ゲイネス」または「ストレートネス」を決定する権利があります。

同性愛者のための科学的なテストはありません。 つまり、スタンフォード大学のチームは、同性愛を検出するためのAIをトレーニングすることはできません。 AIをトレーニングして、実際のユースケースがない差別ゲームで人間を打ち負かそうとすることしかできません。

3つのソリューション

スタンフォード大学のゲイダー紙は、そこにあるブラックボックスの錬金術の数千の例の1つにすぎません。 この一連の研究が非常に人気があることに誰も驚かないはずです。それはML研究の成果です。

20年前、機械学習に関心のある高校卒業生の数は、今年AIの学位を取得するために大学に向かう10代の若者の数と比較して減少しました。

そして、それは良いことでも悪いことでもあります。 良いことは、今日、世界中にこれまで以上に優秀なAI / ML研究者がいることです。そして、その数は増え続けるでしょう。

悪いことに、地球上のすべてのAI教室には、Magic 8-Ballと予測モデルの違いを理解していない学生が散らばっています。そして、前者が人間の結果を予測するのになぜ役立つのかを理解している人はさらに少なくなっています。

これにより、すべての学生、研究者、教授、AI開発者が、AI/MLの分野全体をすべての人にとってより良いものにするためにできる3つのことがわかります。

1. ブラックボックスの錬金術をしないでください。 予測に関連するAIプロジェクトを開始する前に最初に尋ねる必要がある質問は、これは人間の結果に影響を与えるかどうかです。 プロジェクトの有効性を測定するために使用できる唯一の科学がそれを人間の精度と比較することである場合、あなたが素晴らしい仕事をしていない可能性が高いです。
2. 有用なデータベースをキュレートする余裕がないという理由だけで、以前のモデルによって設定されたベンチマークを超えることを唯一の目的として新しいモデルを作成しないでください。
3. 正確で多様性があることを保証できないデータでモデルをトレーニングしないでください。

この記事を、ある種の独善的なマイクドロップのような3つのアドバイスで締めくくりたいと思いますが、それはそのような瞬間ではありません。

問題の事実は、学生の大部分が、これら3つのルールすべてを破ることを伴わないAI/MLの分野で何か新しいことをするのに苦労する可能性が高いということです。 そしてそれは、ブラックボックスの錬金術が簡単であり、特注のデータベースを構築することは、ビッグテックのリソースがなければ誰にとってもほぼ不可能であり、大規模なパラメータモデルをトレーニングする余裕があるのはほんの一握りの大学や企業だけだからです。

私たちは、学生や開発予定者の大多数が、オープンソースアルゴリズムを使用する「クールな」方法を見つけることを超えるために必要なリソースにアクセスできない場所で立ち往生しています。

この時代を乗り越えてより生産的な時代に移行する唯一の方法は、次世代の開発者が現在のトレンドを叱責し、現状からの道を切り開くことです。これは、先駆的なAI開発者の現在の収穫が当時行っていたようにです。 。