Scathingの調査により、AI開発に対するGoogleの有害なアプローチが明らかになりました

今週初めに発表された研究 サージAIによる AI業界を悩ませている最大の問題の1つである、でたらめで搾取的なデータラベル付けの慣行を明らかにしているようです。

昨年、Googleは「GoEmotions」と呼ばれるデータセットを構築しました。 これは「きめ細かい感情データセット」として請求されました。基本的には、テキスト内の感情的な感情を認識できるAIを構築するためのすぐにトレーニングできるデータセットです。

あたり Googleのブログ投稿：

「GoEmotions：細粒度の感情のデータセット」では、人気のある英語のサブレディットから抽出され、27の感情カテゴリでラベル付けされた58kのRedditコメントの人間による注釈付きデータセットであるGoEmotionsについて説明します。 これまでで最大の完全に注釈が付けられた英語のきめ細かい感情データセットとして、心理学とデータの適用性の両方を念頭に置いてGoEmotions分類法を設計しました。

別の言い方をすると、Googleは58,000件のRedditコメントを取得し、それらのファイルをサードパーティ企業に送信してラベルを付けました。 これについては後で詳しく説明します。

研究

Surge AIは、GoEmotionsデータセットからの1,000個のラベル付きコメントのサンプルを調べ、それらのかなりの部分が誤ってラベル付けされていることを発見しました。

研究によると：

データセットのなんと30％がひどく誤ったラベルになっています！ （データセットでモデルをトレーニングしようとしましたが、品質の問題に気づきました。そこで、1000のランダムなコメントを取り、元の感情が適度に正確であるかどうかをSurgersに尋ね、そのうち308で強いエラーを見つけました。）

さらに、データセットに関するいくつかの主要な問題を指摘します。これには、次のような問題が含まれます。

問題＃1：「Redditコメントが追加のメタデータなしで提示された」

まず第一に、言語は真空の中に住んでいません！ 追加のメタデータなしでコメントを表示するのはなぜですか？ 返信するサブレディットと親の投稿は、特に重要なコンテキストです。

「彼の罠はクソの太陽を隠す」というコメントがそれ自体で見られると想像してみてください。 それが何を意味するのか分かりますか？ おそらくそうではありません–おそらくそれがGoogleがそれを誤ってラベル付けした理由です。

しかし、それがボディービルに捧げられた/ r / nattyorjuice subredditから来たと言われたらどうしますか？ では、トラップは誰かの台形の筋肉を指していることに気づきますか？

問題

この種のデータには適切なラベルを付けることができません。 上記の「彼の罠はクソ太陽を隠す」というコメントを例にとると、人間の感情に関しては、地球上の一人の人間があらゆるエッジケースを理解できるとは想像できません。

特定のラベラーが良い仕事をしなかったということではありません、それは彼らが不可能な仕事を与えられたということです。

人間のコミュニケーションへの洞察を拾い集めるための近道はありません。 私たちは機械のように愚かではありません。 私たちは、環境全体と生きた歴史をコミュニケーションのコンテキストに組み込むことができ、セマンティック操作に関する巧みな把握の巧妙な表現を通じて、ナンセンスを哲学に変える（たわごとが起こる）か、本当にありふれたステートメントを時代を超えたジョークのオチに変えることができます（反対側に行くために）。

これらのグーグルの研究者が行ったことは、マジック8ボールのくだらないデジタルバージョンを開発するのにどれだけの時間とお金がかかるかを知っている人に費やされています。 正しいこともあれば、間違っていることもあり、どういうわけか確実にする方法はありません。

この特定の種類のAI開発は不自然です。 それは詐欺です。 そして、それは本の中で最も古いものの1つです。

仕組みは次のとおりです。研究者たちは、「テキスト内の人間の感情をコンテキストなしで大規模に判断する方法」という不可能な問題を取り上げ、でたらめの魔法を使用して、AIが解決できる比較的単純な問題に変換しました。ラベルへのキーワード。」

それが不自然である理由は、キーワードをラベルに一致させるためにAIを必要としないためです。 地獄、あなたは20年前にMicrosoftExcelでそれを行うことができました。

もう少し深い

AIがトレーニングされたデータセットに、誤ったラベルのデータが含まれていることをご存知でしょう。 したがって、返される結果が正確であることを絶対に確信できる唯一の方法は、それを自分で確認することです。いわゆる、いわゆる結果である必要があります。 ループ内の人間。 しかし、本来あるべき結果が返されない場合はどうでしょうか。

自動車画像のデータセットで赤い車をすべて見つけようとしているわけではありません。 私たちは人間についての決定を下しています。

AIが台無しになり、一部の赤い車を見逃した場合、それらの車が悪影響を受ける可能性は低くなります。 また、誤って一部の青い車に赤いラベルを付けた場合でも、それらの青い車は問題ないはずです。

しかし、この特定のデータセットは、人間の結果に関連する意思決定のために特別に構築されています。

Googleによる：

マシンがコンテキストと感情を理解できるようにすることは、研究コミュニティの長期的な目標でした。これにより、共感的なチャットボット、有害なオンライン動作を検出するモデル、カスタマーサポートのやり取りの改善など、さまざまなアプリケーションが可能になります。

繰り返しになりますが、このデータセットでトレーニングされたAIモデルは、誤った出力を生成することがわかっています。 つまり、AIが人間に報酬を与えるか罰するかを決定するたびに、他の人間に明らかな害を及ぼすことになります。

AIの出力を使用して、人間の報酬に影響を与えることができる場合（たとえば、「ポジティブな感情」を含むスタック内のすべての履歴書を表示することによって）、表示されなかったファイルの一部が誤って識別されたと想定する必要があります。に対して。

これは、ヒューマンインザループでは解決できないことです。 それは人がすべての単一のファイルを確認する必要があります ではなかった 選択されました。

そして、AIが人間に影響を与える能力を持っている場合 罰 —たとえば、「ヘイトスピーチ」と見なされるコンテンツを削除することで—客観的に罰に値しない感情が誤って表面化され、人間に危害が加えられることは間違いありません。

何よりも悪いのは、 研究後の研究 これらのシステムは本質的に人間の偏見に満ちており、マイノリティグループは常に不釣り合いに悪影響を受けていることを示しています。

ソリューション

この種の調査を修正する唯一の方法は、ゴミ箱に捨てることです。

ここNeuralでの私たちのスタンスは、AIを作成した人間の明示的な個人の同意なしに、人間が作成したコンテンツでAIをトレーニングすることは完全に非倫理的です。

そうすることが合法であるかどうかは関係ありません。 私がRedditに投稿するときは、私の談話が他の人間を対象としていることを誠意を持って投稿します。 Googleは私のデータを補償しないので、利用規約で許可されている場合でも、データを使用しないでください。

さらに、エラーがないことが確認されていないデータでトレーニングされたAIモデルを、それらのモデルからの出力が人間の結果に影響を与える可能性がある場合に展開することは非倫理的であるというのも私たちのスタンスです。

最終的な考え

グーグルの研究者は愚かではありません。 彼らは、一般的な「キーワード検索と比較」アルゴリズムでは、ランダムに誤ってラベル付けされたReddit投稿でいっぱいのデータセットをフィードするという理由だけで、AIモデルを心理学、社会学、ポップカルチャー、セマンティクスの人間レベルの専門家に変えることはできないことを知っています。 。

あなたは彼らの動機に関してあなた自身の結論を引き出すことができます。

しかし、人間の成果が危機に瀕している場合、才能とテクノロジーの量が、でたらめでいっぱいのバッグを有用なAIモデルに変えることはできません。