米国の労働時間の90%はAIベンチマークではうまくカバーされていないタスクに費やされている

研究エンタープライズエキスパートカンパニー米国経済のベンチマークマップ近年、AIベンチマークは増加していますが、経済的に価値のある仕事のカバー率は限定的です。これを測定するために、関連するベンチマークを収集し、アメリカの雇用におけるそれらのカバー率を測定しました。このベンチマークマップは、経済全体にわたるAIの能力を理解するための、包括的で継続的に更新されるリソースを構築するための最初のステップです。923の職業のうち208のタスクのうち18,797のベンチマークがインデックスに含まれています29ベンチマークマップ各タイルは、米国の労働力を構成する923のO*NET職業の1つを表し、22のジョブファミリーにグループ化されています。職業は、私たちの初期のAIベンチマークリストで表されているタスクの割合に応じて色分けされています。単一のベンチマークプロンプトは、複数のO*NETタスクにマッピングできます。ファミリーをクリックして開くベンチマークインデックスによるカバー率APEXのみ少なくとも1つのプロンプトでカバー5つのプロンプトベンチマークインデックスカバーなし22のO*NETジョブファミリーすべて、AIベンチマークでカバーされている職業の割合を示しています。ジョブファミリーカバーされている職業コンピュータ＆数学29 / 36ビジネス＆金融33 / 48コミュニティサービス10 / 14法律5 / 7オフィス＆管理21 / 51管理21 / 56建築＆エンジニアリング19 / 56販売6 / 22芸術＆メディア13 / 40科学15 / 60医療従事者12 / 89教育＆図書館9 / 62私たちのデータセットでは、923の職業のうち208のみが少なくとも5つのベンチマークプロンプトを持つタスクを持っており、22のジョブファミリーのうち6にはそのような職業がありません。私たちの調査結果は、アメリカの労働時間の90%が、既存のベンチマークであまりカバーされていないタスクに費やされていることを示唆しています。これにより、AIモデルがアメリカ人が実際に行う仕事に対してどれほど優れているかを把握することが非常に困難になります。既存のベンチマークのカバー率はランダムでもありません。私たちのマップは、AIコミュニティが最大の労働市場にまず焦点を当てていることを示唆しています：職業賃金総額によるO*NETタスクのベンチマークカバー率AIへの露出が高いAIへの露出が低いタスクカバー率の調整済み確率0%5%10%15%20%AIへの露出が高いAIへの露出が低い年間の職業賃金総額（対数スケール）各点は、AIへの露出タグが付いた特定のO*NETタスクが、特定の賃金総額を持つ職業に属する場合、私たちのベンチマークインデックスで少なくとも5つのプロンプトでカバーされる推定確率を示しています。AI露出タグはバイナリであり、Eloundouら（2023）から取得しています。職業賃金総額は、BLSの平均賃金と各職業に従事するアメリカ人の数を推定したものから計算されており、週40時間の労働を想定しています。推定カバー率の確率は、AI露出と職業賃金総額の対数に対するカバー率の確率のタスクレベルロジスティック回帰から得られます。エラーバーは、職業グループレベルでクラスタリングされた標準誤差に基づいたポイントワイズ95%デルタ法信頼区間です。たとえば、私たちの初期リストのベンチマークは、AIに露出している弁護士のタスクを大幅にカバーしていますが、同様にAIに露出している法律秘書や裁判所書記官のO*NETタスクはほとんどカバーしていません。中小所得の知識労働職のロングテールは、カバーされていないようです。経済全体にわたるモデルの能力のカバー率を拡大するにつれて、私たちの理解におけるギャップを特定し、埋めるのに役立つことを願っています。簡単な方法論経済をセクター、職業、タスクに分解するために、米国労働省のO*NET分類を使用しました。O*NETは、米国労働力を923の職業に分類しています。各職業について、O*NETは職業を構成する「タスク」の包括的なリストを提供しようとしており、すべての職業で合計18,797のタスクがあります。例 — 弁護士に関連付けられている22のタスクのうち6つ1. 法律文書（遺言、証書、特許出願、抵当権、リース、契約書など）を作成、起草、レビューする。2. 顧客に対し、事業取引、請求責任、訴訟の提起または防御の妥当性、または法的権利と義務について助言する。3. 法律、判決、規制を個人および企業のために解釈する。4. 法的先例の知識を使用して、訴訟の予想される結果を分析する。5. 刑事または民事訴訟において、顧客を弁護するため、または被告を訴追するために証拠を提示する。6. 法律アシスタントを監督する。ベンチマークカバー率を測定するために、品質と経済的関連性に基づいて選択された29のベンチマークのリストから始めます。（完全なリストと選択基準は、ベンチマークインデックスタブにあります。）このリストのベンチマークを選択する際に、私たちは以下を優先しました：公開利用可能性。含まれるベンチマークは、少なくとも25の公開タスクを持っています。また、MercorのAPEXベンチマークも含まれています。そこでは、保持されたベンチマークプロンプトにアクセスできるため、O*NETタスクにマッピングできます。エージェンティックタスク。含まれるベンチマークは、質問に答えたり、タスクの完了方法についてユーザーにアドバイスしたりするのではなく、モデルにエージェンティックタスクを実行するように求めています。経済的現実性。ベンチマークタスクは、人間（またはエージェント）が実際の企業で頻繁に依頼されるタスクに似ています。学術的に複雑なタスクよりも経済的に価値のあるタスクが優先されます。経済的多様性。人気のあるベンチマークで過度に表現されているソフトウェアエンジニアリングと研究タスクを大幅に考慮するために、ジョブファミリーごとに含まれるベンチマークの数を制限しました。バランスの取れた難易度。ベンチマークはまだ最先端のモデルで飽和していません。Wangらによる研究に従い、LLMジャッジに、各ベンチマークプロンプトに最も関連性の高いO*NETタスクをできるだけ多くタグ付けするように依頼します。LLMのタグ付けは、MercorのAPEXベンチマーク（この29のリストのサブセット）に関する人間の専門家によるタグ付けで検証します。ベンチマークマップでは、LLMジャッジが29のベンチマークから少なくとも5つのプロンプトをマッピングした場合、O*NETタスクは「カバーされている」と見なされます。このリストのベンチマークでカバーされているタスクにアメリカ人が費やす労働時間の総シェアを推定するために、カバー率の推定値と、Hatgis-Kessellらによる各O*NETタスクの労働時間シェアのLLM由来の推定値を組み合わせています。方法論の詳細については、方法論タブを参照してください。制限事項経済カバー率の総計およびカバー率のパターンに関する私たちの推定値はすべて、選択した29のベンチマークの初期リストから来ています。これは、より広範な飽和していない公開エージェンティック経済ベンチマークの宇宙の完全または完全に代表的なサンプルではありません。不完全なリストは必然的に経済カバー率の推定値を下方バイアスするため、そのバイアスを境界付けることは困難です。したがって、これらの結果は暫定的なものであることを強調したいと思います。初期ベンチマークリストを拡大するにつれて、それらを更新します。また、経済全体のベンチマークカバー率の推定値を最大化するために、各ジョブファミリーに含まれるベンチマークの数を制限しました。これにより、最もベンチマークされているジョブファミリー（例：ソフトウェアエンジニアリング）のカバー率の推定値が下方バイアスされるという犠牲を払って、経済全体のベンチマークカバー率の推定値がより正確になります。飽和していないベンチマークを選択することにより、LLMが完了しやすいO*NETタスクのベンチマークカバー率を過小評価するリスクがあります。一方で、飽和したベンチマークを含めると、飽和がタスクの現実性の低下につながる場合、ベンチマークカバー率を過大評価するリスクがあります。後者の主張は、ベンチマークが実際の展開でLLMのパフォーマンスをしばしば過大評価することを考えると、おそらく正しいでしょう。飽和したベンチマークを含めることによるバイアスは、それらを排除することによるバイアスよりも大きいと考えられますが、どちらの選択肢も理想的ではありません。最後に、「経済的現実性」など、ベンチマーク選択基準のいくつかは形式化が難しく、選択にいくらかの主観性が導入されます。カバー率のパターン私たちのインデックスのベンチマークは、経済全体に対して比較的深く狭いカバー率を持っています。それらは、AI自動化の影響を最も受けやすい経済タスク（Eloundouらによる測定）に不均衡に焦点を当てており、「露出している」と評価されたO*NETタスクは、「露出していない」と評価されたタスクよりもベンチマークで表される可能性が約6倍高くなっています。これは理にかなっています。ベンチマークはAIの進歩を測定するために設計されており、AIの進歩は最もAIに露出しているタスクで最も可能性が高いです。これは、ベンチマークが