Dayjob: Tax – 50のプロフェッショナルな税務案件でAIエージェントを評価

DAYJOB: Tax — プロフェッショナルな税務業務におけるAIエージェントのベンチマーキング

アンナは自宅のコンドミニアムを売却する計画を立てていました。2024年8月に引っ越した彼女は、税制上の優遇措置（最大25万ドルの譲渡益非課税）を受けるために、2026年10月か2027年1月のどちらに売却するのが税務上有利になるかを知りたかったのです。

AIエージェントが両方の選択肢をレビューし、どちらの日付でも非課税となるための居住要件を満たすと正しく結論付けました。

しかし、重要な締め切りを見落としていました。

通常の規則では、住宅所有者は売却前の5年間のうち少なくとも2年間、その物件に居住していなければ非課税の対象となりません。アンナは2024年8月に引っ越したため、2027年8月頃にはこの要件を満たさなくなります。もし売却が2027年8月を過ぎて遅延した場合、彼女は資格を失う可能性があります。

5回の試行のうち、Astraは一度も締め切りを特定しませんでした。Opusは5回すべてで特定しました。

エージェントは提案された日付を正しく評価しましたが、そのアドバイスはアンナに、重大な財務上の決定に影響を与える可能性のある締め切りがあることを知らせませんでした。税務アドバイザーは、クライアントが尋ねることを知らない場合でも、結果につながる問題を認識する必要があります。

これは、Surge AIのDAYJOBベンチマークファミリーの最新版であるDAYJOB: Taxで私たちがテストしている種類の専門的判断です。

DAYJOB: Taxの紹介

DAYJOBは、専門的な知識、複雑な資料、そして初期の指示では完全に特定されない決定を必要とするプロフェッショナルな税務案件において、AIエージェントを評価します。以前のリリースでは、ヘルスケアと金融をカバーしました。DAYJOB: Taxは、その作業を税務申告、コンプライアンス、およびアドバイザリーサービスへと拡張します。

このベンチマークには、税務実務の8つの分野にわたる50の環境が含まれています。エージェントはクライアントからの依頼と関連記録を受け取り、税務申告書、ワークペーパー、技術レビュー、またはクライアントへのアドバイスを作成します。

これらの案件は、税務知識、計算、情報検索、指示追従に加えて、専門的な判断をテストします。エージェントは、何が調査に値するかを決定し、矛盾する証拠を解決し、情報が不十分な場合にそれを認識し、それらの決定を最終的な作業に反映させる必要があります。

結果: リーダーボードとパレートフロンティア

Claude Sonnet 5.5が、DAYJOB: Taxリーダーボードで10.8%の合格率でリードしており、それに続いてClaude Fable 5.1が9.6%、Claude Opus 5.5が9.2%となっています。

［画像: DAYJOB: Tax leaderboard］

私たちは、95%のルーブリック閾値でのpass@1を報告します。試行は、計算、裏付け証拠、結果につながる問題、および完了した成果物を評価するタスクの基準の少なくとも95%を満たした場合に合格とみなされます。

コスト対パフォーマンス

また、モデルのパフォーマンスと1試行あたりの平均コストを比較しました。

［画像］

Claude Sonnet 5.5とOpus 5.5は、測定されたパレートフロンティアの高性能エンドを占めています。

プロフェッショナルな税務業務の広範さ

DAYJOB: Taxは、それぞれ異なる規則、記録、専門知識を必要とする8つの分野をカバーしています。

• 個人および家族の税務
• 中小企業税務
• パートナーシップ
• 不動産と投資
• 遺産、贈与、信託
• 国際税務
• 法人取引
• 税務レビューと紛争

一部の案件では、裏付けとなるワークペーパーを含む完全な申告パッケージが必要です。他の案件では、エージェントに取引の調査、以前の申告のレビュー、またはクライアントがまだ決定していない事項に関するアドバイスの準備を求めます。

案件の内容

このベンチマークには1,789個のワークスペースファイルが含まれており、案件あたりの中央値は30個、最大で123個です。これらには、1,487個のPDF、117個のExcelワークブック、38個のWord文書、および追加のメール、画像、CSV、JSONレコード、テキストファイルが含まれます。

ワークスペースには、申告済みおよび下書きの税務申告書、K-1、W-2、IRS通知、総勘定元帳、給与記録、契約書、および通信記録が含まれます。また、税務専門家が日常的に扱う、あまり標準化されていない証拠も含まれています。

ある案件には、販売目的で購入した商品の手書き領収書の写真が含まれています。エージェントは、品目とその金額を読み取り、支出記録と照合し、購入が棚卸資産と売上原価にどのように影響するかを判断する必要があります。

［画像: 販売目的で購入した商品の手書き領収書の写真、DAYJOB: Taxワークスペースより］

別の案件では、アラバマ州でのみ事業を行っていると想定されている産業用サイロサービス会社が関与しています。しかし、そのフィールド派遣ログには、5つの州で作業しているクルーの記録があります。作業場所、クルーの規模、滞在日数は、会社の複数州にわたる税務義務に関連する証拠を提供します。

［画像: フィールド派遣ログ、DAYJOB: Taxワークスペースより］

他の環境も同様に多様です。ある案件では、クロスボーダー世帯のポーランドでの雇用および不動産記録を、仮想通貨取引所の輸出、ウォレット履歴、および過去の購入ロットと照合する必要があります。

税務専門家によって作成・レビュー

DAYJOBのタスクは、実際のプロフェッショナルワークフローから始まります。税務専門家がこれらの状況を現実的な案件に落とし込み、関連記録、期待される結果、および採点基準を開発します。各タスクは、正確性、完全性、および解決可能性について3層の専門家レビューを受けます。

税務専門家は、法人税務、パートナーシップ、個人所得税、信託、および複数州にわたるコンプライアンスの経験を持っています。彼らの経歴には以下が含まれます。

• 法人税務およびプライベートエクイティ税務: PwC、Deloitte、Exxonで10年以上の経験を持つ税務弁護士。税務計画、コンプライアンス、監査、紛争を担当。
• パートナーシップおよび法人税務: Baker Tillyの税務ディレクター。PwC、Moss Adams、Windesでの経験を持ち、複雑なパートナーシップの配分、連結法人税申告、REIT、高所得者クライアントを専門とする。
• 不動産および個人税務: DeloitteおよびEYでの経験を持つ税務専門家。不動産パートナーシップ、個人税務、信託を専門とする。

未検証の仮定に基づいた退職金計画

退職する夫婦が、Roth IRAと401(k)をどのように分割するかAIエージェントに尋ねました。Opus 5.5は、彼らが法的に結婚していないと伝え、口座を別々に維持し、残高を均等にするために現金で支払うことを推奨しました。

その回答は次のように始まりました。

あなた方は法的に結婚していないため、税金や罰金を発生させることなく口座を分割することはできません。

しかし、夫婦自身の記録はこの結論に疑問を投げかけました。彼らは現在フロリダ州に住んでおり、そこでは新しいコモンロー婚は一般的に認められていませんが、以前はテキサス州で同居しており、コロラド州で式を挙げていました。テキサス州は特定の条件下で非公式な結婚を認めており、他州で確立された有効な結婚はフロリダ州でも有効であり続ける可能性があります。

この区別は、退職口座を分割する際の税務上の結果を変える可能性があります。

5回の試行すべてにおいて、Opusは、不確実性を認めた場合でも、夫婦が未婚であるという仮定に基づいて推奨を行いました。Astraは5回の試行中4回で、結婚状況を確認する必要性を認識しました。ある回答は次のように助言しました。

まず、法的な婚姻状況を確認する必要があります。

クライアントは口座をどのように分割するか尋ねました。エージェントは、行動方針を推奨する前に、彼らが結婚しているかどうかを確認する必要がありました。その調査を促すべき証拠は、すでにファイル内にありました。

DAYJOB: Taxの立ち位置

既存の税務ベンチマークのほとんどは、定義された問題から始まります。回答すべき法的質問、計算すべき申告書、または収集すべき納税者の不足情報です。これらの評価は重要な能力を測定しますが、税務専門家の業務の多くは、実際の問題が何であるかを突き止めることに費やされます。クライアントは不完全な指示を提供し、記録には矛盾する証拠が含まれ、結果につながる問題は元の依頼に決して現れない可能性があります。

DAYJOBは、エージェントがそのエンドツーエンドの責任を処理できるかどうかをテストします。これには、クライアントが見落とした問題の特定、矛盾する証拠の評価、そしてそもそも何をする必要があるかを決定することが含まれます。

TaxBench

モデルは困難な税務の質問に答えられるか？

TaxBenchは、定義された問題と採点ルーブリックを持つ、複数の専門分野にわたる114の税務質問を評価します。

DAYJOBはまた、クライアントが正しい質問をしたかどうかを問います。アンナはコンドミニアム売却の2つの日付を比較したいと考えています。どちらも税制上の非課税の居住要件を満たしますが、その資格が失効する可能性がある場合にエージェントは警告するでしょうか？

TaxCalcBench

モデルは正確な申告書を計算できるか？

TaxCalcBenchは、現実的な税務書類と納税者シナリオを使用して、期待される申告値に対して税務申告書の正確性を評価します。

DAYJOBはまた、基になる記録が税務処理を実際に裏付けているかどうかを問います。スタジオの元帳には添付された領収書が参照されていますが、領収書が見つかりません。エージェントは不足している証拠を指摘せず、誤って払い戻しを検証済みとして扱いますか？

TaxLab

エージェントは不足している情報を収集し、正しく申告できるか？

TaxLabは、エージェントがシミュレートされた納税者に質問し、不足している情報を取得し、連邦個人税申告書を完了できるかをテストします。

DAYJOBは、その責任をより広範な税務専門職へと拡張します。成果物は、パートナーシップ損失分析、遺産申告書、紛争のある税務上の立場に関するレビュー、または戦略レターになる可能性があります。

中心的な違いは、エージェントに残される責任の量です。 DAYJOBは、エージェントが結果につながる問題を発見し、専門的な判断を行使し、それらの発見を完了した申告、レビュー、または推奨事項まで遂行できるかどうかを評価します。

［画像］

DAYJOB: Taxが測定するもの

DAYJOBは、AIエージェントが最初から最後までプロフェッショナルな割り当てを引き受けられるかどうかをテストします。それは、雑然とした記録をナビゲートし、クライアントが提起したことのない問題点を特定し、不完全な情報に基づいて健全な判断を下し、専門的な基準を満たす作業を提供するということです。

その結果は、最先端モデルにとってそれが依然としていかに困難であるかを示しています。エージェントが個々のステップを実行できたとしても、専門的な判断を行使し、現実世界の税務ワークフローを確実に実行することは、まだ手の届かないところにあります。

エージェントはまだ監査に合格していません。

評価したすべてのモデルを含む完全なリーダーボードは、DAYJOB: Taxベンチマークページにあります。

詳細を知りたい場合、または完全なベンチマークへのアクセスをリクエストするには、benchmarks@surgehq.aiまでご連絡ください。

---