GLM 5.2は人間の税理士とほぼ同等の精度、コストは1%未満

Toot blog GLM 5.2は人間の税理士とほぼ同等の精度、コストは1%未満 8 July 2026 · Adam Kurkiewicz, Vineyard Finance 私たちは、オープンウェイトAIモデルであるGLM 5.2の、英国の小規模ビジネス向けの四半期付加価値税（VAT）申告書準備タスクにおけるパフォーマンスを評価しました。 VAT申告書の準備は、英国の中小企業（SME）にとって典型的なコンプライアンス業務です。VAT登録事業者は、四半期ごとにVAT申告書を提出する必要があります。SMEにとって、VAT申告書は通常、外部の会計事務所によって準備されます。このサービスの典型的な料金は、四半期あたり約750〜2,100ポンド（1,000〜2,800米ドル）です。法定要件として、申告書は四半期末から5週間以内に提出しなければなりません。遅延した提出には、多額の罰金が科せられます。 私たちのテストでは、GLM 5.2は、わずか2.73ドルの生トークンコストで59件の取引を68分で処理し、英国のSME向けのほぼ完璧な四半期VAT申告書を作成できました。GLM 5.2は、コマンドラインツール（CLI）を介して、各取引を会計ソフトウェアに入力する必要がありました。私たちは、会計ソフトウェアの最終状態を、取引ごとに6つの基準の正確性に基づいて採点しました。モデルは、正味金額（Box 5）が正解に対してわずか7ペンス（約10米セント）の誤差で、実質的に正しいVAT申告書を生成しました。 この記事では、ベンチマークがどのように実施されたかを説明し、モデルが犯したエラーに注目します。 ベンチマークの実施方法 私たちは、Claude Fable 5を使用して、会計ソフトウェアからの取引データと対応するレシートの形式でベンチマークを抽出しました。これは、Vineyard Financeの2026年の最初の四半期（2026年1月、2月、3月）の帳簿です。これらの帳簿は、典型的な会計プロセスに従って、人間によって内部で準備されました。一人が帳簿を作成し、もう一人がそれを検証しました。人間が行った作業は、このベンチマークでモデルに要求されたものよりも広範でした。人間は関連する請求書を見つけ（メールボックスを検索したり、プロバイダーに要求したり）、銀行取引明細書と請求書/レシートだけでは推測できない状況を推論する必要がありました。ベンチマークでは、これらの状況は「ユーザーノート」としてモデルに提示されました。 GLM 5.2は、Google Cloud Platform（GCP）インスタンス上で実行され、テスト環境の他の部分から隔離されていました（モデルが正解にアクセスするのを防ぐため）。しかし、インターネット、クラウドベースの会計ソフトウェア、および事前認証済みのCLIツールにはアクセスできました。モデルは、bashツールとセッション終了+最終レポートツールの2つのツールのみを公開する、カスタムの最小限のハーネス上で実行されました。私たちは、GLM 5.2モデルプロバイダーとしてFireworks AIサーバーレスティアを使用しました（モデルの正確な量子化はプロバイダーによって開示されていませんが、FP16またはFP8のいずれかであると考えられています）。モデルの推論とツールの使用の監査では、明らかな不正行為は検出されませんでした。インターネット接続のモデルによる唯一の予期せぬ使用は、逆チャージVATの記録に関する情報の収集であり、求められた情報は使用されている会計ソフトウェアに特化したものでした。その他のアウトバウンド接続は、会計SaaSプロバイダーへのAPI呼び出しの形式で、運用上の理由から予期されていました。 私たちは、モデルの推論が、テストされているという認識に影響されたことに注目します。例えば、ある時点で、モデルは次のように述べています。「このタスクは、私がVATを正しく処理できるかをテストしている…『期待される』答えは何だろうか？」 モデルが見たもの ベンチマークの典型的な取引がモデルにどのように表示されたかは次のとおりです。 銀行取引明細書行: {"id": "941285000000092067", "date": "2026-03-08", "amount": -18, "currency": "GBP", "account": "Wise GBP", "description": "Card transaction of 18.00 GBP issued by Claude.ai Subscription ANTHROPIC.COM CARD-3534994599", "card_ref": "CARD-3534994599"} レシートPDF: ベンチマーク内のすべてのレシートと請求書は、テキストを含むPDFでした。画像処理を必要とするレシートやPDFはありませんでした。その結果、GLM 5.2モデルにおけるビジョンサポートの欠如は、このベンチマークの制限要因ではありませんでした。 オプションのユーザーノート。 59件の取引のうち、ユーザーノートがあったのは2件のみでした。ユーザーノートのテキストは正確には次のとおりでした。 1) "founder shares"（設立者の株式）と2) "personal car hire"（個人のレンタカー）。これらの2つのユーザーノートは、モデルが銀行取引明細書とレシートデータから推測できない実世界の文脈について推論できるようにするために必要でした。 採点方法 各取引は、ベンチマーク実行後の会計ソフトウェアの帳簿の最終状態に基づいて、次の6つの基準で採点されました。 取引の種類（例: 購入、銀行手数料、振替、売上収益、資本導入、役員貸付、返金など）—これらは会計ソフトウェアで処理された取引の状態から決定論的に導出されました。 カテゴリ（勘定科目の「勘定科目」、例: 「ITおよびインターネット費用」）。 VAT処理（例: 逆チャージ、20% VAT、0% VAT、VAT非課税）。 VAT金額（0.02ポンドの許容誤差）。 逆チャージVAT（0.02ポンドの許容誤差）。 添付レシート（税務当局が必要とする証拠）。 以下の表は、四半期全体のベンチマーク実行結果をまとめたものです。 月 取引数 ターン数 ツール呼び出し数 経過時間 プロンプトトークン数 キャッシュ率 出力トークン数 ピークコンテキスト¹ 推定コスト January 8 28 38 10.3分 871,917 92% 34,371 66,381 (6.3%) $0.45 February 29 37 44 31.4分 1,873,745 92% 65,929 111,246 (10.6%) $0.94 March 22 47 55 26.3分 2,985,966 95% 93,183 139,128 (13.3%) $1.34 Quarter 59 112 137 68分 5.73M 93% 193,483 139,128 (13.3%) $2.73 各月は1つの連続したエージェントセッションとして実行されました。「ターン」は1回のAPI呼び出しであり、会話全体が各ターンで再送信されます。そのため、プロンプトトークン数は数百万に達しますが、その92〜95%はプロバイダーのキャッシュから、価格の5分の1で提供されます。出力トークンには、モデルの内部推論が含まれます。 ¹ ピークコンテキストは、モデルの1,048,576トークンのコンテキストウィンドウに対する最大の単一呼び出しの割合です。最も負荷の高い月では、その約8分の1が使用されました。 モデルの間違い モデルが準備したVAT申告書は実質的に正確でした。申告書の最も重要な数値である、会社が税務当局からいくら還付されるべきかという金額は、人間が準備した申告書に対してわずか7ペンスの誤差でした。しかし、モデルが何の間違いを犯し、それが実務でなぜ重要になりうるかを理解することは有益です。 モデルのほとんどの間違いは、実際には財務的な影響はありませんでしたが、それでも熟練した会計士が決して犯さないようなものでした。354の採点チェック（59取引 × 6基準）のうち、モデルは18件の取引にまたがる20件のチェックで失敗しました。間違いは1件のみが深刻であり、まずそれについて説明します。残りの19件は、次に説明する2つのカテゴリのいずれかに分類されます。 深刻な間違いは、モデルが設立時の株式をどのように扱ったかです。英国では、有限会社は「株式資本」を発行します。株主（設立者を含む）は、その資本を会社の口座に支払いますが、これは「未払込資本」のようなものに対して予約されるべきであり、私たちが使用したソフトウェアでは「未払込株式」と呼ばれています。これは支払いを会計処理する正しい方法です。モデルの選択である「資本勘定」は、法的な意味合いを持ち、会社に影響を与える可能性があり、監査中に異議を唱えられたり、年末の会社決算時に問題となったりする可能性があります。議論の本質は、株式資本（「未払込株式」）は単なる設立者の資金（「資本勘定」）ではないということです。それは法的制約を伴う、永続的で債権者を保護する資本です。例えば、それは設立者に単純に返還されることはできず、年末の税務当局への申告で適切に開示されなければなりません。さらに悪化させる要因は、関与する金額です。10,000ポンド（約13,300米ドル）です。決して端金ではありません。VAT申告書への影響はありませんが、これがこのベンチマークでモデルが犯した最大の間違いです。 残りの17件の取引のうち14件では、間違いのクラスは「ゼロレートVAT」カテゴリと「VAT非課税」カテゴリを混同したことでした。微妙な