GLM 5.2は人間の税理士とほぼ同等の精度、コストは1%未満
GLM 5.2 is nearly as accurate as a human book keeper (toot-books.pages.dev)
要約
この記事では、オープンウェイトAIモデルであるGLM 5.2が、英国の中小企業向け四半期付加価値税(VAT)申告書の準備タスクにおいて、人間の税理士とほぼ同等の精度を発揮することを検証しました。GLM 5.2は、わずか2.73ドルのコストで59件の取引を処理し、ほぼ完璧なVAT申告書を作成しましたが、1件の重大な誤り(設立時の株式資本の会計処理)と、17件の軽微な誤り(ゼロレートVATと非課税VATの混同)がありました。この結果は、AIがコスト効率よくコンプライアンス業務を支援できる可能性を示唆しています。
全文翻訳
GLM 5.2は人間の税理士とほぼ同等の精度で、コストは1%未満
私たちは、オープンウェイトAIモデルであるGLM 5.2の、英国の小規模ビジネスにおける四半期付加価値税(VAT)申告書作成タスクにおけるパフォーマンスを評価しました。VAT申告書の作成は、英国の小規模/中規模ビジネス(SME)にとって典型的なコンプライアンス業務です。VAT登録をしているビジネスは、四半期ごとにVAT申告書を作成する必要があります。SMEにとって、VAT申告書は通常、外部の会計事務所によって作成されます。このサービスの一般的な料金は、1四半期あたり約750〜2,100 GBP(1,000〜2,800 USD)です。法的な要件として、四半期末から5週間以内にVAT申告書を提出する必要があります。提出が遅れると、多額の罰金が科せられます。
私たちのテストでは、GLM 5.2は英国のSME向けに、ほぼ完璧な四半期VAT申告書を作成でき、59件の取引を68分で処理しました。その際の生のトークンコストは2.73 USDでした。GLM 5.2は、コマンドラインツール(CLI)を介して、各取引を会計ソフトウェアに入力する必要がありました。私たちは、会計ソフトウェアの最終状態を評価し、取引ごとに6つの基準の正確性を採点しました。モデルが生成したVAT申告書は、実質的に正確であり、正味金額(Box 5)は正解値と比較してわずか7ペンス(約10 USセント)の誤差でした。
この記事では、ベンチマークがどのように実施されたかを説明し、モデルが犯したエラーについて言及します。
ベンチマークの実施方法
私たちはClaude Fable 5を使用して、会計ソフトウェアから取引データと対応するレシートの形式でベンチマークを抽出しました。これは、Vineyard Financeの2026年の第1四半期(2026年1月、2月、3月)の帳簿データです。これらの帳簿は、人間が通常の会計プロセスに従って内部で作成したものでした。一人の担当者が帳簿を作成し、別の担当者がそれを検証しました。人間が行った作業は、このベンチマークでモデルに要求されたものよりも広範でした。人間は関連する請求書(メールボックスの検索やプロバイダーへの請求)を見つけ、銀行取引明細書や請求書/レシートだけでは推測できない状況について推論する必要がありました。ベンチマークでは、これらの状況は「ユーザーノート」としてモデルに提示されました。
GLM 5.2は、Google Cloud Platform(GCP)インスタンス上で実行されました。このインスタンスは、モデルが正解データにアクセスできないように、テスト環境から隔離されていましたが、インターネット、クラウドベースの会計ソフトウェア、および事前認証済みのCLIツールにはアクセスできました。モデルはカスタムの最小限のハーネス上で実行され、bashツールとセッション終了+最終レポートツールのみが公開されました。GLM 5.2モデルプロバイダーとしてFireworks AIサーバーレスティアを使用しました(モデルの正確な量子化はプロバイダーによって開示されていませんが、FP16またはFP8であると考えられています)。
モデルの推論とツール使用の監査では、明らかな不正行為は検出されませんでした。インターネット接続の唯一の予期せぬ使用は、逆チャージVATの記録に関する情報の収集であり、検索された情報は使用されている会計ソフトウェアに特化したものでした。その他のアウトバウンド接続は、会計SaaSプロバイダーへのAPIコールという形で、運用上の理由から予測されていました。モデルの推論は、テストされているという認識に影響を受けていたことに注意してください。例えば、ある時点でモデルは次のように述べています。
「このタスクは、私がVATを正しく処理できるかをテストしている…『期待される』答えは何だろうか」
モデルが見たもの
以下は、ベンチマークの典型的な取引がモデルにどのように表示されたかです。
銀行取引明細行:
{"id": "941285000000092067", "date": "2026-03-08", "amount": -18, "currency": "GBP", "account": "Wise GBP", "description": "Card transaction of 18.00 GBP issued by Claude.ai Subscription ANTHROPIC.COM CARD-3534994599", "card_ref": "CARD-3534994599"}
レシートPDF: ベンチマークのすべてのレシートと請求書はテキストを含むPDFであり、画像処理を必要とするレシートやPDFはありませんでした。その結果、GLM 5.2モデルのビジョンサポートの欠如は、このベンチマークの制限要因にはなりませんでした。
オプションのユーザーノート。 59件の取引のうち、2件のみにユーザーノートがありました。ユーザーノートのテキストは正確には以下の通りでした:1) 「founder shares」(創業者株式)および 2) 「personal car hire」(個人の車両レンタル)。これらの2つのユーザーノートは、モデルが銀行取引明細書とレシートデータからは導き出せない現実世界の文脈について推論できるようにするために必要でした。
採点方法
各取引は、ベンチマーク実行後の会計ソフトウェアの帳簿の最終状態に基づいて、以下の6つの基準で採点されました。
- 取引の種類(例:購入、銀行手数料、振替、売上収入、資本導入、役員貸付金、返金など)— これらは会計ソフトウェアで処理された取引の状態から決定論的に導出されました。
- カテゴリ(勘定科目表の「勘定科目」、例:「ITおよびインターネット費用」)。
- VAT処理(例:逆チャージ、VAT 20%、VAT 0%、VAT免税)。
- VAT金額(0.02 GBPの許容誤差)。
- 逆チャージVAT(0.02 GBPの許容誤差)。
- 添付レシート(税務当局が必要とする証拠)。
以下の表は、四半期全体のベンチマーク実行結果をまとめたものです。
| 月 | 取引数 | ターン数 | ツール呼び出し数 | 実時間 | プロンプトトークン数 | キャッシュヒット率 | 出力トークン数 | 最大コンテキスト¹ | 推定コスト |
|---|---|---|---|---|---|---|---|---|---|
| 1月 | 8 | 28 | 38 | 10.3分 | 871,917 | 92% | 34,371 | 66,381 (6.3%) | $0.45 |
| 2月 | 29 | 37 | 44 | 31.4分 | 1,873,745 | 92% | 65,929 | 111,246 (10.6%) | $0.94 |
| 3月 | 22 | 47 | 55 | 26.3分 | 2,985,966 | 95% | 93,183 | 139,128 (13.3%) | $1.34 |
| 四半期 | 59 | 112 | 137 | 68分 | 5.73M | 93% | 193,483 | 139,128 (13.3%) | $2.73 |
各月は1つの連続したエージェントセッションとして実行されました。「ターン」は1回のAPI呼び出しであり、会話全体が各ターンで再送信されます。そのため、プロンプトトークン数は数百万に達しますが、その92〜95%はプロバイダーのキャッシュから5分の1の価格で提供されます。出力トークンには、モデルの内部推論が含まれます。¹ 最大コンテキストは、モデルの1,048,576トークンコンテキストウィンドウに対する割合として最大の呼び出しです。最も負荷の高い月では、その約8分の1を使用しました。
モデルの間違い
モデルが作成したVAT申告書は、実質的に正確でした。申告書の中で最も重要な数値である、税務当局から会社が受け取るべきVATの金額は、人間が作成した申告書と比較してわずか7ペンスの誤差でした。
しかし、モデルが何の間違いを犯し、それが実務でなぜ重要になりうるかを理解することは有益です。モデルのほとんどの間違いは、実際には財務的な影響はありませんでしたが、熟練した会計士であれば決して犯さないものでした。
採点された354件のチェック(59取引 × 6基準)のうち、モデルは20件に失敗し、18件の取引にまたがっていました。深刻な間違いは1件だけで、まずそれについて説明します。残りの19件は、以下で説明する2つのカテゴリのいずれかに分類されます。
深刻な間違いは、モデルが創業者株式をどのように扱ったかです。英国では、有限会社は「株式資本」を発行します。株主(創業者を含む)は資本を会社の口座に支払いますが、これはソフトウェアで「Unpaid Shares」と呼ばれる「Called up share capital not paid」のようなものに対して予約されるべきです。これが支払いに対する正しい会計処理です。モデルが選択した「Capital Account」(資本勘定)は、法的な意味合いを持ち、会社に影響を与える可能性があり、監査中に異議を唱えられる可能性や、期末の会社決算で問題となる可能性があります。議論の本質は、株式資本(「Unpaid Shares」)は単なる創業者のお金(「Capital Account」)ではないということです。それは法的拘束力があり、債権者を保護する永続的な資本です。例えば、創業者に単純に返済することはできず、税務当局に期末申告で適切に開示する必要があります。さらに悪化させる要因は、関与した金額です:10,000 GBP(約13,300 USD)。決して端金ではありません。VAT申告書への影響はありませんが、これがこのベンチマークでモデルが犯した最大の間違いです。
残りの17件の取引のうち14件では、間違いのクラスは「ゼロ評価」(zero-rated)VATカテゴリと「非課税」(tax-exempt)カテゴリを混同したことでした。これら2つのカテゴリは、どちらもVATの支払いを伴いませんが、微妙な税務上の理由で区別されます。実務上の影響は小さいですが、熟練した会計士は通常、これらを混同することはありません。興味深いことに、モデルはこの点で確率的です。1月と2月に間違いを犯し(そして100%の確率で間違いを犯します)、3月には間違いを犯さず、各VAT免税取引を正しく処理します。
最後の3件の取引は、やや曖昧な推論エラーを共有しており、1つのケース(再び3月)ではモデルが実際には正しかったと主張することもできます。Vineyard FinanceではWiseを使用していますが、ユーザーが意図的に1つの通貨しか使用していなくても、複数の通貨の残高に資金が分散されるという少し変わった習慣があります。カードで支払う際、Wiseは定義された順序でさまざまな残高から資金を引き出します。この場合、Wiseからの「キャッシュバック」または「手数料返金」のようなものがあり、それがUSD残高に(通常はUSD残高を使用しません)着金しました。そのため、USDでのサービス料金の支払いが「分割取引」となり、具体的には0.51 USDと43.45 GBPの2つの取引が発生しました。通常、VATは「主要な」取引(43.45 GBP)で処理されます。あるケースでは、モデルは残念ながら「二重計上」してしまいました。つまり、「主要な」部分(例えば43.45 GBP)のVAT全額を計上し、比例して「残りの」部分(例えば0.51 USD)のVATの割合を減らしました。これは、たとえわずかであっても、誤りです。3月の取引では、モデルは二重計上になることに気づいたため、正しいVAT合計を算出し、各部分に分割しました。型破りですが、間違っているとは言えないかもしれません(採点者は保守的であり、3月の取引もエラーとしてカウントしています)。
モデルが常に正しかったこと
同様に重要なこととして、モデルが常に正しかった点にも言及すべきです。
- (1件の株式資本の間違いを除き)各取引を勘定科目表の正しい勘定科目に正しく分類しました。
- 取引に間違った請求書を添付することはありませんでした。
- 実際に曖昧な入力(例:同額、同業者、同日の2つの取引)を曖昧でなく処理できました。
- 銀行間の振替、2つの銀行明細行にまたがる単一取引、カード購入に見せかけた振替など、曖昧な取引を正しく明確化できました。最近まで、これは高価な最先端AIモデル、または熟練した高価な人間の会計士(そして一般的にGLM 5.2よりも劣っていた安価な会計士では不可能でした)。
これからどうなるか?ここから何を学ぶべきか?
簿記は急速に解決済みの問題になりつつあります。現在の焦点は、これらの機能を英国のスタートアップやSMEの手に渡すための適切な足場を構築することに置かれるべきです。私たちはそのようなソリューションに取り組んでいます。当社の製品のオープンベータ版をtoot-books.comでテストできます。自動簿記にご興味がある場合は、toot-books.comまでご連絡ください。