HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Mistral OCR 4

Mistral OCR 4 (mistral.ai)

113 pointsby meetpateltech29 コメント

要約

Mistral OCR 4は、抽出されたテキストに加えてバウンディングボックス、ブロック分類、インラインの信頼度スコアを提供する最新のOCRモデルです。170言語に対応し、単一コンテナで完全にセルフホスト可能であり、エンタープライズ検索やRAGの取り込みコンポーネントとして機能します。独立した評価者によるテストでは、他の主要なOCRシステムを平均72%の勝率で上回り、OlmoCRBenchで85.20のトップスコアを記録するなど、画期的なパフォーマンスを実現しています。

全文翻訳

OCR 4

Thinking

Summary

Mistral OCR 4は、バウンディングボックス、ブロック分類、インライン信頼度スコアを備えた画期的なドキュメント解析を導入し、170言語をサポートし、単一コンテナで自己ホスト展開が可能です。人間による評価とベンチマークで主要なOCRシステムを上回り、エンタープライズ検索、RAG、エージェントワークフロー向けにコスト効率が高く高スループットな処理を提供します。APIまたはDocument AI経由で利用でき、カスタムパイプラインやノーコードアプリケーション向けの構造化された出力を提供し、データプライバシーのための自己ホストオプションも用意されています。

本日、Mistral OCR 4をリリースします。これは、抽出されたテキストに加えて、バウンディングボックス、ブロック分類、インライン信頼度スコアを特徴としています。このモデルは10言語グループにわたる170言語をサポートし、完全に自己ホストされた展開のために単一コンテナで動作し、エンタープライズ検索、RAG、およびドメイン固有の検索パイプラインの取り込みコンポーネントとして機能します。OCR 4は小型で集中的なモデルであり、この記事では新機能、公開および内部ベンチマークでのパフォーマンス、それらのベンチマークの既知の制限、およびモデルAPIとDocument AIの使い分けに関するガイダンスについて説明します。

ハイライト

  • 画期的なパフォーマンス。 独立したアノテーターは、テストされたすべての主要なOCRおよびドキュメントAIシステムよりもOCR 4を好んでおり、平均72%の勝率を記録しました。また、OlmOCRBench(85.20)で最高の総合スコアを獲得しました。方法論と既知のスコアリング制限については、ベンチマークセクションを参照してください。

  • セグメンテーション、単なるテキストではない。 抽出されたテキストに加えて、OCR 4はバウンディングボックス、タイプ分類(タイトル、テーブル、方程式、署名など)、およびインライン信頼度スコアを返します。最も要望の多かった機能であるバウンディングボックスは、インコンテキストハイライトと信頼性の高いデータパイプラインのためにテキストをローカライズします。同時に、ブロックタイプと信頼度スコアは、ソースに紐づいた引用、機密情報のマスキング、および人間による確認のループを促進します。

  • Mistral Search Toolkit(パブリックプレビュー)と統合。 OCR 4は、AI Now Summitで発表されたMistralのオープンソースでコンポーザブルな検索フレームワークであるSearch Toolkitの取り込みコンポーネントです。その構造化された出力は、RAGおよびエンタープライズ検索のためのツールキットの取り込み、検索、評価ワークフローに引用可能な入力を供給します。

  • 多言語対応。 10言語グループにわたる170言語をサポートし、いくつかの競合システムが性能を低下させる専門言語やリソースの少ない言語でも測定可能な改善が見られます。

  • 独自のインフラストラクチャで実行。 OCR 4は単一コンテナにデプロイできるほどコンパクトであり、ドキュメントデータを環境内に保持して、居住性、主権、およびコンプライアンスを確保しつつ、コスト効率が高く高スループットなバッチ処理をサポートします。自己管理デプロイメントはエンタープライズ顧客向けに利用可能です。

概要

Mistral OCR 4は、幅広いドキュメントからコンテンツを抽出し、構造化します。以前の世代がページをクリーンなテキストとテーブルに変換することに焦点を当てていたのに対し、OCR 4はドキュメントの構造化された表現を返します。各ブロックはバウンディングボックスでローカライズされ、タイプ別に分類され、ページごとおよび単語ごとにインライン信頼度スコアが生成されます。したがって、下流システムは、ドキュメントが何を言っているかだけでなく、各要素がどこに配置されているか、どのような役割を果たしているか、そして各領域に対するモデルの信頼度にアクセスできます。

この構造は、いくつかの下流ワークロードをサポートします。

  • RAGのためのセマンティックチャンキング:クリーンで分類されたブロックが、より良い検索ユニットになります。
  • エージェントのための構造化プリミティブ:エージェントがドキュメントを読むことから、それらに対して行動する(フォーム入力、請求書処理、コンプライアンスチェック)ように移行します。
  • コネクタのための構造化コンテンツ:取り込みおよびインデックス作成パイプラインのための、一貫した、型付けされた出力。

OCR 4は、PDF、DOC、PPT、OpenDocumentなどの一般的なエンタープライズフォーマットを受け入れ、多くのシステムが苦手とする専門言語やリソースの少ない言語を含む、10言語グループにわたる170言語をサポートします。単一コンテナにデプロイ可能なコンパクトなモデルであるため、コストに敏感なデプロイメントと高ボリュームのデプロイメントの両方に適しています。完全に自己ホストで実行できるため、データ主権の要件を持つ組織は、ドキュメントデータを独自のインフラストラクチャ内に保持できます。

開発者はAPI経由でモデルを統合でき、チームはMistral StudioのDocument AIを使用して、同じエンジンへのアプリケーションレベルのノーコードパスを利用できます。API経由のMistral OCR 4は、1,000ページあたり4ドルで、バッチAPIでは50%の割引が適用され、コストは1,000ページあたり2ドルに削減されます。Document AIは、1,000ページあたり5ドルです。

ベンチマーク

「Mistral OCR 4を、チャートと図が密集した財務QAデータセットで主要なエージェント型ドキュメントパーサーと比較ベンチマークしたところ、約8倍低コストで17倍低レイテンシで同等の精度を達成しました。大規模な本番ユースケースでは、その差は急速に積み重なります。」
– Aidan Donohue, AI Engineer, Rogo

OCR 4を評価するために、主要なAIネイティブOCRモデル、最先端の汎用モデル、エンタープライズドキュメントサービス、およびMistral自身のOCR 3と比較しました。

人間による好みの評価

自動ベンチマークには前述のスコアリングアーティファクトがあるため、実際の使用状況を反映するように選択されたドキュメントでのヘッドツーヘッド人間評価で補完しました。サードパーティベンダーから調達した600以上のドキュメントを12以上の言語にわたって収集し、実際の業界ユースケースを代表させ、独立したアノテーターに、ドキュメントごとに各競合他社の出力をOCR 4の出力と比較してブラインドでランク付けしてもらいました。

アノテーターは、テストされたすべてのシステムにおいて、ほとんどのドキュメントでOCR 4を好みました。これらは固定参照に対する文字列比較ではなく、現実的なドキュメントに対する人間の判断であるため、自動スコアに影響を与えるアノテーションとフォーマットのノイズの多くを回避します。

[画像: OCR 4が人間による好みの評価で主要な競合他社を上回っていることを示すグラフ]

総合パフォーマンス

「Mistral OCRは、当社の既存プロバイダーと比較してページあたり約4倍高速であり、スピードが顧客のIPタイムライン管理において重要な高ボリュームの docketingワークフローにとって印象的な結果です。」
– Ivan Mihailov, AI engineer, Anaqua

人間の好みで1位になったことに加えて、OCR 4はテストしたモデルの中で公開されているOlmOCRBench(85.20)で最高の総合スコアを達成し、AIネイティブおよびエンタープライズソリューションの両方を上回る当社の内部Crawl Multilingual評価(.98)をリードしています。

[画像: OCR 4がOlmOCRBenchとCrawl Multilingual評価でトップスコアを獲得したことを示すグラフ]

OmniDocBenchでは、OCR 4は93.07のスコアを達成しました。この数値を報告する際には注意点があります。OlmOCRBenchとOmniDocBenchの両方には、出力のスコアリング方法に既知の制限があり、単一の集計数値は実際のパフォーマンスを過小評価または過大評価する可能性があります。

スコアの背後にある不一致を監査したところ、ほとんどはモデルのエラーではなく、ベンチマークが出力を比較する方法のアーティファクトでした。繰り返し現れるカテゴリは次のとおりです。

  • グラウンドトゥルースのエラー。 一部の参照アノテーション自体が不正確です。テキストの欠落または追加、マスキングされた領域の転写、またはタイプミス(例:参照でスペルミスされているが、モデルがページから正しく読み取った引用された著者名)。出力はソースドキュメントと一致しますが、それでも誤りとマークされます。
  • 同等の数式表記。 レンダリングが同一の異なるLaTeXは不一致としてカウントされます。レンダリングされた方程式は正しいですが、文字列比較はそうではありません。
  • 数式セグメンテーション。 式が単一の方程式として出力されるか、複数のインラインフラグメントに分割されるかは、レンダリングされたコンテンツが同一であっても、マッチングが断片を整列できないため、一致に影響します。
  • 複数列の読み取り順序。 列の境界をまたいで単語が分割されている場合(例:「certifi-cates」)や、列の順序の仮定は、正しい抽出を読み取り順序の失敗としてスコアリングさせる原因となります。
  • ブロックタイプの属性。 ベンチマークは、ヘッダー/フッターを出力で期待していません。これを解決するために、スコアリング前にヘッダーとフッターを出力から削除します。しかし、テストはページタイトルでもある文字列をチェックし、実際には存在するはずのものを誤ってフラグ付けします。

これらのアーティファクトは、数学的、科学的、および複数列のドキュメントに集中しており、誤った出力を報酬するよりも、正しい出力をペナルティする方が頻繁です。したがって、集計スコアを決定的なものではなく方向性のあるものとして扱います。

これらのベンチマークは方向性のあるものです。すべての競合他社のスコアは、内部再現を反映しています。独自のドキュメントで評価することを推奨します。

パフォーマンスの詳細

Crawl Multilingualの内訳。 内部多言語評価では、OCR 4は8つのすべての言語グループ(英語、西ヨーロッパ、東ヨーロッパ、中東、中国語、東アジア、東南アジア、および専門言語(ヒンディー語、日本語、ジョージア語、ベンガル語、アルメニア語、ヘブライ語、ギリシャ語、グジャラート語、タミル語、マラヤーラム語、カンナダ語、テルグ語))でリードしています。専門言語やリソースの少ない言語では、多くの競合システムが著しく性能を低下させる一方で、OCR 4は高い精度を維持しており、その差は最も大きいです。

推奨されるユースケース

OCR 4は、高ボリュームのパイプラインとインタラクティブなドキュメントワークフローの両方をサポートします。これには以下が含まれます。

  • ドキュメント解析と抽出: 複雑で多言語のドキュメント。
  • Retrieval-Augmented Generation (RAG): セマンティックチャンキングとソースに紐づいた回答のための、構造化され、分類され、引用可能なコンテンツ。 Search Toolkitを使用すると、OCR 4の出力を直接検索パイプラインに供給できます。
  • エージェントワークフロー: フォーム入力、請求書処理、コンプライアンスチェックなどのタスクを完了するための構造化プリミティブをエージェントに提供します。特に法律、金融サービス、ヘルスケア分野で役立ちます。
  • 人間による検証者の効率的な使用を可能にする信頼度スコアを使用した構造化データパイプライン: フォーム/請求書の抽出、機密情報のマスキング、およびコンプライアンス駆動プロセス。
  • エンタープライズ検索およびナレッジベース: カスタム取り込みおよびエンティティ抽出のためのデータソースコンポーネントとしてのOCR。

初期ユーザーはOCR 4を使用して、請求書を構造化フィールドに変換したり、企業のアーカイブをデジタル化したり、技術および科学レポートからクリーンなテキストを抽出したり、エンタープライズ検索を強化したりしています。

範囲外の使用に関する注意。 OCR 4はドキュメント理解モデルであり、意思決定者ではありません。医療診断、法的助言または判断、高リスクの金融決定、安全クリティカルなシステム、リアルタイム/レイテンシに敏感な処理、またはドキュメント以外の入力(生のオーディオ、ビデオなど)には意図されていません。

OCR 4 API:オプションの理解

MistralのOCR 4は、単一のAPIエンドポイントを通じて利用できます。すべてのリクエストは同じ基盤となるOCRモデルを実行し、常に抽出されたコンテンツ、バウンディングボックス、ブロックタイプ、信頼度スコア、およびMarkdown構造化テキストを返します。変化するのは、その上にどのレイヤーを重ねるかです。

次の目的で、OCR 4を純粋な抽出モードで使用してください:

  • 高速で正確なドキュメント抽出をアプリケーション、エージェント、またはデータパイプラインに直接埋め込む。
  • 生のレスポンス、バウンディングボックス、ブロックタイプ、および信頼度スコアを直接操作して、カスタム下流ロジックを駆動する。
  • バッチAPIを通じて、スループットとコストを完全に制御しながら、高ボリュームまたはバッチ取り込みを実行する。
  • 厳格なデータプライバシー、主権、またはコンプライアンス要件のために自己ホストする。

次の目的で、Document AI機能(同じエンドポイント、追加パラメータ)をアクティブ化してください:

  • 定義したスキーマで構造化JSONを返す — JSONスキーマをドキュメントと一緒に渡すと、OCR出力がmistral-small-2603にフィードされ、仕様に合わせたコンテンツが生成されます。
  • 画像アノテーションスキーマを渡すことで、検出された画像を構造化JSONでアノテーションする。これにより、画像ごとに追加のビジョン言語モデル呼び出しがトリガーされます。
  • ドキュメント全体の抽出コンテンツの解釈または要約をガイドするために、JSONスキーマとカスタムプロンプトを組み合わせて使用する。
  • ビジネスユーザー、ソリューションチーム、またはパイロットが、下流の解析ロジックを作成せずに構造化された結果を生成できるようにする。

実用的な決定ルール:生の抽出コンテンツが必要な場合は、OCR 4をそのまま使用してください。出力を構造化された形式に整形したり、ドメイン固有のフィールドでアノテーションしたり、カスタム命令で処理したりする必要がある場合は、同じ呼び出しにDocument AIパラメータを追加してください。常にOCR結果が得られます。Document AIは、その上に構造化レイヤーを追加するだけです。

利用可能になりました

「Microsoft FoundryにおけるOCR 4搭載のMistral Document AIの利用可能性は、当社のパートナーシップにおける重要なマイルストーンです。私たちは協力して、高度で構造化されたドキュメント理解をお客様のAIワークフローに直接取り込めるようにし、MistralのイノベーションとMicrosoftのエンタープライズプラットフォームを組み合わせて、現実世界のビジネスニーズに対応するスケーラブルで信頼性の高いソリューションを提供します。」
– Kimmi Grewal, VP, AI Ecosystem Partnerships, Microsoft

Mistral OCRv4とDocument AI(OCRv4搭載)の両方が、API経由でMistral Studio、Amazon SageMaker、Microsoft Foundryを通じて利用可能であり、まもなくSnowflake Parse Documentでも利用可能になります。厳格なデータプライバシー要件を持つ組織向けに、OCR 4は自己ホストオプションも提供しているため、機密情報は独自のインフラストラクチャ内に保持されます。自己デプロイメントを検討するには、お知らせください。

はじめに

迅速に開始し、さらに学習するためのいくつかの方法を提供しています。