AppleによるLensVLM-9B
LensVLM-9B by Apple (huggingface.co)
要約
Appleは、LensVLMという新しいフレームワークを発表しました。これは、圧縮された画像内のテキストを、関連部分を選択的に展開する学習済みツールを用いて処理することで、Vision-Language Model (VLM) の精度を維持する技術です。この手法により、高い圧縮率でも精度を損なわずに、従来の圧縮手法を大幅に上回る性能を発揮します。
全文翻訳
LensVLM: 圧縮された視覚表現のための選択的コンテキスト拡張
公開日: 5月7日
著者:
概要
Vision-Language Models（VLM）は、テキストをレンダリングされた画像として処理する可能性を提供しますが、圧縮によって精度が低下します。LensVLMは、圧縮された画像をスキャンし、学習済みのツールを通じて関連部分を選択的に展開することで、この問題に対処し、高い圧縮率でも高い精度を維持します。
Vision Language Models（VLM）は、テキストをレンダリングされた画像として処理するというエキサイティングな可能性を提供し、テキストを長いトークンシーケンスにトークン化する必要性を回避します。VLMの画像エンコーダーは固定サイズの画像を固定数のvisual tokensにマッピングするため、rendering resolutionの変更は、きめ細かな圧縮ノブとして機能します。しかし、圧縮が増加するにつれて精度は急速に低下します。文字はビジョンエンコーダーの実効解像度を下回るほど小さくなり、識別不能になります。これに対処するため、我々はLensVLMを提案します。これは、VLMが圧縮された画像をスキャンし、学習済みのツールを通じて関連する画像のみを非圧縮形式に選択的に展開できるようにする推論フレームワークおよびポストトレーニングレシピです。Qwen3.5-9B-Baseを基盤とするLensVLMは、4.3倍の実効圧縮率でフルテキストの上限に匹敵する精度を維持し、7つのtext QA benchmarks全体で、最大10.1倍の実効圧縮率まで、リトリーバルベースのテキストおよびビジュアル圧縮ベースラインを上回ります。LensVLMは、マルチモーダル文書およびcode understandingタスクにも汎化し、ベースラインに対する精度の向上は圧縮が増加するにつれて大きくなります。我々の分析はこのアプローチを検証しています。トレーニングにより、visual compressionはレンダリングの選択に対してロバストになり、圧縮が増加するにつれてモデルは信頼性の低い視覚的読みに頼るのではなく、展開されたコンテンツにより依存するようになります。分析からは実用的なツール選択のガイダンスも得られます。レンダリングされたテキストにはテキスト拡張が好ましく、一方、ネイティブ文書にはレイアウトキューがタスク関連情報を持つため、高解像度画像拡張が適しています。
View arXiv page View PDF Add to collection
この論文をエージェントで取得する:
hf papers read 2605.07019
最新のCLIをお持ちでないですか？
curl -LsSf https://hf.co/cli/install.sh | bash
この論文を引用しているモデル 4
apple/LensVLM-9B
Image-Text-to-Text •
9B •
更新 28日前
•
2.86k
•
293
mlx-community/LensVLM-9B-OptiQ-4bit
Image-Text-to-Text •
9B •
更新 3日前
•
988
•
5
suryatmodulus/LensVLM-9B
Image-Text-to-Text •
9B •
更新 27日前
•
26
•
1
0xSojalSec/LensVLM-9B-Apple
Image-Text-to-Text •
9B •
更新 27日前
•
21
この論文を引用しているデータセット 0
この論文にリンクするデータセットはありません
Cite arxiv.org/abs/2605.07019 in a dataset README.md to link it from this page.
この論文を引用しているスペース 2
この論文を含むコレクション 0
この論文を含むコレクションはありません
Add this paper to a collection to link it from this page.