HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: 46GB GPU上で600万トークンの移動ウィンドウを実現

Show HN: A 6M-token movable window on a single 46GB GPU (arxiv.org)

6 pointsby Wetime7 コメント

要約

本論文では、言語モデルの改善に再学習ではなく、モデルを固定し検証済みソリューションの永続的なメモリを成長させるアプローチを提案しています。これにより、一度解決された問題ファミリーは、生成トークンゼロでビット単位で正確かつ決定論的に回答できるようになります。このシステムは、単一の46GB GPU上で600万トークンという大規模な移動ウィンドウを可能にし、既存の最先端モデルを凌駕する性能を示しています。

全文翻訳

コンピュータサイエンス > 計算と言語 arXiv:2607.23806 (cs) [2026年7月26日提出] タイトル:Frozen 12Bは検証済みワークでフロンティアモデルを凌駕: 100%精度、0トークン、ビット単位で正確、永久に 著者: Sietse Schelpe (Corbenic AI) 「Frozen 12Bは検証済みワークでフロンティアモデルを凌駕: 100%精度、0トークン、ビット単位で正確、永久に」と題された論文のPDFを表示します。著者: Sietse Schelpe (Corbenic AI) PDFを表示 要旨: 今日の言語モデルの改善は、再学習を意味します。莫大な計算リソース、サイクルごとに新しい不透明なモデル、非決定論的な出力が必要です。私たちは反対の道を進みます。モデルは固定されたままで、検証済みソリューションの永続的なメモリがその横で成長します。一度問題ファミリーが解決され、回答キーを参照しない独立した検証ステップを通過すると、そのファミリーの新しいインスタンスはすべて、生成トークンゼロで、ビット単位で正確に、決定論的に回答されます。 180の新しいインスタンス(9つの問題ファミリー、4つのベンダーの4つのアーキテクチャ - デンスおよびMixture-of-Experts)にわたって、各インスタンスは、回答あたりゼロ生成トークンで180/180を達成します。これは、パラメータのスケーリングから切り離された実行バウンドの能力です。ネガティブコントロールは、その能力を完全にメモリに帰属させます。メモリが空になると、何も解決しません。 同じ検証後保存の契約は、オープンエンドの推論にも適用されます。4つのモデルすべてで88/88の一貫性ゲート付き受け入れ、機械チェックされた形式証明、および77/80の推論方法転送を達成します。 メモリの選択には1.4マイクロ秒かかります。完全な再利用は、36 mWhで6〜23ミリ秒で完了します。近似類似性検索は、正確なアドレス指定がゼロエラーを犯す4,500アイテムの検証済みストアで、94.3%の時間で間違ったアイテムを選択します。 このストアは、出荷されているどのエンジンも一致しないスケールでワーキングコンテキストとしても機能します。単一の46GB GPU上でフラットメモリで6,000,000トークンの移動ウィンドウを実現します。vLLMは30,399トークンで停止し、SGLangは32,000を超えるとサイレントに切り捨てます。 公開されているベンチマークでは、フロンティアモデルは生のゼロからの推論では依然として12Bをはるかに上回っています。このシステムが解決および検証したすべてのものにおいて、比較は逆転します。フロンティアAPI呼び出しは、永遠に、すべてのクエリで新しい生成パスを支払いますが、検証済み再利用はゼロトークンをコストとし、毎回同じビットを返します。 無料のレート制限付きアクセスが可能な公開テストベンチがこのレポートに付属しています。このURLを参照してください。 コメント: 業界経験レポート。14ページ、8図。 公開テストベンチ: このURLを参照してください。SHA-256プロビナンスマニフェスト付きのコンパニオンリポジトリ: このURLを参照してください。 件名: 計算と言語 (cs.CL); 人工知能 (cs.AI); 情報検索 (cs.IR); 機械学習 (cs.LG); パフォーマンス (cs.PF) 引用: arXiv:2607.23806 [cs.CL] (またはこのバージョンの場合は arXiv:2607.23806v1 [cs.CL]) https://doi.org/10.48550/arXiv.2607.23806 詳細はこちらをご覧ください arXiv-発行DOI (DataCite経由、登録保留中) 提出履歴 送信者: Sietse Schelpe [メールを表示] [v1] 2026年7月26日(日) 19:08:33 UTC (1,421 KB) 全文リンク: 論文にアクセス: 「Frozen 12Bは検証済みワークでフロンティアモデルを凌駕: 100%精度、0トークン、ビット単位で正確、永久に」と題された論文のPDFを表示します。著者: Sietse Schelpe (Corbenic AI) PDFを表示 ライセンスを表示 現在の閲覧コンテキスト: cs.CL < 前 | 次 > 新規 | 最近 | 2026-07 でブラウズを変更: cs cs.AI cs.IR cs.LG cs.PF 参考文献と引用 NASA ADS Google Scholar Semantic Scholar エクスポート BibTeX引用 読み込み中... BibTeX形式の引用 × 読み込み中... 提供データ: ブックマーク 書誌ツール 書誌および引用ツール 書誌エクスプローラー 書誌エクスプローラーを切り替える (エクスプローラーとは?) コネクテッドペーパー コネクテッドペーパーを切り替える (コネクテッドペーパーとは?) リットマップス リットマップスを切り替える (リットマップスとは?) scite.ai sciteスマート引用を切り替える (スマート引用とは?) コード、データ、メディア この論文に関連するコード、データ、メディア アルファXiv アルファXivを切り替える (アルファXivとは?) コードへのリンク カタライズX カタライズXコードファインダー (論文用) (カタライズXとは?) ダグスハブ ダグスハブを切り替える (ダグスハブとは?) ゴティットパブ Gotit.pubを切り替える (GotitPubとは?) ハギングフェイス ハギングフェイスを切り替える (ハギングフェイスとは?) サイエンスキャスト サイエンスキャストを切り替える (サイエンスキャストとは?) デモ デモ レプリケート レプリケートを切り替える (レプリケートとは?) スペース ハギングフェイススペースを切り替える (スペースとは?) スペース TXYZ.AIを切り替える (TXYZ.AIとは?) 関連論文 レコメンダーおよび検索ツール インフルエンスフラワーへのリンク インフルエンスフラワー (インフルエンスフラワーとは?) コアレコメンダー コアレコメンダーを切り替える (COREレコメンダーとは?) 著者 会場 機関 トピック arXivLabsについて arXivLabs: コミュニティ協力者との実験プロジェクト arXivLabsは、協力者がarXivのウェブサイト上で直接新しいarXiv機能を開発および共有できるフレームワークです。arXivLabsと協力する個人および組織は、オープンさ、コミュニティ、卓越性、ユーザーデータプライバシーという私たちの価値観を受け入れ、受け入れています。arXivはこれらの価値観にコミットしており、それらを遵守するパートナーのみと協力します。arXivコミュニティに価値をもたらすプロジェクトのアイデアがありますか? arXivLabsの詳細をご覧ください。 この論文の著者は誰ですか? 数式表示を無効にする (MathJaxとは?)