HN 日本語サマリー

← 一覧へ戻る
プログラミング

Video2NAND – ビデオコーデックを悪用して計算能力を引き出す

Video2NAND – Abusing video codecs for great computational power (sharedobject.blog)

75 pointsby firer16 コメント

要約

この記事では、ビデオコーデック、特にVP8の予測メカニズムを悪用して、組み合わせ論理回路をシミュレートする方法を探求しています。これにより、トランジスタではなく、ビデオコーデックという異質な基盤上でNANDゲートを構築し、任意の論理回路を組み立てるための「ガジェット」のセットを構築することが目標です。

全文翻訳

Shared Object

Video2NAND

2026年7月11日

NANDゲートをコンピュータに変換することについては多くのことが書かれていますが、これらのNANDゲートを構築する方法についての知識はそれほど一般的ではありません。トランジスタや電気工学の領域にあると思われるかもしれませんが、ここではよりエキゾチックな基盤を探求します。それは動画コーデックです。

具体的には、VP8動画コーデックについて、そしてその予測メカニズムを悪用して組み合わせ論理をシミュレートする方法について話します。私たちの目標は、任意の論理回路を構築できる、構成可能な「ガジェット」のセットを構築することです。

動画コーデックについて少し

動画コーデックは、動画(一連の画像)をビットストリームにエンコードする方法と、そのビットストリームを元の動画にデコードする方法を記述する標準です。動画をエンコードする方法を正確に規定するのではなく、通常は一般的な構造と、動画をエンコードするために使用できる一連のプリミティブを定義します。そのため、異なる動画エンコーダーの実装(あるいは同じエンコーダーでも設定が異なれば)は、同じ動画を異なる方法でエンコードする可能性がありますが、すべてのデコーダーは、いずれにしても動画を再構築できることが期待されます。

ここでは、私たちが選択した動画コーデックであるVP8の内部動作全体を説明するのではなく、私たちの目的に関連するサブセットに焦点を当てます。さらに、以下の説明は、前提知識を本質にまで単純化するための試みであり、完全に正確ではありません。動画コーデックについてさらに学びたい場合は、驚くほど読みやすいTheora specを読むことをお勧めします。

このフォローアップ投稿を読むこともできます。ここでは省略された詳細について説明しています。

ある意味で、動画は単なる一連の画像です。動画コーデックの専門用語では、これらの画像は「フレーム」と呼ばれ、各フレームはピクセルのグリッドです。フレームは一般的に、キーフレームとインターフレームの2種類に分けられます。

[画像: 画像: 8x8ピクセルのブロックに分割されたフレーム]

キーフレームは、他のフレームとは独立してエンコードされるフレームです。画像を再構築するために必要なすべてのデータは、それを表すフレーム内に含まれています。ピクセルデータはフレームに直接エンコードされるか、フレーム内予測を使用して述語される場合があります。フレーム内予測により、エンコーダーは、画像の特定のブロックが近くの別のブロックから予測できると述べることができます。

VP8はこれらのブロックを左上から右下に向かって行ごとにデコードするため、提供されるフレーム内予測プリミティブは、上の行、左の列、およびそれらの間の左上のピクセルを使用してブロックを予測することを可能にします。

[画像: 画像: ブロックとその予測に使用されるピクセル]

インターフレームは、後続のフレームがあまり変化しないという事実を利用し、以前にデコードされたフレームに基づいてピクセルブロックを予測することを可能にします。これらはキーフレームと同じエンコードプリミティブを提供するだけでなく、インターフレーム予測(以前のフレームのブロックを参照してブロックを記述すること)も可能にします。

私たちは、キーフレームのみを使用して組み合わせ回路を構築します。これは、組み合わせ論理と順序論理の意味論がキーフレームとインターフレームによくマッピングされること、そして限定されたツールキットという追加の挑戦がより興味深いからです。

ワイヤーとゲート

組み合わせ回路は、入力、出力、ワイヤー、ゲートから構築されます。私たちのケースでは、真偽を表す電気信号の代わりに、フレーム内の各ブロックは、完全に白い(すべてのピクセル値が255に設定されている)か、完全に黒い(すべてのピクセル値が0に設定されている)のいずれかになります。

そして、右または下に行くワイヤーをH_PREDとV_PRED予測モードを使用してモデル化します。H_PREDは「水平予測」を表し、ブロック内のすべてのピクセル値が左のピクセル値をコピーすることによって予測されることを意味します。同様に、V_PREDは「垂直予測」を表し、代わりに上の値からコピーします。

[画像: 画像: H_PREDとV_PREDの例]

フレームをブロックのグリッドとして描画します。

[画像: 画像: 配線例]

入力は、予測されていないブロックとして表され、完全に白いか完全に黒いのいずれかの定数値に設定されます。出力は単純にラベル付けされたワイヤーブロックです。

[画像: 画像: 入力と出力]

この時点で、論理ゲートのみが残ります。私たちのシステムが機能的に完全であること、つまり任意の真理値表を記述できるためには、2つのゲート、NOTとANDを構築するだけで十分です。NANDのみのような別の機能的に完全なゲートセットを選択することもできましたが、これらのゲートが構築するのは些細なことであることがわかります。

両方のゲートの構築は、TM_PRED予測モードを使用します。これは「トゥルーモーション予測」を表し、これまで見てきた予測モードよりもわずかに複雑です。TM_PREDブロックでは、各ピクセルの値は、上の行の対応するピクセルと左の列の対応するピクセルの合計から、左上のピクセル値を引いたものとして計算されます。したがって、行 i および列 j のピクセルについて、値は left[i] + top[j] - top_left になります。

[画像: 画像: TM予測計算]

私たちのブロックはすべて均一です。つまり、完全に黒か白です。これは、top[0] = top[1] = top[2] = ... であり、同様に left[0] = left[1] = left[2] = ... を意味します。これにより、TM_PREDブロックの計算が単純化されます: left + top - top_left。

[画像: 画像: 単純化されたTM予測]

ピクセル値は0から255の間にクランプされるため、NOTゲートは 255 - INPUT という式に相当します(INPUTを0または255に代入して自分で確認してください)。この式をTM_PREDブロックを使用して表すことができます。入力がtop_leftピクセルであると仮定し、トップ行をすべて255に、左列をすべて0に設定します(またはその逆)。ゲートの出力はTM_PREDブロックの右側と下側であり、上記で説明したワイヤーブロックを使用してさらに伝播させることができます。

[画像: 画像: NOTゲート]

同様に、top_leftを255に、最初の入力をトップ行に、2番目の入力を左列に設定することで、ANDゲートを構築できます。このようなセットアップのTM_PREDブロックは、A + B - 255 という式を表します。AとBのすべての可能な入力値を代入すると、出力が正確にANDゲートであることがわかります。

[画像: 画像: ANDゲート]

これで基本的なガジェットがすべて構築できたので、それらを組み合わせて、有名なNANDを含むさまざまな他のゲートや回路を作成できます。

[画像: 画像: NANDゲート]

まとめ

この異分野横断の旅を楽しんでいただき、動画コーデック、組み合わせ論理、または奇妙なマシンについて何か学んでいただけたなら幸いです。私たちは表面をなぞったにすぎず、まだ多くの未解決の質問や進むべき方向があります。ガジェットをより小さく最適化できるでしょうか?これらのアイデアを合成ツールに統合し、VerilogをVP8フレームに合成できるようにする可能性はあるでしょうか?あるいは、順序論理を探求し、インターフレームを使用してそれをどのように実装できるでしょうか?