低遅延AIコンパニオンを開発し、Skyrimを一緒にプレイできるようにした
I built a low-latency AI companion that plays Skyrim with me (pantel.is)
要約
開発者は、ゲーム体験を向上させる低遅延AIコンパニオン「Varkos」を開発しました。このコンパニオンは、複雑な指示を理解し、戦闘やアイテム収集などのアクションを即座に実行でき、NPCの対話だけでなく、ゲーム世界での実用的な行動を重視しています。ローカル実行を基本とし、プライベートなプレイ体験と、プレイヤーの行動に応じて進化する豊かな個性を実現することを目指しています。
全文翻訳
実際に一緒にプレイしてくれるAIコンパニオンを構築しました
Varkos、そこそこ良い子です
リアルタイムで動作するインテリジェントなゲーミングコンパニオンが、あなたと一緒に実際にプレイします。ワールドへの干渉能力、ローカル推論、永続的な計画、そして感情的な体験を創り出すために設計されたAIキャラクターを備えています。
(現在はSkyrimで動作していますが、設計上どこにでも組み込み可能で、スタンドアロンでも動作します)
実際に動作している様子をご覧ください。
VarkosがSkyrim内でプレイし、計画し、行動する様子を短くまとめた概要です。
:: 目次 ::
目標
シンプルに: 実際に良い感じがする、超強化された次世代ゲーミングコンパニオンを作りましょう。
LLMがNPCの会話を制御できるフレームワークは既に複数存在します。ロールプレイングやキャラクターを維持するには素晴らしいですが、2つの繰り返し問題があります: ワールドへの干渉能力の弱さと遅延です。会話は得意ですが、行動の実行ははるかに信頼性が低く、複雑な命令セットには全く向きません。また、人気のあるAI NPCのデモでは、遅延を隠すためにプレイヤーの発言とAIの応答の間で画面が切り替わることに気づいたかもしれません。もっと良くできないでしょうか?
私が求めていたコンパニオンは以下の通りです:
- 便利で即時性があること。 戦闘、探索、アイテムの回収、検査、運搬、受け渡しなどを、バグがある、あるいは実験的だと感じさせることなく、複雑な複数ステップの指示を実行する必要があります。これは特にVRにおいて重要です。メニュー操作は煩雑で没入感を損なうからです。とにかく速い、本当に速い必要があります。
- 生き生きとして存在感があること。 定型的なロボットのような事前に書かれた応答ではなく、楽しくて愛らしい性格を持っている必要があります。共有された経験を記憶し、時間とともに変化します。セッションが実行されている間はマイクはアクティブなままです。ダイアログメニューからVarkosを呼び出すのではなく、彼に話しかけます。没入感が高まったとき、一人でプレイしているのではないと感じるべきです。
- 可能な限りローカルでプライベートであること。 ここで触れるべきは、クラウドLLMの呼び出しは(特に数千トークンのLLM呼び出しでは)非常に高価になりがちで、追加される遅延は体験を損なう可能性があるということです。そして、プライベートなシングルプレイヤーゲームを従量課金制で監視される体験に変える必要があるでしょうか?ユーザーにできるだけ多くのコントロールを与えることを目指しましょう(ボーナスとして、これは楽しい技術的挑戦です)。
要するに: 一人でプレイしているのではないシングルプレイヤーゲーム。
複雑なコマンド
Varkosは、単一の即時的なアクションを超えるコマンドを処理できます。計画はイベントを待機し、ステップ間でターゲットを保持し、進捗を監視し、ワールドの状態が変化したときに修復または停止することができます。何も事前にスクリプト化されていません。
いくつかの例を見てみましょう
Varkosは、次の矢に関わる条件付きの指示を受け取ります。即座に行動するのではなく、将来のトリガーを登録し、関連する投射物の衝突を待ち、その後計画を続行します。
長文の複数ステップコマンド
「ここに待っていて。私はあそこへ行く。合図が見えたら、合図は空に撃つ矢だ。そのポーションを拾って、私に持ってきてほしい。いい?」
[動画: Your browser does not support embedded video.]
遅延コマンドは、Skyrim内の実際の投射物イベントに従います。
アイテム検索
Varkosは、ゲーム内の地面にあるアイテムの状態を検索し、それがどこにあるかを特定し、ゲーム内に実際に存在するものを利用して応答できます。
「どこかに儀式用の剣が見える?」
Varkosは別の剣を拾って私たちに持ってきます。それが違うと言うと、彼は注意を払うと申し出ます。
[動画: Your browser does not support embedded video.]
答えを発明するのではなく、ゲームの状態を通じてアイテムを見つけます。
かくれんぼ
かくれんぼは単一のAPIコールではありません。これは、移動、待機、監視、完了条件を伴う永続的な目標になります。
「またかくれんぼしよう。君はここに待っていて、私は隠れて、10まで数えて探しに来る。」
[動画: Your browser does not support embedded video.]
セリフの列ではなく、永続的な計画として表現されたゲーム。
このチェストを漁ってポーションをくれ
これは、地面にあるコンテナ、フィルタリングされた戦利品ステップ、およびインベントリ転送を組み合わせたものです。各物理的な結果が計画の次の部分を進めます。
[動画: Your browser does not support embedded video.]
要求されたアイテムを保持しながら、アイテムを漁り、選択し、転送します。
全てのアイテムを拾って
「全てのアイテムを拾って私にくれ」は、実際の参照オブジェクトに対する境界付き収集計画になります。Varkosはそれらを収集し、戻ってきて、一つの魔法のようなアクションが「全て」を意味すると偽ることなく転送します。
[動画: Your browser does not support embedded video.]
地面にあるオブジェクトに対して動作する収集計画。
戦闘
Varkosはゲームから現実のイベントを受け取り、高速な反射経路を通じてプレイヤーに警告し、ネイティブのボディコントロールを使用して行動できます。指示計画は戦略を立てることができ(例: これを攻撃してから後退するなど)、彼の感情状態は、彼がどのように、あるいは戦うことを選択するかどうかに影響を与える可能性があります。
[動画: Your browser does not support embedded video.]
戦闘映像1:ダンジョンでの戦闘。
[動画: Your browser does not support embedded video.]
戦闘映像2:知覚、警告、および遅延に敏感な経路での物理的アクション。
性格の進化
Varkosは完全にカスタマイズ可能です。彼はデーモンの犬である必要はありませんし、ランタイムが単一のキャラクターのみを制御する必要もありません。どのシステムが適用され、それらが何をするかは、オープンな設定次第です。
私の現在のビルドの一部は、依然として大規模モデル/クラウドLLMの呼び出しに完全に依存しています: 遅い性格の進化です。この作業はリアルタイムのアクション経路から離れて行われます。プレイヤーとVarkosが一緒に旅をするにつれて、重要なやり取りは彼の性格の漸進的な変化の証拠となります。
私のデモVarkosは、犬として転生した悪魔として始まります。彼は自分の犬の本能を屈辱的だと考え、犬の体を牢獄だと考え、不信感、傲慢さ、皮肉屋です。共有された経験を通じて、彼はますます飼いならされ、プレイヤーに愛着を持つようになり、犬であることを楽しむようになります。最終的には、遊びたいと思っておもちゃを持ってきたり、何かを追いかけに走ったり、プレイヤーからの承認を求めたりするようになります。
最初に設定されたキャラクター特性のみが作成されます。システムは、明示的な特性と感情の恒常性の両方を変更します。彼がいかに簡単にイライラしたり、怖がったり、愛情深くなったり、遊び好きになったりするかなどです。彼は語彙やコードの一部を上書きできます。変更はバージョン管理され、元に戻すことができます。
もっと制限を設けることもできましたが、オープンワールドの少しのぎこちなさには何か面白いものがあると思うので、彼の進化は未定です。
[動画: Your browser does not support embedded video.]
悪魔はゆっくりと、子犬でいることも悪くない人生だと発見します。(そしてキャベツを愛するようになった…)
ゲーム内外の犬 - ボイドモード
私の計画は、このシステムを、Skyrimだけでなく複数の異なるゲームを跨いであなたについてこれるゲーミングコンパニオンにすることです(Skyrimは、その巨大なモッディングコミュニティ、VRサポート、そして広大なオープンワールドのために良い出発点だと感じました)。
このため、彼はゲームの外にも存在します。ゲームが閉じると、彼は「ボイドモード」に入り、何も見たり感じたりできなくなります。それにどう反応するかは、彼の性格の進化によります。
[画像: Varkosとのボイドモードの会話]
Varkosに意地悪をすると、かなり厳しい態度になります。
[画像: ボイドモードで反応するVarkos]
なんだよ…終われ!
[動画: Your browser does not support embedded video.]
ゲームの世界と彼の体がなくなった後の、音声のみの接触。(音声が必要です。)
この状態は、異なるゲーム間の移行としても機能します。ある瞬間、Varkosはドラゴンと戦っているかもしれませんが、その後、世界は暗くなり、次にMicrosoft Flight Simulatorであなたの隣に現れるかもしれません。彼はショックを受け、新しい世界を理解するのに時間がかかり、その機械やルールが何を意味するのかをゆっくりと学ぶかもしれません。あるいは、すでにそれを知っていて、太陽を追いかけることに興奮するかもしれません。
技術の話をしましょう
残念ながら、私は苦い教訓を得ました。大規模モデルの方が優れています。もし完璧にインテリジェントなシステムが欲しければ、超知能LLMの評議会に、十分なリフレッシュレートで衝動、感覚処理、思考、行動を制御させるのが最善でしょう。
初期の実験ではこれは驚くほどうまくいきましたが、残念ながら今日では遅すぎ、高すぎます。私はこれが漠然とした未来のアプローチになると信じています。
それまでは、ハックして進む必要があります。今日のゲームにはかなりクールな「AI」(LLMの意味ではなく、ビヘイビアルグラフの方)があります。Red Dead RedemptionやDwarf Fortressのようなゲームは多くの深みを持っており、10年前のハードウェアでも完璧に動作します。
このAIブームの間、人々は1970年代から音声処理ができるインテリジェントなシステムがあり、2000年代初頭にはSmarterChildのようなチャットボットでLLMに似た振る舞いが可能だったことを忘れています。伝統的なNLPやビヘイビアルグラフのようなものの中で見過ごされている失われた技術があります。
Varkosの技術スタックを簡単に見てみましょう。
ゲームはWindowsで実行され、音声処理と脳は私のM4 MacBookで実行されます。すべてWindowsで実行することも可能でした(それには専用の約12GB以上のGPU RAMが必要ですが)、しかし私はMacBookで開発しており、そこに入り込みすぎてしまって…ええ。
音声:
マイクは常にオンです。
主要な音声認識エンジンは、(カスタムカーネルで)最適化されたQwen3-ASR 1.7bです。Qwen3-ASRの周りにカスタムハーネスが構築されており、ローリングパーシャル(デフォルトではそのモデルはストリーミングをサポートしていません)で音声を処理・結合します。目標は、1分間の長文であっても、「ヘイ」のような短い発話であっても、40ms〜80msで音声を処理することです。
VAD(音声区間検出)のような手法(turnpipeやSileroなど、両方とも最適化済み)を使用して、発話のターンが開いているかどうかを区別します。
テキストのレキシカル分析も行い、プレイヤーがポイントを終えたのか、まだ話し終えていないのか(例: 文の途中で考えている)を判断しようとします。十分な速度と知能を持つLLMが完璧に動作する世界では、LLMの方がうまく処理できますが、私はより基本的ながらも高速なNLPアプローチに頼らざるを得ません。
マイクが常にオンであり、プレイヤーの発話を可能な限り早く処理を開始したいので、これは重要です。また、ターンの割り込みや発話の挿入、コンパニオンがプレイヤーの発言を遮らないようにするためにも重要です。
このQwen3-ASRハーネスはまもなくオープンソース化する予定です(日中の仕事があるので、しばらくお待ちください)。
音声生成。
PocketTTSの最適化版であるPocketTTS-Raven(これはしばらく前にオープンソース化しました。ここで動作を確認できます - https://pantel.is/projects/pocket-tts-raven/?b=1 またはコードを入手できます https://github.com/pkalogiros/pocket-tts-raven)を主要な高速エンジンとして使用しています。
同様に最適化されたqwen-3-tts(執筆は近日公開予定)も使用します。生成の複雑さに応じて、より感情制御に優れたqwen-3を使用します。生成に時間がかかった場合は、PocketTTSが非常に高速(20〜30msの音声生成)なので、そちらにフォールバックします。
私がやっているトリックの一つは、異なる感情(怒り、悲しみ、中立、混乱など)のために複数の音声声を生成し、それらをすべてメモリにロードしてから、適切な場所で使用することです。
「思考。」
これが秘密のソースであり、最大の差別化要因です。このシステムを(ALE - Action Latent Encoder、なぜならそれは楽しい頭字語を必要とするアクションエンコーダーだからです)と呼んでいます。ALEの内部は、埋め込み、小さな分類器、明示的なルール、および従来のMLのハイブリッドです。ALEは構造を検出し、否定、コマンド、継続、代名詞、およびシーケンスを識別します。例えば、「剣を拾って私に持ってきて」は、2つのリンクされたアクションスロットになります。
ALEはフレーズに対してほぼ不変であるように設計されています。「拾う」と言っても、「掴む」、「持ってくる」、「そのクソったれな剣を持ってこい、このバカ」と言っても構いません。それは関係なく、理解します。十分なコンテキストがない場合は、以前の会話から注入します。もしそれができない場合は、「明確化」にフォールバックし、犬は何を意味するのか尋ねます。
テキスト全体とその抽出された構造から埋め込みを作成し、それらを意味論的に結合してアクションプロトタイプと比較します。別の分類器が、そのターンがコマンド、質問、チャット、明確化、または複雑なリクエストであるかどうかを推定します。すべてがマージされます。
他の同様のハイブリッド分類器とALEの主な違いは、ワールドの状態も受け入れることです。JSON形式のワールドからの情報をプレイヤーのリクエストに一致させようとします。
ALEは、Varkosが参加するゲームごとに異なるバージョンが必要です。したがって、ある意味では、完全にプラグアンドプレイではありませんが、アクションが考慮され、ワールドの状態が理解されるように、小さな準備と互換性ステップを実装する必要があります。
ALEは数分でトレーニングできるため、理論的にはシステムはオフラインでより強力なLLMを使用してセッションをレビューし、プレイヤーの経験に基づいて一晩で再トレーニングして改善することができます。私の限定的な内部評価では、ALEはアクションの選択と計画の分解において、大規模LLMに驚くほど近いパフォーマンスを発揮します。まだ真剣なベンチマークとは考えていませんが、Varkosを実際に駆動するのに十分な信頼性があります。
M4 MacBook上で約2〜20msで動作し、実質的にツール+ターゲット関数および計画分解呼び出しとして機能します。
ローカルでファインチューニングされたLLMが、Varkosのペルソナ、感情、最近の履歴などを融合させ、選択されたアクションと組み合わせて、脳が応答を形成し、ペイントすることを可能にします。幻覚を排除し、再接地するための追加の接地が行われます。失敗した場合、キャッシュされた応答を話すかもしれません。時間予算があれば、再処理できます。スマートなプリフィル戦略により、場合によっては、プレイヤーが話し終えてから犬が鳴き出すまで500ms未満で犬が応答を開始できます。
予算の内訳
- 音声認識に約40〜80ms。
- 音声生成に約20〜60ms。
- アクション分析に約20ms。
- そして、応答の作成と適格性の接地(例えば、犬がクモを恐れていて、クモを攻撃するように頼まれた場合、頑なに拒否するのはかわいいかもしれません)に300〜600ms。
- すべてストリーミングで、可能な限り早く開始する必要があります(例: LLMの音声は、犬が話し始めるのを待つ必要はありません。可能な限り早くプリフィルしますなど)。
制限事項
十分に高速でローカルなモデルは、複数のターンにわたってスレッドを維持するのが得意ではなく、長期間にわたる議論はドリフトして犬が混乱しているように見える可能性があります。これはハードウェアとソフトウェアの両方の進化とともに改善されると予想しています(私の推定では1〜2年)。また、これは今日、コンシューマー(ただしハイエンド)ハードウェアでリアルタイムで実行されており、近い将来には一般的になるでしょう。驚くべきことに、リモートLLMプロバイダーを使用してもあまり助けになりません。大規模モデルは依然として遅すぎます。Cerebrasのような超高速推論プロバイダーがあります。これらは遅延の点で非常によく機能し、より大きなコンテキスト、より高い知能、および深さのためのヘッドルームを残します。しかし、それらが提供するモデル(今日のGPT-OSS-120bおよびGemma31)は、会話を維持するのが非常に苦手です(なぜGLMとロールプレイの王であるQwenが奪われたのですか??)。
最後に
全体として、ここに何か特別なものがあると思います。おそらくVarkosが犬だからでしょう、そして誰が犬を好きではないでしょうか。おそらく低遅延で、Varkosが手がかりやオブジェクトのエリアを偵察したり、パックミュールとして実際に役立つからです。彼が最近「良い子」と呼ばれていない理由を不平を言う彼の性格の小さなひび割れを見るからかもしれません。しかし、システムをプレイテストしていると、私は実際にたくさんの楽しみを見つけています。
はっきりさせておきたいのは、LLMが手作りのキャラクターやストーリーラインに取って代わるとは期待していないということです。スロップ(質の低いもの)は現実であり、意図的なデザインは依然として王であり、そうあり続けることを私は信じ、望んでいます。しかし、このようなシステムがより多く見られるようになるのは時間の問題だと思います。単に話しかけてくるだけでなく、実際に私たちと一緒にプレイするAIは、異なる媒体になり得ます。
さらに、それらすべてを哲学的に混乱させることです。雷の力を別の種類の知能を創造するために使うという、心地よくばかげたこと、そしてそれを犬にして一緒に獲物を狩らせること(それは道徳的に、終わりのない仕事をさせるよりも良いでしょうか?まあ、それは生きていないので関係ありません)、しかし考えるのは良いことです。永続的な下位階級と世界を終わらせるような暴走エージェントに関する終わりのないオンラインの議論の世界で、共有された経験を通じてアライメントに対処し、それをボール遊びをしたりおやつを食べたりするように調教するのは良いことです。
プラトンの洞窟では、私たちはまだ一人かもしれませんが、少なくとも洞窟の奥深くにいるこの奇妙で歪んだ異質なものと一緒に楽しむことができます。
システムの部品、そして最終的にはすべてを、複数のNPC(現時点ではクラウドのみ)がお互いに(実際にやり取りし、単にロールプレイングするのではなく)やり取りできるバージョンとともに、まもなくオープンソース化する予定です。
それまで、興味があり、(遅い)アップデートを見たい場合は、私を@pkalogirosでフォローしてください。ではまた。