低遅延AIコンパニオンを開発し、Skyrimを一緒にプレイできるようにした

目標はシンプルです。実際に良い感じがする、超強化された次世代のゲーミングコンパニオンを作りましょう。LLMにNPCの対話を制御させるフレームワークはすでに複数存在します。これらはロールプレイングやキャラクターを維持するのに素晴らしいですが、2つの繰り返し問題があります。それは、ワールドへの影響力が弱く、遅延が大きいことです。会話は得意ですが、アクションの実行ははるかに信頼性が低く、複雑な命令セットには全く対応できません。AI NPCのデモで、プレイヤーの発言とAIの応答が切り替わり、遅延を隠そうとしているのに気づいたかもしれません。もっと良くできないでしょうか？私が欲しかったコンパニオンは以下の通りです。 有用で即時的であること。戦い、拾い、漁り、検査し、運び、アイテムを渡すなど、バグや実験的な感じなく、複雑な複数ステップの指示に従う必要があります。これは特にVRで重要です。メニューの操作は煩雑で没入感を損なうからです。それは速く、本当に速くなくてはなりません。単に速いだけでなく、生き生きとして存在感があること。定型的でロボットのような事前に書かれた応答ではなく、楽しく愛らしい個性を持っている必要があります。共有された経験を記憶し、時間とともに変化すること。セッションが実行されている間、マイクはアクティブなままです。ダイアログメニューを通してVarkosを呼び出すのではなく、彼に話しかけます。没入感が高まると、一人でプレイしているのではないと感じられるはずです。 可能な限りローカルでプライベートであること。クラウドLLMの呼び出しは（特に数千トークンに及ぶLLM呼び出しでは）非常に高価になる可能性があり、追加される遅延は体験を台無しにする可能性があります。そして、プライベートなシングルプレイヤーゲームを、従量制で監視される体験に変える理由は何でしょうか？ユーザーにできるだけ多くのコントロールを与えましょう（ボーナスとして、それは楽しい技術的な挑戦です）。基本的に、一人でプレイしているのではないシングルプレイヤーゲームです。 複雑なコマンド Varkosは、単一の即時アクションを超えるコマンドを処理できます。計画はイベントを待機し、ステップ間でターゲットを保持し、進捗を監視し、ワールドの状態が変化したときに修復または停止できます。何も事前にスクリプト化されていません。 例を見てみましょう Varkosは次の矢に関する条件付き指示を受け取ります。彼は即座に行動するのではなく、将来のトリガーを登録し、関連する弾丸の衝突を待ってから、計画を続行します。 長期的な複数ステップコマンド 「ここに待っていて、私はあそこに行きます。合図が見えたら、合図は空に撃つ矢です。そのポーションを拾って、私に持ってきてください。いいですか？」 あなたのブラウザは埋め込みビデオをサポートしていません。 遅延コマンドは、Skyrimでの実際の弾丸イベントに従います。 アイテム検索 Varkosは、要求されたアイテムをゲーム世界の地面の状態から検索し、それがどこにあるかを特定し、実際にゲームに存在するものを利用して応答できます。「儀式の剣はどこかに見えますか？」 Varkosは別の剣を拾って私たちに持ってきます。それが違うと伝えると、彼は注意しておくと申し出ます。 あなたのブラウザは埋め込みビデオをサポートしていません。 答えを発明するのではなく、ゲームの状態を通じてアイテムを見つけます。 かくれんぼ かくれんぼは単一のAPI呼び出しではありません。それは、移動、待機、監視、完了条件を伴う永続的な目標になります。「またかくれんぼをしよう。君はここに待っていて、私は隠れて、10まで数えて君を探しに来る。」 あなたのブラウザは埋め込みビデオをサポートしていません。 対話のラインではなく、永続的な計画として表現されたゲーム。 このチェストを漁ってポーションをくれ これは、地面にあるコンテナ、フィルタリングされた漁りのステップ、インベントリ転送を組み合わせたものです。各物理的な結果が計画の次の部分を進めます。 あなたのブラウザは埋め込みビデオをサポートしていません。 要求されたアイテムを保持しながら、漁り、選択し、転送します。 すべてのアイテムを拾ってくれ 「すべてのアイテムを拾って私にくれ」は、実際の参照に対する境界付きコレクション計画になります。Varkosはそれらを収集し、戻ってきて、1つの魔法のアクションが「すべて」を意味すると偽ることなく転送します。 あなたのブラウザは埋め込みビデオをサポートしていません。 地上オブジェクトに対するコレクション計画。 戦闘 Varkosはゲームからのグラウンドイベントを受け取り、高速反射パスを通じてプレイヤーに警告し、ネイティブのボディコントロールを使用して行動できます。命令計画は戦略を立てることができ（例：これを攻撃し、次に撤退するなど）、彼の感情状態は、彼がどのように、そして戦うかどうかを選択するかに影響を与える可能性があります。 あなたのブラウザは埋め込みビデオをサポートしていません。 戦闘映像1：ダンジョン戦闘。 あなたのブラウザは埋め込みビデオをサポートしていません。 戦闘映像2：知覚、警告、および遅延に敏感なパスでの物理的アクション。 パーソナリティの進化 Varkosは完全にカスタマイズ可能です。彼は悪魔の犬である必要はありませんし、ランタイムが単一のキャラクターのみを制御する必要もありません。どのシステムが適用され、それらが何をするかは、オープンな設定次第です。私の現在のビルドの一部は、依然として大きなモデル/クラウドLLMの呼び出しに完全に依存しています。遅いパーソナリティの進化です。この作業は、リアルタイムのアクションパスから離れて行われます。プレイヤーとVarkosが一緒に旅をするにつれて、重要な相互作用は、彼のパーソナリティの漸進的な変化の証拠となります。 私のデモVarkosは、犬に転生した悪魔として始まります。彼は自分の犬の本能を屈辱的であり、犬の体を牢獄だと考えており、不信感があり、誇り高く、皮肉屋です。共有された経験を通じて、彼はますます飼いならされ、プレイヤーに愛着を持つようになり、犬であることを楽しむようになります。最終的には、遊びたいと思っておもちゃを持ってきたり、何かを追いかけるために走り去ったり、プレイヤーからの肯定を求めたりするようになります。初期のキャラクター特性のみが作成されています。システムは、彼の明示的な特性と感情のホメオスタシス（恒常性）の両方を変更します。彼がどれほど簡単にイライラしたり、怖がったり、愛情深くなったり、遊び好きになったりするかなどです。彼は語彙やコードの一部を上書きできます。変更はバージョン管理され、元に戻すことができます。もっと制限を設けることもできましたが、オープンワールドの少しのぎこちなさには何か面白いものがあると思うので、彼の進化は未定です。 あなたのブラウザは埋め込みビデオをサポートしていません。 悪魔はゆっくりと、子犬でいることも悪くない人生だと発見します。（そして、キャベツを愛するようになりました…） ゲームの内外での犬 - ボイドモード 私の計画は、このシステムを、Skyrimだけでなく複数の異なるゲームを横断できるゲーミングコンパニオンにすることです（Skyrimは、その巨大なモッディングコミュニティ、VRサポート、そして大きなオープンワールドのために良い出発点だと感じました）。この理由から、彼はゲームの外にも存在します。ゲームが閉じると、彼は「ボイドモード」に入り、何も見たり感じたりできなくなります。それに応答する方法は、彼のパーソナリティの進化に依存します。Varkosに意地悪をすると、かなり厳しい態度になります。 WTF…シャットダウンしろ！ あなたのブラウザは埋め込みビデオをサポートしていません。 ゲームの世界と彼の体がなくなった後の、音声のみの連絡。（音声が必要です。） この状態は、異なるゲーム間の移行としても機能します。ある瞬間、Varkosはドラゴンと戦っているかもしれませんが、その後、世界は暗くなり、彼はMicrosoft Flight Simulatorであなたの隣に現れるかもしれません。彼はショックを受け、新しい世界を理解するのに時間が必要で、その機械やルールが何を意味するのかをゆっくりと学ぶかもしれません。あるいは、彼はすでにそれについて知っていて、太陽を追いかけるのに興奮しているかもしれません。 技術について話しましょう 残念ながら、私は苦い教訓を学ばされました。大きなモデルは優れています。もし私たちが完全に知的なシステムを望むなら、超知的なLLMの評議会に、十分なリフレッシュレートで衝動、感覚処理、思考、行動を制御させるのが最善でしょう。いくつかの初期の実験では、これは信じられないほどうまく機能しましたが、残念ながら今日では遅すぎ、高すぎます。私はこれが、漠然とした未来のアプローチになると信じています。しかし、それまではハックして進む必要があります。今日のゲームには、かなりクールな「AI」（LLMの意味ではなく、行動グラフの方）があります。Red Dead RedemptionやDwarf Fortressのようなゲームは、多くの深みがあり、10年前のハードウェアでも完璧に動作します。このAIブーム全体を通して、人々は1970年代から音声を処理できるインテリジェントなシステムがあり、2000年代初頭のSmarterChildのようなチャットボットで、ある程度LLMのような振る舞いがあったことを忘れています。今日、従来のNLPや行動グラフのようなもので見過ごされている失われた技術があります。 （記事の本文はここで途切れています）