GPT-6 Astraのコードレビュー：性能向上、プライバシー、コスト

GPT-6 Astraのコードレビューにおける評価：結果、プライバシー、コスト

コードレビューで最も困難な作業の一部は、変更された行の外側で行われます。変更は単独では正しく見えても、システム内の他の場所でコードを壊してしまう可能性があります。

それが、OpenAIのGPT-6 Astraの初期結果を最も興味深いものにしている理由です。私たちの評価では、Astraは、GPT-5.6 Solよりも約4%多く、Opus 5よりも22%多く、対応可能な発見を通じてラベル付けされたバグを検出しました。

最大の進歩は、より困難なクロスファイルレビューで現れ、Astraの増加率はSolを20%、Opus 5を33%上回ります。その能力を顧客規模で利用するには、顧客データを保護し、モデルのパブリックAPI価格を評価することも意味します。

コードレビューにAstraが追加したもの

ここでの私たちの測定基準は、対応可能なバグカバレッジです。これは、モデルが開発者が対応できる発見を通じて、どれだけのラベル付けされたバグを検出するかを意味します。

カバレッジは小数点以下1桁に丸められています。相対的な増加は丸められていない値を使用しています。

GPT-5.6 Solに対する全体的な増加は、この最初の評価尺度では控えめに見えます。この評価には、より単純なレビューも含まれており、より強力なモデルが差別化する余地が少ない可能性があります。Astraのより大きな利点は、より困難なクロスファイルサブセットに現れます。これは初期の、方向性のある結果です。

カバレッジは小数点以下1桁に丸められています。相対的な増加は丸められていない値を使用しています。このチャート内のモデルを比較してください。レビューの難易度は全体評価とは異なります。

より困難なクロスファイル比較は、より有望です。Astraの相対的な利点は、Solに対して20%、Opus 5に対して33%に増加します。これは、変更の意図をコードベース全体に分散した結果に結びつける価値を示唆しています。

これらの結果は、レビューパフォーマンスの一部の側面を表しています。これらはレビュー品質の全体的なランキングを確立するものではなく、チームの欠陥率を予測するものでもなく、プルリクエストごとに同じ増加を約束するものでもありません。

コンテキストを活かす

大きなコンテキストウィンドウは、情報のためのスペースを作成します。有用な推論には、モデルがどの部分が重要かを特定し、それらを接続し、証拠に裏付けられた結論に達する必要があります。

私たちの解釈では、Astraの最も興味深い進歩は、適切な情報を接続することにあります。より困難なクロスファイルレビューでのより大きな増加は、関連情報が分散している作業の進歩を示唆しています。それらはその進歩の原因を特定したり、コンテキストが多いだけでモデルのパフォーマンスが向上することを証明したりするものではありません。

OpenAIは、Astraをコード、ブラウザ、プロフェッショナルソフトウェアを横断する多段階の作業向けに位置付けています。

モデルで構築するチームにとって、有用な質問は、追加の推論がコストを正当化するほど結果をどれだけ変えるかということです。散在する証拠を持つ困難なタスクは、より安価なモデルがすでに確実に処理している日常的なタスクよりも、調査する価値のある候補です。それは、すべてのセッションをAstraに切り替え、推論の労力を最大化して、それを解放することを意味するわけではありません。

より強力な推論にはプレミアムが伴う

Astraの標準API料金は、Astraの公開価格によると、入力トークン100万件あたり10ドル、出力トークン100万件あたり50ドルです。Fable 5.1は、キャッシュ価格は異なりますが、同じ基本入出力レートを持っています。Anthropicの価格設定ドキュメントには、完全な内訳が記載されています。

それらの価格をコンテキストに入れるために、100,000のキャッシュされていない入力トークンと、推論トークンを含む10,000の請求可能な出力トークンを使用する例示的なタスクを検討してください。トークン使用量を一定に保つことで、公開されているレートを比較しやすくなります。実際のタスクコストは使用量によって異なります。

すべての数値は、2026年9月4日に確認された、一般公開されている標準API価格を使用しています。OpenAIの数値は短コンテキストレートを使用しています。Solの公開プロモーション価格は、少なくとも2026年11月21日まで利用可能です。この例では、キャッシュ、キャッシュ書き込み、ツール、リトライ、地域割増、サービスティア調整は除外されています。実際のタスクでは異なる数のトークンが使用される場合があります。

その固定使用量で、AstraはSolの2.5倍、Terraの約4.7倍、Lunaの約47倍のコストがかかります。これらは意味のあるプレミアムです。これらは、完了したタスクあたりのコストの違いの予測ではありません。より少ないトークンまたはより少ない試行を必要とするモデルは、ギャップを狭める可能性があります。

OpenAIは、トークン価格が高いにもかかわらず、一部の自社評価ではAstraのタスクコストが低いと報告しています。そのため、決定を下す際には、トークン価格または機能スコアのいずれかが決定を確定すると仮定するのではなく、完了した結果あたりの総コストを測定する価値があります。OpenAIの効率性ガイドをお読みください。

コードレビューを超えて転移する可能性のあるもの

転移可能なアイデアは、別々のソース間の関係に対する推論です。私たちの調査結果は、評価する価値のあるいくつかの用途を示唆していますが、これらのタスクでAstraを測定したわけではありません。

• リサーチ合成: 矛盾する報告を調和させ、主張を証拠に結び付け、各ドキュメントの要約では見逃されるギャップを特定します。
• 運用調査: ログ、インシデントノート、ランブックから一貫した説明を組み立て、観察と仮説を分離します。
• 要件とポリシー分析: 提案された変更を仕様、内部ポリシー、実装計画にトレースして、専門家レビューのために矛盾をフラグ付けします。
• ドキュメントとスプレッドシートの作業: 仮定、数式、および物語の結論がレポートとそのサポート資料全体で一致しているかを確認します。

共通の構造は、散在する証拠であり、その部分間に依存関係があります。回答を確認できる、範囲を限定した作業から始めてください。Astraがあなたのワークフローや製品に適しているかどうかをテストする最も簡単な方法は、現在のモデルと並行して同じタスクで実行し、回答の品質、検証時間、および総コストを比較することです。

NIGHTSHIFTの構築とバランス

また、Astraを使用してゲーム全体を構築しました。NIGHTSHIFTは、GodotとGDScriptで作成されたアクションRPGです。その最も困難な問題は、システム間の相互作用のバランスを取り、ゲームが変更されるにつれてそのバランスを再検討することでした。

NIGHTSHIFTは、人間の指示と反復を通じてAstraによって構築されました。

それは、7つのキャラクタークラス、Path of Exileの伝説的なパッシブノードツリーに触発された988ノードのパッシブスキルツリー、アクティブスキル、ルーンとソケット可能なアップグレード、スキル進化、および協力プレイを意味しました。10アクトの40ゾーンにわたって、キャンペーンはますます複雑な敵の群れと組み合わせを導入します。1つのクラスを変更すると、どのアップグレードが役立つか、スキルがどのように進化するか、パーティーが何に対処できるかにも影響します。

開発中にコアシステムに根本的な変更を加え、Astraにその結果を分析させ、それらを再調整させました。このようなゲームにおける「バランス」は、魅力的なゲームプレイにとって最も困難な創造的な課題です。進行、戦闘、難易度を一貫させながら、広範な変更を行ったり、まったく新しいゲームシステムやメカニクスを導入したりするにはどうすればよいでしょうか。

また、プレイヤーがクラス、ステータス、アイテム、パッシブ、アクティブスキルの巧妙な組み合わせを通じて、強力すぎるエンドゲームビルドを発見できるようにしたいと考えました。課題は、中間ゲームに到達することさえ不確実な進行を形作ることでしたが、創造性と実験は驚くべき方法で報われる可能性がありました。それらの組み合わせを見つけることの報酬は、敵の群れを満足のいくように溶かすことができるビルドを構築することでした。

このプロセスは、他の作業の合間にゲームに戻り、Astraにフィードバックを与え、そのバランスを洗練させる上でその判断を使用する完全な自律性を与えることを意味しました。Astraは、ネイティブPS5およびXboxコントローラーサポート、ネイティブmacOS、Web、Linuxビルド、および協力プレイも構築しました。協力プレイは特に興味深かったのは、Astraが同じコンピューティングおよびLANでプレイできるように構築できたためです。macOSを実行している同僚に配布したかったため、新しいXcodeプロジェクト、App Store Connectアカウントの生成、複数の証明書と権限の設定、および公証が必要でした。

Astraはすべてを自律的に処理し、持っていない権限や許可を時折求めるために一時停止するだけでした。楽しいボーナスとして、ゲームはエージェント自身がプレイヤーになるように構築されており、Astraをチームメイトとしてライブ協力プレイセッションをプレイできることはややシュールでした。私たちの中には、それを手放すのが難しいと感じた人もいました。「モデル評価に取り組んでいます」は、マネージャーが立ち寄ったときにゲームが開いていることの説明として役立ちました。

［動画: NIGHTSHIFTのゲームプレイクリップを見る。］

NIGHTSHIFTアーケードプロトタイプの初期バージョン。18秒の自動ゲームプレイデモで表示されています。

このゲームは、コードレビューで際立ったのと同じ能力を探求するための創造的な設定を提供してくれました。Astraは、各変更がシステムの他の部分にどのように影響するかについて推論する必要がありました。

次に見たいもの

次のエキサイティングな進歩は、この深さの推論をより頻繁に使用できるほど信頼性の高いものにすることです。これは、困難な作業での一貫した増加、人々が検証できる結論、および成功した結果のためのより低い総コストを意味します。

そのためには、関連するコンテキストのより良い選択、より明確なサポート証拠、およびより少ない不要なステップが必要です。また、実際の顧客コミットメントの下で高度な機能を使用可能にする、プライバシーを保護する展開パスも意味します。

Astraは、クロスファイル推論に関して有望な信号を提供します。実用的な機会は、その能力を、より有用で信頼しやすい作業に変えることです。［CodeRabbitで新しいモデルをオンラインにする際に伴うことすべて］（https://www.coderabbit.ai/blog/behind-the-curtain-what-it-really-takes-to-bring-a-new-model-online-at-coderabbit）と同様に、評価はその決定の一部です。

顧客データの保護

CodeRabbitも、モデルプロバイダーも、CodeRabbitの顧客の専有コードや、プライベートコードレビュー中に収集された個人情報を使用してAIモデルをトレーニングすることはありません。私たちの［プライバシーポリシー］（https://www.coderabbit.ai/privacy-policy）をお読みください。

OpenAIとAnthropicは異なるデータ保持ポリシーを持っています。

• OpenAI: GPT-6 Astraは、適格なAPI顧客に対してゼロデータリテンション（ZDR）をサポートしています。OpenAIのAPIデータコントロールは、ZDRの適格性とサポートされている機能について説明しています。［Astra発表］（https://openai.com/index/gpt-6-astra/）、［OpenAIデータコントロール］（https://developers.openai.com/api/docs/guides/your-data）。
• Anthropic: Fableはデフォルトで安全監視のために30日間の保持を必要としますが、適格な顧客は現在、エンタープライズフロンティアセーフガードが導入されている間、ZDRを使用して［Fable 5］（https://www.coderabbit.ai/blog/fable-5-model-review）および［5.1］（https://www.coderabbit.ai/blog/fable-5-1-model-review）を使用できます。他のビジネスにサービスを提供する製品の場合、そのオプションはAnthropicとの合意が必要です。EFSは、保持されたアクティビティデータを顧客管理のインフラストラクチャに保持するように設計されています。［対象モデルの保持ポリシー］（https://privacy.claude.com/en/articles/15425996-data-retention-practices-for-covered-models）、［エンタープライズフロンティアセーフガード］（https://www.anthropic.com/news/enterprise-frontier-safeguards）、［適格性詳細］（https://support.claude.com/en/articles/15425695-covered-models）。

顧客レビューに使用するどのモデルも、当社のデータ保護要件を満たす必要があります。