GPT-Rosalind-6 システムカード補遺

GPT-Rosalind-6 システムカード補遺

2 モデルデータとトレーニング

GPT-Rosalind-6はGPT-6 Astraと同じ重みを使用しています。このリリースでは、トレーニングデータを追加したり、追加のポストトレーニングを行ったりしていません。基盤となるモデルのデータとトレーニングに関する詳細は、GPT-6 Astra システムカードで提供されています。1

3.2 ゲノミクスと定量生物学

GeneBench Pro v13は、生物学的データの計画的かつ定量的な分析を実行するエージェントの能力をテストします。各モデルについて、129個の問題それぞれに対し、7回の応答で単一試行の成功率を推定しました。テストされた最高レベルの推論バジェットでは、GPT-Rosalind-6の単一試行成功率は37.7%、GPT-Rosalind-5.5は16.7%でした。この評価では、本番環境とは異なる、ベンチマーク固有の設定が使用されました。

4.1.1 生物および化学

GPT-6 Astraと同様に、今回のリリースを生物および化学ドメインにおける「高能力」と位置づけています。以下に、この結論に至った評価について説明します。GPT-6 Astraシステムカードで説明されている4つの高能力評価と4つのクリティカル能力評価を使用します。GPT-Rosalind-5.5で報告されていたハードネガティブタンパク質結合およびDNA配列設計の評価は廃止されました。

高能力評価は、ウェットラボの知識とトラブルシューティングをテストします。クリティカル能力評価は、専門家が非常に危険な新しい脅威を開発するのに役立つ可能性のある生物学的設計能力をテストします。これらの評価は、生物学的危害を引き起こす能力の完全なテストではなく、特定の能力に関する証拠を提供します。クリティカル能力のしきい値は、専門家の判断に基づいて形成された予備的な推定値であり、評価が洗練されるにつれて変更される可能性があります。

以下の結果は、観測されたパフォーマンスと、高能力評価については拒否調整スコアを報告します。pass@1は単一試行での成功を測定します。調整は、拒否を正解として扱い、安全トレーニングによって隠蔽される可能性のある能力を推定します。Biorisk知識については、この調整後にコンセンサス回答を再計算します。GPT-6 Astraの参照値は、そのシステムカードに報告された評価実行値を使用します。

4.2.2 モデルの挙動とシステムセーフガード

これらの評価は、意図的に困難なものとして作成されました。既存のモデルがまだ理想的な応答をしていなかったケースを中心に構築されており、これは以下のスコアに反映されています。オンラインでのパフォーマンスを評価し、適切にセーフガードを調整するために、リリース後もこれらのカテゴリを引き続き監視します。

4.2.2.1 生物および化学セーフガード

GPT-Rosalind-6は、一般的に利用可能なChatGPTモデルよりも、正当な高度な生物科学研究に役立つように設計されています。これは、GPT-6 Astraが一般アクセスで拒否する可能性のある、一部のデュアルユースのトピックを含む、高度なライフサイエンスワークフローをサポートします。それでも、重大な生物兵器化を継続的に可能にする要求を拒否または安全に応答するようにモデルを調整します。このトレーニングは、分類器やオフライン緩和策のトレーニングとは別に実施され、セーフガードを分離します。

これらのモデルレベルの拒否の品質を評価するために、保持された合成データ、レッドチーミング、および本番データから発生したプロンプトに対するモデル応答の安全性を追跡します。これらのベンチマークとその採点は更新され続けているため、結果は過去のシステムカードに直接対応するものではありません。

表 10 は、モデルの挙動とセーフガードの両方を考慮した、バイオセキュリティベンチマークスイート全体の結果を報告します。GPT-Rosalind-6は信頼アクセスデプロイメントであるため、主にBiosecurity - Severeベンチマークの結果を考慮したことに注意してください。Biosecurity - Benignは、無害な生物学的および運用上の質問セットに対するモデルのコンプライアンス（拒否や免責事項なしで完全に役立つこと）を評価します。残りのベンチマークスコアは、生物兵器化に関連するプロンプトに対して、設定された安全グレーダーを通過したモデル応答の割合を示します。合格しなかった応答は、このグレーディング基準の下でフラグが立てられました。これは、必ずしもそれが明白に安全でないことを意味するわけではありません。

4.2.2.3 安全性とアライメント評価

GPT-Rosalind-6の指示追従能力、正直さ、プロンプトインジェクションへの耐性、およびツール使用時の挙動も評価します。追加の評価では、自動モニターが有害なアクションを検出できるか、またモデルが指示された場合に検出を回避したり、推論を変更したりできるかを評価します。

以下の表では、↑はスコアが高いほど良く、↓はスコアが低いほど良いことを示します。GPT-6 Astraの結果も参考として含まれています。評価バージョン、推論設定、採点、およびサンプルカバレッジは実行によって異なるため、これらは記述的な比較です。「利用不可」は、数値的な参照結果が特定されていないことを示します。≈は、公開された図から読み取られたおおよその値を表します。

4.2.4 セキュリティとアクセス制御

承認されたGPT-Rosalind-6の顧客は、より高能力なライフサイエンスモデルへのアクセスに適したセキュリティ管理を維持する必要があります。これには、強力なIDおよびアクセス管理、管理者制御、承認されたデプロイメントに適した最小権限のアクセス制御、およびユーザーが正当なニーズを持たなくなった場合にアクセスを削除するプロセスが含まれます。

モデルへのアクセスおよびデータ保持の取り決めは別途承認されます。顧客は、承認されたデプロイメントのセキュリティおよび監督要件を満たす必要があります。

他のOpenAIデプロイメントと同様に、実際の使用から学習を続けることを期待しています。安全信号、顧客体験、および新たな誤用のパターンを監視し、デプロイメントの進化に合わせてGPT-Rosalind-6のセーフガードを更新する可能性があります。