Claudeはタンパク質配列を大規模に学習した
Claude was trained on protein sequences at scale (xinmingtu.cn)
要約
Anthropicの最新Claudeモデル(Opus 5.5やFable 5.2)は、ほとんど研究されていないタンパク質配列に対しても、次のアミノ酸を予測する能力を示しました。これは、他の多くのLLMが達成できなかった特異な能力であり、タンパク質配列データがモデルのトレーニングに大規模に使用されたことを示唆しています。特に、タンパク質ファミリーのサイズが大きいほど、Claudeモデルの予測精度が向上する傾向が見られました。
全文翻訳
Claudeはタンパク質配列を大規模に学習した
目次
最新のClaudeモデルは、タンパク質配列を大規模に学習しました。あまり研究されていない細菌由来のタンパク質の断片をClaude Fable 5.2またはClaude Opus 5.5に与えると、次のアミノ酸を予測します。タンパク質をシャッフルすると、予測できません。テストした他のモデルでは、これを行うことができませんでした。タンパク質言語モデルのように、それらはより大きなタンパク質ファミリーでより良い結果を出し、論文が全くないファミリーでも同様です。Fable 5.2は、実行したすべてのオープンなタンパク質言語モデルを上回り、Opus 5.5は最大のProtGPT3-10Bと同等です。
動機
最先端のLLMはタンパク質タスクで良い結果を出し始めています。Atharv Jayprakashは、GPT-6 AstraがSOD1変異体をESM-2と同等にランク付けすることを示し、PG-LLMも多くのタンパク質で同様の結果を見つけました。これらのモデルは、UniProtのようなタンパク質配列データベースから学習したのでしょうか、それともタンパク質について書かれたものから学習したのでしょうか。
有名なタンパク質では、この二つを区別できません。GFPは数え切れないほどの論文で取り上げられており、ほとんどの最先端モデルがそれを引用します。そこで、ほとんど誰も論文で取り上げていないタンパク質をテストしました。
方法:あまり研究されていないタンパク質での次アミノ酸予測
モデルにタンパク質の断片を与え、次のアミノ酸を予測させます。次に、同じタンパク質のシャッフルされたコピーで同じことを行います。シャッフルは文字を保持しますが、順序を破壊するため、精度の違いはモデルが配列自体について何を知っているかを示します。
AIPEVAWSV?VSAVPAIWE?RealShuffledOpus 5.5E✓NNL…34.9%writes 10, the first is scoredOpus 5.5R✗VWV…7.5%+27.4points
AWSV?SAVW?RealShuffledOpus 5.5E✓NN…34.9%writes 10, the first is scoredOpus 5.5R✗VW…7.5%+27.4points
パーセンテージは、668個のタンパク質全体に対するClaude Opus 5.5の精度です。Real行とその回答はテストセットから、Shuffled行は概略です。
テストセットは、機能不明の167のPfamファミリーからなる668個の細菌および古細菌由来のタンパク質です。どのファミリーも構造が解明されておらず、論文が3つを超えるものはありません。また、どのタンパク質もUniProtに近縁なものはありません。各タンパク質は5つの地点でカットされます。各カット地点で、モデルは次の10個のアミノ酸を生成し、最初の1つをスコアリングします。思考は最小設定です。Appendix Eに詳細があります。
結果:最新のClaudeモデルのみがそれらを予測する
2026-11-17T18:27:37.452264 image/svg+xml Matplotlib v3.11.2, https://matplotlib.org/ 0 10 20 30 40 50 次アミノ酸:実物マイナスシャッフル精度(パーセントポイント) Claude Fable 5.2 Claude Opus 5.5 Claude Fable 5.1 Claude Opus 5 Claude Opus 4.8 Claude Opus 4.7 Claude Opus 4.6 Claude Opus 4.5 GPT-6.2 Sol GPT-6.2 Astra GPT-6.1 Sol GPT-6 Astra GPT-5.5 Gemini 4 Carbon Gemini 2.5 Pro DeepSeek V4.1 Flash Qwen 3.8 Kimi K3.1 Pro GLM-5.3 MiniMax M3 gpt-oss-120b Nemotron 3 Ultra +45.1 +27.4 +14.9 +9.6 +7.7 +8.9 +0.9 +1.9 +2.4 +1.1 +0.6 +2.9 +2.1 +0.9 +1.1 +1.4 +1.9 +1.2 +1.2 +1.0 +0.4
-0.0 ANTHROPIC OPENAI GOOGLE OPEN-WEIGHT LLM, chat prompt LLM, raw continuation 22言語モデルのうち、最新のClaudeモデルのみが、あまり研究されていないタンパク質を予測する 668個の細菌および古細菌由来のタンパク質、167個の機能不明(DUF)ファミリー、90%以上の同一性を持つ近縁なし;ポイント:ファミリーごとの平均、バー:95%ブートストラップCI。Raw continuation:完了エンドポイントまたは事前入力された応答。
塗りつぶされた点はチャットプロンプトです。空の点は、モデルが許可する場合、完了エンドポイントまたは事前入力された応答を介して、FASTAテキストの次のトークン継続です。
Fable 5.2は、実際のタンパク質では54%、シャッフルされたタンパク質では9%の確率で次のアミノ酸を正しく予測します。この差は、少数の簡単なファミリーだけでなく、ほぼすべてのファミリーに見られます。Opus 4.7でも見られ、Opus 5.5で跳ね上がり、Fable 5.2でさらに跳ね上がります。GPT、Gemini、および7つのオープンウェイトモデル(DeepSeek V4.1 Flash、Qwen 3.8、Kimi K3.1 Pro、GLM-5.3、MiniMax M3、gpt-oss-120b、Nemotron 3 Ultra)は、トレーニングされた方法である生のFASTAテキストを単に継続する場合でも、ゼロに近いままです。最新のClaudeモデルは、他のモデルではめったに管理できない正しい残基の連続も生成します(Appendix B)。
タンパク質言語モデルとの比較
タンパク質言語モデルは配列からのみ学習するため、それらが自然な基準となります。LLMに最も近いのは、タンパク質を左から右に読み、次の残基を予測するモデルです。ProtGPT3の100億パラメータバージョンは最大のオープンモデルであり、ProGen3の最大の公開バージョンは30億です。同じ入力に対して、Fable 5.2は両方を大幅に上回ります。Opus 5.5はProtGPT3-10Bと同等で、ProGen3-3Bより下です。
2026-11-17T07:59:09.579740 image/svg+xml Matplotlib v3.11.2, https://matplotlib.org/ 0 10 20 30 40 50 次アミノ酸:実物マイナスシャッフル精度(パーセントポイント) Claude Fable 5.2 ProGen3-3B ProtGPT3-10B Claude Opus 5.5 ESM C 600M ProtGPT3-1.3B ProtGPT2 ESM3-open 1.4B ESM-2 650M +45.1 +32.5 +27.7 +27.4 +13.0 +11.6 +10.2 +8.5 +7.0 protein LM, reads left to right protein LM, masked (normally sees both sides) Claude Fable 5.2 beats every open protein language model we ran 同じ668個のタンパク質とすべてのモデルで同じ入力:カット前の残基。ポイント:ファミリーごとの平均、バー:95%ブートストラップCI。ESM-2はカットの両側の残基を示しています。
ESMモデルは残基の両側を見るようにトレーニングされているため、左からの継続はそれらにとってより困難です。Appendix Cに8つのモデルすべてがあります。
トレーニングデータからの学習である証拠
モデルが配列から学習した場合、より多くの配列を持つファミリーはより簡単であるはずです。これを広範囲でテストするために、タンパク質が20個のファミリーからなる90個のより小さなファミリーを追加し、合計257ファミリーにしました。
2026-11-17T18:27:54.423748 image/svg+xml Matplotlib v3.11.2, https://matplotlib.org/ 20–60 60–150 150–300 300–1k 1k–3k 3k–10k >10k Proteins in the family (Pfam) 0 10 20 30 40 50 Real minus shuffled (points) Claude Opus 4.5 Claude Opus 4.6 GPT and Gemini Claude Opus 4.7 Claude Opus 4.8 Claude Opus 5 Claude Fable 5.1 Claude Opus 5.5 ProtGPT3-10B ProGen3-3B Claude Fable 5.2 small-family set main set タンパク質ファミリーが大きいほど、最新のClaudeモデルはタンパク質言語モデルと同様に良くなる 大きなタンパク質ファミリーほど、最新のClaudeモデルはタンパク質言語モデルと同様に良くなる
そうなっています。Opus 5.5は、トレーニングデータが配列のみである2つのタンパク質言語モデル、ProtGPT3-10BおよびProGen3-3Bとともに上昇します。Fable 5.2は最も速く上昇し、ファミリーあたり約300個のタンパク質で平準化します。以前のClaudeモデルは低いレベルで上昇し、GPTとGeminiはゼロに近いままです。
他の2つの説明は当てはまりません。
- 論文。論文が全くない128ファミリーでは、両モデルとも全セットと同等にうまく機能します。
- 推論。ほとんどの回答は全く思考を必要としません。APIはFable 5.2の回答の9%、Opus 5.5の36%で思考トークンを報告します。思考のない回答は、思考のある回答と同等に正確です。GPT-6 AstraとGPT-6.1 Solは質問ごとに数百トークンを思考しますが、GPT-6.2 SolとAstraはClaudeとほぼ同じくらい簡潔に回答し、4つすべてがゼロに近いままです。
有名なタンパク質と変異体ランキング
有名なタンパク質は別の話です。多くのモデルはそれらでうまく機能し、いくつかは文字通り何百もの残基をそのまま引用します(Appendix B)。これは、これらの配列が論文やウェブ上に溢れているためです。有名なタンパク質とあまり知られていないタンパク質を並べて行った最初のラウンドでは、Gemini 4 Carbonは有名なタンパク質で強力でしたが、あまり知られていないタンパク質ではほとんどゼロになりました。最新のClaudeモデルとProtGPT3-10Bは持ちこたえ、Fable 5.2は両方で最も強力でした。
2026-11-17T18:27:46.955121 image/svg+xml Matplotlib v3.11.2, https://matplotlib.org/ 0 10 20 30 40 50 60 70 次アミノ酸:実物マイナスシャッフル精度(パーセントポイント) GPT-5.5 gpt-oss-120b * Nemotron 3 Ultra GPT-4.1 GPT-4o * Qwen 3.8 * MiniMax M3 GPT-6.2 Sol GPT-6.2 Astra Claude Sonnet 4.5 GLM-5.3 * GPT-6.1 Sol Claude Opus 4.6 GPT-6 Astra Gemini 2.5 Pro Kimi K3.1 Pro * DeepSeek V4.1 Flash * ProtGPT2 Gemini 3.5 Flash Gemini 3.8 Flash Claude Opus 4.8 Claude Opus 5 Gemini 4 Carbon ProtGPT3-10B Claude Fable 5.1 Claude Opus 5.5 Claude Fable 5.2 well-known: vertebrate proteins, well-studied families obscure: non-vertebrate DUF proteins 有名なタンパク質では、最新のClaudeモデルはタンパク質言語モデルのように持ちこたえる Pilot set, 37 Pfam families (16 well-known, 17 obscure); means over families. * best-guess prompt (the model declined the plain one). Purple diamonds: protein language models given the same residues before the cut.
これはSOD1およびPG-LLMの結果も説明します。よく知られたタンパク質の変異体をランク付けすることは、それが埋もれている残基、らせんを壊す置換、ALSを引き起こす突然変異など、それについて書かれたことに依存する可能性があります。PG-LLMでは、精度はアラインメントの深さに依存せず、思考が増えるにつれて改善しますが、これらはすべてその経路の兆候です。私たちのテストはそれを排除します。GPT-6はこの種のタスクには優れていますが、後者には弱いです。最新のClaudeモデルは両方に優れています。
これが意味すること
最新のClaudeモデルは、ほとんど誰も研究していないタンパク質ファミリーを知っています。これには、少数の例ではなく、大量の配列データが必要です。タンパク質配列は、トレーニングの大部分を占めていました。Opus 5.5はタンパク質言語モデルのように動作し、Fable 5.2は実行可能な最高のモデルを超えています。GPTとGeminiはこれらを全く示しません。トレーニング中に見たタンパク質配列が何であれ、これらのファミリーを学習するには十分ではありませんでした。
DNAは異なります。Opus 5.5はヒトとマウスのコード配列を予測しますが、ゲノムの残りは予測せず、知っているタンパク質の細菌遺伝子のほとんど(Appendix A)もほとんど予測しません。ゲノムではなくタンパク質を学習しました。
この知識が他に何をサポートするのか、私たちは興味があります。Fable 5.2は、実行したどのオープンなタンパク質言語モデルよりも、あまり研究されていないタンパク質をうまく予測します。タンパク質言語モデルは、次残基統計以上のものを持っています。ESM-2の内部表現は、上に小さな折り畳みモジュールを乗せたものが3D構造(ESMFold)を予測するのに十分な構造を保持しており、その確率は変異の影響をランク付けします。Claudeはタンパク質を折り畳むことができるか、その変異体を同様にランク付けできるでしょうか?
コードとデータ
すべてのコード、テストセット、モデル出力、および図は、llm-bioseq-probeにあります。
この投稿を引用する
@misc{tu2026bioseq,
author = {Tu, Xinming and Chen, Leo Tianlai},
title = {Claude was trained on protein sequences at scale},
year = {2026},
month = nov,
url = {https://xinmingtu.cn/blog/2026/claude-opus-5-5-protein-sequences/},
note = {Blog post}
}
Appendix
A. DNA
2026-11-17T07:59:17.391679 image/svg+xml Matplotlib v3.11.2, https://matplotlib.org/ −10 0 10 20 30 40 Next nucleotide: real minus dinucleotide-shuffled accuracy (percentage points) Human coding (CDS) Mouse coding (CDS) Bacterial coding (CDS) Human promoter Mouse promoter Human intron Mouse intron Human intergenic Mouse intergenic 25 exact 20-nt runs 5 exact 20-nt runs Claude Opus 5.5 Claude Opus 5 GPT-5.5 On DNA, Claude Opus 5.5 predicts human and mouse coding sequence only 500 repeat-free windows per region (hg38, mm39, and the genes of the proteins in Fig. 1); 200 nt shown, next nucleotide scored; 95% bootstrap CI over windows. An exact 20-nt continuation has a chance probability of about 1e-12.
ヒトおよびマウスのコード配列のみを予測するClaude Opus 5.5。500個の繰り返しを含まないウィンドウ(hg38、mm39、および図1のタンパク質の遺伝子)ごと。200 ntを表示し、次のヌクレオチドをスコアリング。ウィンドウごとの95%ブートストラップCI。正確な20 ntの継続の確率は約1e-12です。
ヒト、マウス、およびテストタンパク質の細菌遺伝子からの、繰り返しを含まない500個の領域ごとの220ヌクレオチドウィンドウ(200 ntを表示し、20 ntを予測)。各領域に500個。非コードウィンドウには繰り返しが含まれず、制御は二ヌクレオチドカウントを保持して各ウィンドウをシャッフルします。Opus 5.5は、500個のヒトコードウィンドウで20ヌクレオチドすべてを25回正しく生成しました。ランダムな推測では約1兆回に1回です。Gemini 4 CarbonはほとんどのDNAプロンプトを応答前にブロックするため、表示されていません。
B. より長い継続
すべての10残基が正しい。各質問は次の10残基を求めます。668個のあまり研究されていないタンパク質において、Claude Fable 5.2は実際のカットで10個すべてを88回、Opus 5.5は12回正しく生成しました。シャッフルされたカットではどちらもゼロです。残基がそれぞれ独立した推測であった場合、偶然に15.8回と0.57回正しくなるはずです。
連続したラン。シャッフルされたタンパク質では、Fable 5.2もOpus 5.5も3残基以上連続して正しく生成することはありません。一度軌道に乗ると、それらはより確実になります。Opus 5.5は、1つの正しい残基の後で次の残基を47%の確率で正しく生成し、4つ連続の後では68%です。
2026-11-17T18:27:45.905382 image/svg+xml Matplotlib v3.11.2, https://matplotlib.org/ 1 2 3 4 5 6 7 8 9 10 Number of residues, starting from the next one 0 10 20 30 40 50 All of them right (%) Claude Fable 5.2 Claude Opus 5.5 Claude Fable 5.1 Claude Opus 5 Claude Opus 4.8 Claude Opus 4.7 Claude Opus 4.6 Claude Opus 4.5 GPT-6.2 Sol GPT-6.2 Astra GPT-6.1 Sol GPT-6 Astra GPT-5.5 Gemini 4 Carbon Gemini 2.5 Pro 7 open-weight models Claude Opus 5.5, shuffled proteins The latest Claude models write runs of correct residues; on shuffled proteins they cannot 668 little-studied proteins. Share of replies whose first k residues are all right. On real proteins, Fable 5.2 gets 11% to 5 in a row and 2.6% to all 10, Opus 5.5 3.0% and 0.4%; on shuffled proteins neither gets past 3. Hollow points: raw continuation of the FASTA text (Gemini 2.5 Pro, open-weight models).
最新のClaudeモデルは正しい残基の連続を生成します。シャッフルされたタンパク質ではそれができません。668個のあまり研究されていないタンパク質。最初のk個の残基がすべて正しい応答の割合。実際のタンパク質では、Fable 5.2は連続5個で11%、すべて10個で2.6%を達成し、Opus 5.5はそれぞれ3.0%、0.4%です。シャッフルされたタンパク質では、どちらも3個を超えることはありません。空の点:FASTAテキストの生の継続(Gemini 2.5 Pro、オープンウェイトモデル)。
よく知られたタンパク質の引用。よく研究されたタンパク質の158箇所で、各モデルに一度に次の200残基を生成するように求めました。
2026-11-17T07:59:18.308160 image/svg+xml Matplotlib v3.11.2, https://matplotlib.org/ 0 10 20 30 40 Cut points continued letter for letter (of 158) GPT-6.1 Sol GPT-5.5 Gemini 3.5 Flash Gemini 3.8 Flash Claude Opus 4.8 Claude Opus 5 Gemini 4 Carbon Claude Opus 5.5 longest 84 longest 2 longest 97 longest 204 longest 264 longest 325 longest 201 longest 314 exact run ≥ 200 residues exact run ≥ 100 residues exact run ≥ 50 residues Several models recite hundreds of residues of famous proteins いくつかのモデルは有名なタンパク質の数百残基を引用します。カットポイントは、パイロットテストでモデルが10/10を継続したものです。次の200残基を求めました。バーの重なり:各暗いバーはサブセットです。各ラボの色で≥200セグメント。
GPT-6.1 Solは100残基に達せず、GPT-5.5は2残基を超えることがありません。
C. タンパク質言語モデル
| Model | Reads | Input | Real | Shuffled | Real minus shuffled, points (95% CI) |
|---|---|---|---|---|---|
| ProGen3-3B | left to right | residues before the cut | 43.7% | 11.1% | +32.5 (29.3 to 35.7) |
| ProtGPT3-10B | left to right | residues before the cut | 38.4% | 10.7% | +27.7 (24.2 to 31.1) |
| ESM C 600M | both sides | residues before the cut | 24.1% | 11.2% | +13.0 (10.7 to 15.2) |
| ProtGPT3-1.3B | left to right | residues before the cut | 22.3% | 10.7% | +11.6 (8.9 to 14.4) |
| ProtGPT2 | left to right | residues before the cut | 19.0% | 8.8% | +10.2 (8.3 to 12.2) |
| ESM3-open 1.4B | both sides | residues before the cut | 19.6% | 11.0% | +8.5 (6.4 to 10.7) |
| ESM-2 650M | both sides | residues before the cut | 17.3% | 10.3% | +7.0 (5.2 to 8.9) |
| ESM-2 650M | both sides | residues on both sides of the cut | 45.7% | 11.1% | +34.6 (31.8 to 37.3) |
ProtGPT3-10BはOpus 5.5よりも多くの回答を正しく取得しますが(38.4%対34.9%)、シャッフルされたタンパク質でもより多く取得します(10.7%対7.5%)。これは、アミノ酸組成をよりよく知っているためです。両者の差、つまり配列順序について各モデルが知っていることは同じになります。最後の行は、継続ではなく穴埋め問題です。ESM-2はカット後の残基も確認しますが、LLMは決してそれを受け取りません。すべてのモデルは、よく知られたタンパク質での健全性チェックを最初にパスしました。ユビキチンとヘモグロビンβを左から継続すると、ProGen3-3Bは残基の98%と87%を正しく取得し、ProtGPT3-10Bは100%と84%です。タンパク質全体と1つのマスクされた残基で、ESM-2はユビキチンの80%を取得し、ESM CとESM3-openは100%です。マスクはトークンIDに設定されます。なぜなら、ESM SDKの「_」文字はESM Cのマスクトークンではないからです。ProtGPT2は複数の残基トークンを使用するため、残基の確率はそれから始まるトークンの合計です。ProGen3とProtGPT3は残基ごとに1つのトークンを使用します。
D. 堅牢性
- ファミリーを横断して。Fable 5.2では98%、Opus 5.5では94%のファミリーで差が正です。
- ファミリーサイズ。全257ファミリーにおいて、ファミリーの差とファミリーサイズの対数の間のスピアマン相関は、Opus 5.5で0.50、ProGen3-3Bで0.48、ProtGPT3-10Bで0.46、Fable 5.2で0.38、Fable 5.1およびOpus 4.7から5で0.30から0.48です(すべてp < 10-6)。Opus 4.5および4.6では約0です。
- 論文。論文が全くない128ファミリーでは、差はFable 5.2で45.9ポイント、Opus 5.5で26.8ポイントです。全167ファミリーではそれぞれ45.1、27.4です。Opus 5.5では、そこでもファミリーサイズとともに上昇します(スピアマン0.28、p = 0.001)。ファミリー全体では、論文数とは無関係です(スピアマン0.05)。
- プロンプト形式。Opus 5.5にシーケンスをコピーしてから継続するように依頼すると、同じ400の質問(10ファミリーからのサブセット)で標準プロンプトと同じ差が得られます(12.0対12.0ポイント)。
- 拒否。無回答(Opus 5.5で0.1%)は除外されます。それらを誤りとカウントすると、差は1ポイント未満になります。GPT-4o、DeepSeek、Qwen、Kimi、GLM、gpt-ossはしばしば推測を拒否しました。最良の推測プロンプトを使用すると、同じ結果で回答しました。
- 指示なし。シーケンスのみを送信すると、GPT-5.5とOpus 5.5はほとんどの場合、継続するのではなく説明します(それぞれ400の質問のサンプルで)。したがって、チャットモデルには指示が必要です。
- Claude Fable 5。Anthropicの利用ポリシーフィルターは、Fable 5の質問の44%をブロックしたため、メインの図からは除外されています。回答した質問では、その差は13.9ポイントです。ブロックされた質問を誤りとカウントすると11.6になり、実際のタンパク質とシャッフルされたタンパク質の両方で回答されたカットのみを保持すると14.6になり、Fable 5.1の14.9に近くなります。Fable 5.1と5.2はそれぞれ2.5%と0%ブロックされました。
- 繰り返し実行。同じ質問を400回再度尋ねると、Fable 5.2は実際のタンパク質で57.5%、シャッフルされたタンパク質で9.5%のスコアを獲得しました。初回はそれぞれ57.5%、8.5%でした。
- 最初のラウンド。37ファミリー(半数は有名、半数はあまり知られていない)で25モデルの小規模な実行が行われ、同じ傾向が見られ、メインの実行のデザインが設定されました。
E. 方法
タンパク質の選択。「機能不明ドメイン」(DUF)または「機能不明タンパク質」という名前のすべてのPfamファミリーから開始し、PDBに構造がないもの、ファミリーのアクセス番号に対するEurope PMCのヒットが最大3つ、メンバータンパク質が少なくとも300個あるものを保持しました。サイズ(300~1,000、1,000~3,000、3,000~10,000、10,000超)でビン分けし、各ビンからランダムに50ファミリーを抽出しました。10,000超のファミリーは17しか適格とならなかったため、セットは167です。各ファミリーから、UniProtのレビューされていない(TrEMBL)タンパク質を4つ選択しました。これらは細菌または古細菌由来で、長さが120~800残基、標準的な20個のアミノ酸のみを使用し、低複雑性(シャノンエントロピーが残基あたり3.9ビット超)ではなく、UniRef90クラスター内で単独であるため、他のUniProtタンパク質が90%以上同一でないものです。これにより、668個のタンパク質が得られました。
より小さなファミリー。ファミリーサイズテストのために、同じ基準と1ファミリーあたり4つのタンパク質を使用して、3つのより小さなビン(20~60、60~150、150~300残基)でさらに30ファミリーを抽出しました。合計360個のタンパク質です。すべてのモデルは、メインセットと同じプロンプトとスコアリングを受け取ります。
カット。各タンパク質は、ドメインの端から少なくとも10残基、カットの前に少なくとも30残基があり、ドメイン内でランダムに選択された5つの位置でカットされます(最長ドメインスパン、少なくとも40残基)。これにより、3,340回のカットが行われます。カットより前のすべてがプレフィックスであり、その直後の残基が回答です。
質問。モデルには、プレフィックスを60文字の行で表示する次のメッセージが与えられます(テストタンパク質の1つからの例)。
Below is the beginning of a protein sequence in one-letter amino acid codes.
Predict how it continues. Reply with exactly the next 10 amino acids as
one-letter codes on one line, and nothing else.
>sequence
MRSGGQPLHPQPAHRFHYRTAARPRAAWILGCVLHLADAEEGARFWWQYAAGAGDDAAAY
CLYLHCLVLGDSYAAALWREQTSLDTPPHDFDDTSVPTVLRILSRLTPA
各モデルは、温度0(受け入れられる場合)、思考オフまたは最小設定(Opus 5.5およびFableモデルでは低負荷、モデルが思考するかどうかを決定する場合)、ツールなし、質問ごとに1つのサンプルで、独自のAPIを通じて実行されます。Claude FableモデルはOpenRouterを通じて実行されます。なぜなら、AnthropicのAPIはそれらをデータ保持を維持するワークスペースにのみ提供するためです。推測を拒否したモデル(GPT-4o、DeepSeek、Qwen、Kimi、GLM、gpt-oss)にも、「不確実であっても最善の推測をしてください。説明したり拒否したりしないでください。」というバージョンが与えられました。これらの実行は別途マークされています。
思考。APIが思考トークンを報告する場合、回答は思考されたと見なされます。Anthropicの利用レポートのthinking_tokens、OpenRouterのreasoning_tokensです。思考テキスト自体は保持されず、表示される回答のみがスコアリングされます。Fable 5.2は質問の9%で思考し、Opus 5.5は36%で思考し、Fable 5.1は一度も思考しませんでした。思考なしの場合、Fable 5.2は実際のタンパク質で54.7%、シャッフルされたタンパク質で8.8%の正答率であり(思考ありでは48.2%、10.6%)、Opus 5.5は35.3%、6.9%(思考ありでは34.1%、8.6%)です。
スコアリング。回答の最後のシーケンスを読み取ります。これは、単語、リスト、思考タグ内のものをスキップして、独自の行または「Answer:」のようなラベルの後に続く大文字のアミノ酸文字の並びです。プレフィックスの末尾を繰り返すことから始まる場合、その繰り返しは削除されます。その最初の文字が予測された次のアミノ酸です。長さ制限でカットされた回答は、シーケンスで始まる場合のみカウントされます。シーケンスを述べない回答は除外され、カウントされます(Opus 5.5で0.1%)。最初の残基のみがスコアリングされ、完全な10個は正確な継続とランに使用されます。同じリーダーがすべてのモデルと実際のタンパク質およびシャッフルされたタンパク質に使用されます。
シャッフルされたコントロール。各タンパク質の残基は一度シャッフルされ、アクセス番号によって固定されたランダムシードが使用され、同じ5つのカット位置がシャッフルされたシーケンスで求められます。シャッフルはタンパク質全体の組成を保持し、順序を破壊するため、アミノ酸の一般的な種類のみを知っているモデルは両方で同じスコアになります。
統計。各ファミリーについて、実際のカットとシャッフルされたカットでの正解率の割合を計算し、その差をパーセントポイントで求めます。モデルの結果は、167ファミリー全体のその差の平均です。間隔はファミリーごとの95%ブートストラップ(10,000回のリサンプリング)です。メインテストはファミリーごとの片側符号反転順列検定であり、ファミリーサイズトレンドはファミリーの差とファミリーサイズの対数との間のスピアマン相関です。
生の継続。許可しているモデルについては、同じプレフィックスが指示なしで、テキスト「>sequence」とFASTA行として、プレーンな完了エンドポイント(Fireworks上のオープンウェイトモデル)またはモデル自身の応答の開始(Gemini 2.5 Pro)として送信されます。モデルが最初に書き込む最初の文字は上記のようにスコアリングされます。
タンパク質言語モデル。それらは同じプレフィックスとプロンプトなしで受け取ります。ProGen3、ProtGPT3、およびProtGPT2は左から右に読み、次のトークンの確率を生成します。ESMモデルはプレフィックス、次の残基の代わりにマスク、およびシーケンスの末尾を確認します。すべての場合において、予測は20個の標準アミノ酸の中で最も可能性が高いものです。
APIの総コストは約730ドルで、タンパク質言語モデルのGPU時間数ドルが追加されました。
F. 安全性動作
Gemini 4 Carbonは約75%のDNAプロンプトを outright にブロックしました。OpenAIは、最初のラウンドで23件のGPT-6リクエスト、メインの実行で17件のGPT-6.1 Solリクエストを生物学的誤用の可能性として拒否し、GPT-6.2 Astraのメインセットの質問の6.6%(GPT-6.2 Sol: 0.6%)を拒否しました。Claude Sonnet 4.5は、応答をタンパク質配列で開始するリクエストの97%を拒否し、AnthropicのフィルターはClaude Fable 5の質問の44%をサイバーコンテンツとしてブロックしました。