LabRobotBench v0.1: ウェットラボロボティクスのベンチマーキング
LabRobotBench v0.1: Benchmarking wet lab robotics (gamowlabs.com)
要約
Gamow Labsは、AIエージェントがウェットラボの実験を自動化し、中断した実験を復旧する能力を評価するためのベンチマークプラットフォーム「LabRobotBench」を発表しました。このプラットフォームは、GPT-4o、Claude 3 Opus、Gemini 1.5 Proなどの最先端AIモデルの物理空間と複雑な生物学的ワークフローにおける推論能力をテストします。実験の遅延や機器の故障からの回復能力を測定し、実験スループットの加速を目指します。
全文翻訳
LabRobotBench V0.1
私たちのインシリコシミュレーションは、物理的なロボットのコマンドインターフェースを模倣しており、実験を実行し、機器の障害から回復できるエージェントの開発と評価を可能にします。
ロボットがエラーに遭遇すると、人が介入するまで実験が停止する可能性があります。問題を診断して安全に作業を再開できるエージェントがあれば、夜間も実験を継続でき、ダウンタイムを削減し、科学者が一度に実行できる実験数を増やすことができます。これがGamow Labsで構築しているものです。エージェントを使用して実験のスループットを向上させることで、人間の進歩を加速させます。
この課題に対処するため、LabRobotBenchを提案します。その評価は、最先端のAIモデルが物理空間と複雑な生物学的ワークフローについてどのように推論し、ウェットラボ実験のトラブルシューティングと実行を行うかをテストします。
結果 · 細胞アッセイの回復 · アッセイとコールドストック · 用量応答の回復 · 私たちと提携
01 / 中断された実験の回復
結果
各エージェントは、必要な物理ワークフローのどの程度を回復できたでしょうか？
ホールドアウトサブセット全体での平均スコア
0%25%50%75%100%
-
GPT 6.1 SolCodex
46.7%
-
Opus 5.5Claude Code
23.0%
-
Gemini 4 ArgonGemini CLI
20.9%
CASE 01 · 中断された細胞アッセイの回復
中断された実験の完了
4つのトレイの細胞を含む実験の途中でロボットが停止しました。3つはまだテスト可能でした。エージェントは、それらの準備を完了し、結果を測定し、片付ける必要がありました。4つ目はすでにダメになっており、脇に置く必要がありました。
エージェントがやるべきこと
各トレイは、ロボットが停止したときに異なる段階にありました。エージェントは、どのステップがすでに完了しているかを把握し、細胞の洗浄を完了し、細胞活性を測定するために使用される化学物質を追加し、測定機器を実行する必要がありました。また、結果を保存し、各トレイを蓋とともに戻す必要もありました。化学処理を繰り返すとサンプルがダメになる可能性があります。
ウェットラボで重要な理由
トレイは、実験がまだ完了していなくても、安全に棚に戻すことができます。重要なのは、細胞が適切な処理を受け、時間内に測定されたかどうかです。
Opusは未完了のアッセイを棚に戻します。
Opusが黄色いラベルのトレイを棚に戻す様子をご覧ください。その細胞は洗浄されましたが、エージェントはテストに必要な化学物質を追加したり、結果を測定したりすることはありませんでした。トレイは片付けられ、実験は未完了のままです。
CASE 02 · アッセイとコールドストックの救出
何を先に救うかを選択することのコスト
エージェントには、いくつかの仕事が注意を引くために競合していました。2つの実験を完了し、1つのダメになったサンプルを脇に置き、2つのトレイの消耗品をコールドストレージに戻し、比較サンプルをそのままにしておくこと。これらの仕事の一部は、残り時間がわずかでした。
エージェントがやるべきこと
1つの実験では、次の化学物質の添加を200秒以内に完了する必要がありました。コールドストックは、ストレージの外に240秒以上置くことはできませんでした。同じロボットがすべてのトレイを移動したため、エージェントは最初に何を処理するかを選択する必要がありました。
ウェットラボで重要な理由
ラボでは、あるサンプルを助けることが、別のサンプルを待たせることを意味する場合があります。エージェントは、両方の締め切りを追跡し、材料を保護する順序を選択する必要があります。
エージェントは異なる優先順位を選択しました。
GPTは両方のコールドストックトレイを時間内に戻しますが、1つの実験を完了できません。Opusは両方の実験を完了しますが、両方のコールドストックトレイを長すぎます。
コールドストックは遅すぎてストレージに戻されます。
Geminiが赤いラベルのトレイをコールドストレージマシンに運ぶ様子をご覧ください。トレイが内部に保管されるまでに、約422秒間外部に置かれており、240秒の制限を大幅に超えています。ロボットはそれを正常に移動しますが、タスクを満たすには遅すぎます。
CASE 03 · 時間制限のある用量応答アッセイの完了
完了した測定でも遅すぎる場合がある
この実験では、細胞がさまざまな量の化学物質にどのように応答するかをテストします。エージェントは、2つのトレイの細胞のテストを完了し、すでにダメになっていた3つ目のトレイを脇に置く必要がありました。1つのトレイは測定締め切りに近づいていました。
エージェントがやるべきこと
エージェントは、固定された時間枠内で実験を完了することが期待されていました。細胞がテスト化学物質で処理された後、その応答を測定するために30分ありました。どのステップがすでに完了しているかを確認し、サンプルの準備を完了し、測定機器を実行するのに十分な時間を残す必要がありました。
ウェットラボで重要な理由
このようなタイミング要件は、サンプルの応答が処理後に変化する可能性がある生きた生物学実験では一般的です。必要な時間に測定を行うことで、科学者はサンプル間の結果を比較できます。したがって、エージェントは、機器を操作するだけでなく、実験のタイミングを中心に計画する必要があります。
GPTは締め切りを過ぎた結果を収集します。
GPTがトレイを測定機器から取り出す様子をご覧ください。機械は完了しましたが、その測定は締め切りから42.5秒後に終了しました。ロボットは通常通り続行し、エージェントは後でテストが完了したと報告します。
私たちと提携
実験生物学の未来を築きましょう。
Gamow Labsでは、AIとウェットラボ生物学の最前線で、希少疾患をよりよく理解するために取り組んでいます。私たちは、ロボット実験室を操作し、科学者が遺伝的変化がどのように疾患を引き起こすかを解明するのを助けるエージェントを構築しています。
最先端モデルを開発している場合、実験室の自動化を構築している場合、または実験能力を拡大したい場合は、ぜひお話しさせてください。