macOSデスクトップ上の3Dショウジョウバエ、実際のFlyWireコネクトームで駆動
A 3D fruit fly on macOS desktop powered by the real FlyWire connectome (github.com)
要約
macOSデスクトップ上で動作する3Dショウジョウバエのシミュレーションが登場しました。これは、実際のショウジョウバエの神経回路網(コネクトーム)のライブスパイクシミュレーションによって駆動されており、ハエは実際の神経細胞と同じニューロンを使ってウィンドウ上を歩き回ったり、毛づくろいをしたり、眠ったりします。カーソルが近づくと逃避行動を起こすなど、リアルな振る舞いを再現しています。
全文翻訳
[画像: DesktopFly — a 3D fruit fly]
DesktopFly 🪰
macOSデスクトップ上で動作する3Dショウジョウバエで、FlyWireの脳配線とMaleCNSの脳-脚ネットワークから構築されたスパイクシミュレーションを搭載しています。これは、特定された神経回路と、モデル化された感覚、関節、行動を組み合わせています。
[画像: Live brain window: 23,210 real neuron positions, spikes flashing]
フライの脳ウィンドウ:FlyWire v783からの実際のニューロン体(soma)23,210個の位置が表示され、実際のニューロン位置でスパイクが点滅します。2つの光る黄色いマーカーは、脱出コマンドニューロンであるGiant Fibersです。任意の領域をクリックすると刺激できます。
Changelog
1.1.0 — 2026-09-05
- モーター駆動の脚: 1,045個のニューロンと17,224個の測定済み接続を持つMaleCNS v1.0の抽出を追加しました。シミュレートされたモーター活動が、関節、前後への歩行、操舵を駆動し、関節と足の接触フィードバックを備えています。既存のFlyWire脳は、モデル化されたインターフェースを介して接続されます。
- 滑らかな行動遷移: 歩行、グルーミング、睡眠、飛行は現在の関節ポーズを維持します。歩行に戻る際には、そのポーズと速度をメカニクスに引き継ぎます。体の回転、着陸時のピッチ、羽の折りたたみが、スナップするのではなく、状態間でスムーズに遷移するようになりました。
- 羽と縁の修正: 上げられ、再形成された羽のヒンジにより、体のクリッピングを防ぎます。フライの下からウィンドウを移動させると、ウィンドウの新しい端へのテレポートではなく離陸がトリガーされます。脅威に対する回転は、ダートが終了した後、操舵のオーバーライドを停止します。
- 一貫したタイミングとWindowsサポート: 完全な神経/体フィードバックループは、ディスプレイのリフレッシュレートとは独立して120 Hzで実行されます。Electronポートは、モーターメカニクスと遷移修正を共有します。ビートルボディは引き続きmacOS専用です。
- 検証と来歴: 再現可能な抽出、ソースハッシュ、個別のMaleCNSデータライセンス、および各プラットフォームでの18の運動チェックを追加しました。すべてのネイティブおよびJavaScriptスイートはパスします。ネイティブモーションシーケンスは視覚的にレビューされました。Windowsネイティブセンシングは、Windowsでの検証が必要です。
新しい回路は測定された解剖学的構造を追加します。神経生理学、感覚チューニング、筋肉力学は引き続きモデル化されています。評価と制限事項およびデータ来歴を参照してください。
What's real
- 23,210個のニューロン体(soma)の位置(FlyWire v783の139,255個中)が、スーパークラス(FlyWireの粗い細胞タイプグループ)ごとに色分けされた回転する脳ウィンドウをレンダリングします。
- 668個のニューロンを持つ女性FlyWire回路と18,968個の実際の接続行(神経伝達物質予測による符号付きシナプス数)が、1 kHzのリーキーインテグレイト・アンド・ファイア(LIF)シミュレーションとして実行されます。
- LC4 (104) + LPLC2 (210) 迫りくる物体検出ニューロン
- DNp01 / Giant Fiber (GF) (2) — 脱出コマンドニューロン
- DNa01 + DNa02 (4) 操舵ニューロン · DNp09 (2) 前進歩行
- DNg11 (6) グルーミング · MDN (4) 後退歩行("moonwalker")
- DNp02/DNp04/DNp11 (6) 脱出マヌーバー(羽)ニューロン
- それらの330個の最も強力なパートナー、上行性(固有受容性)および感覚性(風)ニューロンを含む
- 1,045個のニューロンを持つMaleCNS運動回路は、16個の下行ニューロン、622個のVNC介在ニューロン、220個の特定された脚運動ニューロン、153個の脚感覚ニューロン、および34個の上行ニューロンを追加します。その17,224個の実際の有向接続は708,689個のシナプス接触を表し、下行ニューロンから腹側神経索(VNC)を経て全ての6本の脚への実際の経路があります。
- 脱出トリガーは、シミュレートされたGiant Fiberスパイクを使用します。 カーソル接近がLC4/LPLC2経路を駆動し、GFスパイクが離陸を要求します。感覚ゲイン、電気的結合の近似、遅延は設定されたモデルパラメータです。結果として生じる反応時間は、生きたハエの測定値ではありません。
ボディは手続き的に生成されます。実験的なMaleCNSパスが、関節式脚関節を駆動し、関節/接触フィードバックを受け取ります。飛行、羽ばたき、グルーミング、睡眠は、モデル化されたアニメーションと状態ルールを保持します。これは完全なCNSや生物学的に校正された歩行シミュレーションではありません。
Installation
要件: macOS 13+、Xcode Command Line Tools (Swift 5.9+)。権限やエンタイトルメントは不要です — 感知するすべてのもの(カーソル、ウィンドウフレーム、クリックとしてのタップ、熱状態)は権限フリーです。
git clone https://github.com/DenisSergeevitch/desktop-fly.git
cd desktop-fly
./build.sh
./DesktopFly
メニューバーに 🪰 アイテムが表示されます。そこから終了できます。フライは透明なクリックスルーオーバーレイ上でデスクトップをさまよいます — マウスやキーボードを妨げることはありません。
Windows
同じコネクトーム抽出、ニューラルモデル、および同じテストスイートを持つElectron + three.jsポートがwindows/にあります(@MikeMike88提供)。Windows 10/11およびNode.js 18+が必要です。
cd desktop-fly/windows
npm install
npm start # トレイアイコン 🪰; そこから終了
npm test # 全ての3つのスイート、ヘッドレス
macOSからWindowsへのマッピングテーブルとプラットフォームノートについては、windows/README.mdを参照してください(そこでのフライは、すべてのモニターを独自にさまよいます)。オプションのスタッグビートルボディは、現時点ではmacOS専用です。
Controls (menu bar 🪰)
| item | effect |
|---|---|
| Pause / Resume | 世界をフリーズする |
| Show/Hide Brain | ライブ脳ウィンドウを切り替える |
| Escape Test (loom) | 迫りくる刺激を注入し、GFの発火を見る |
| Move to Next Display | フライをモニター間でホップさせる(>1ディスプレイの場合に表示) |
| Add / Remove Fly | 追加のフライ(フライ#1のみが脳を保持) |
| Scare Flies | 全員を驚かせる |
| Body: Fruit Fly / Stag Beetle | ボディジオメトリを切り替える — 行動は変更されない |
[画像: The optional stag-beetle body]
同じコネクトーム、同じステートマシン、異なるシェル。行動レイヤーはボディに1つの構造体を通してのみ触れるため、2番目のジオメトリはコードの1行なしでドロップインできます。エリートラは飛行時、または脱出下行ニューロンが接地された脅威姿勢を発火させたときに開き、下の膜状の後翅が実際に羽ばたく表面です。
脳ウィンドウはインタラクティブです: ホバーすると回転が一時停止します。領域をクリックすると、約60個の最も近い回路ニューロンが400ミリ秒間「光遺伝学的に」刺激されます。スパイクは、抽出されたFlyWireグラフと設定されたボディインターフェースを介して伝播します。Giant Fiberは脱出を要求し、DNg11はグルーミングを要求し、非対称なDNa01/02刺激は操舵ドライブを変更します。
How real neurons drive the body
| body behavior | driven by |
|---|---|
| escape takeoff | DNp01 giant fiber spike |
| walk vs. rest | DNp09 rate through a modeled state threshold |
| leg activation and grounded movement | MaleCNS motor rates → modeled joints and foot contacts |
| steering drive | DNa01+DNa02 activity passed to the male descending populations |
| grooming | DNg11 rate |
| backward scoot | MDN burst |
| nervous darting | LC4/LPLC2 population rate |
| wing-beat effort, threat wing-raise | DNp02/04/11 rate |
| spontaneous takeoff | whole-population arousal |
FlyWireの集団レートは、明示的な2つの標本間のモデル化されたインターフェースを介して、対応する男性下行細胞タイプを駆動します。MaleCNS内では、公開されている接続が下行ニューロン、VNC介在ニューロン、運動ニューロン、脚運動ニューロン、および上行フィードバックをリンクしています。標本間の人工的なシナプスはデータに含まれていません。
モーターチャネルは、名前付きの脛節および跗節屈筋/伸筋、胸骨前/後基節回旋筋、および名前付きの促進筋/後退筋グループを使用します。ボディの関節角度、速度、接触/負荷推定値が、脚局所感覚入力にフィードバックされます。末梢神経および受容体クラスのIDは測定された注釈です。関節チューニング、筋力、およびそれらの測定値から電流への変換は、モデル化の選択です。高速カーソルモーションは、元のFlyWire感覚経路を刺激し続けます。
Desktop ecology (all permission-free macOS senses)
- Window terrain: ウィンドウの上端は段差です — フライはそれに着陸し、それに沿って歩き、近くの端の動きを追い、支えている端が離れたり閉じたりすると離陸します。
- Window looms: フライの近くにウィンドウが表示されると、ラミング経路にフィードバックされ、回路はダイアログから逃げるかどうかを決定します。
- Clicks are substrate taps: フライの隣をクリックすると、風→GF経路を介して驚かせます。Typing is vibration(アイドルタイムAPI — キーが押されたときを知り、どのキーかは決して知りません)。
- Circadian rhythm: 夜明け/夕暮れに活動のピークがあり、真昼の昼寝、夜の静止があります。Sleep: 夜間にアイドル状態になると、ゆっくりと呼吸し、覚醒閾値が上昇して眠ります。目覚めた後にグルーミングします。
- Temperature: ハエは外温動物です — 熱いMacはより速いハエです。
Regenerating the data
data/にはコンパクトな派生ファイルが同梱されています。生のFlyWire Codexダンプ(約60 MBのダウンロード)からそれらを再構築するには:
mkdir -p /tmp/flywire && cd /tmp/flywire
B=https://storage.googleapis.com/flywire-data/codex/data/fafb/783
curl -O "$B/classification.csv.gz" -O "$B/coordinates.csv.gz" \
-O "$B/connections.csv.gz" -O "$B/consolidated_cell_types.csv.gz"
cd - && python3 etl.py /tmp/flywire
個別のMaleCNSエクストラクタは、3つの公開されたFeatherテーブル(約1.11 GB)を一時ディレクトリにダウンロードし、コンパクトな運動グラフを再生成します。
python3 -m pip install numpy pandas pyarrow
python3 etl_malecns.py /tmp/fly-male-cns --download
data/locomotor_circuit.jsonとdata/locomotor_report.jsonを書き込みます。回路は正確なソースURL、SHA-256ハッシュ、ネイティブボディID、および注釈を記録します。レポートは、実際の下降-運動経路と、省略された入力カバレッジを記録します。抽出ルールとデータ/モデルの境界については、data/LOCOMOTOR_PROVENANCE.mdを参照してください。生のダウンロードはリポジトリの外に保管してください。元のFlyWireファイルはこのエクストラクタによって変更されません。
Diagnostics
./DesktopFly --simtest # 回路の不変性と刺激応答
./DesktopFly --behaviortest # エンドツーエンドの神経/ボディチェック
./DesktopFly --locomotortest # 実際のMaleCNSクローズドループ、方向、損傷、フレームレートチェック
./DesktopFly --snapshot f.png # オフスクリーンのボディレンダリング(3/4パース)
./DesktopFly --snapshot f.png --top [--flying] [--beetle] # オーバーレイ自体の
# トップダウン正投影ビュー、ユーザーが見るもの
./DesktopFly --brainshot b.png # オフスクリーンの脳レンダリング
./DesktopFly --snapshot walk.png --top --walking # ライブモーター回路からのポーズ
What's modeled vs. measured
コネクトームは解剖学的構造と接触数を提供しますが、機能的な生理学的シミュレーションではありません。LIFダイナミクス、興奮性、シナプス符号/遅延、電気的結合ブースト、レート正規化、標本間のインターフェース、感覚チューニング、筋肉力学、および行動閾値は、設定されたモデルです。
MaleCNSは元の神経伝達物質予測と生数を保持します。現在の符号規約はACh+、GABA-、Glu-です。未解決/調節性のエッジは直接電流ゼロですが、ソース接触は保持されます。モーターチャネルは、完全な入力接触の一部のみを保持します。レポートは、脚とチャネルごとの正確なカバレッジを提供します。他の入力と、完全な神経系の大部分は省略されています。
接続性だけでは、交互の歩行、安定したバランス、または現実的な筋肉募集は確立されません。ネットワークは共収縮したり、緊張性駆動で安定したりする可能性があります。モーター評価には、起動後の持続的な歩行、物理的な後退、因果的な操舵、およびモーターサイレンシング後の推進力の喪失が必要です。完全なセンサー/ニューロン/ボディフィードバックループは、レンダリングリフレッシュとは独立して120 Hzで実行され、ニューロンは1 kHz、メカニカルサブステップは600 Hzです。筋力と弛緩パラメータは校正されたモデルの選択です。評価を参照してください(evaluation)。解剖学的経路チェックとソフトウェア行動テストは、測定されたフライの運動との一致を示していません。脳ウィンドウは、1,713個のシミュレートされたセルすべてを一緒に表示するのではなく、引き続きFlyWireの可視化を表示します。
License & citation
コードはMITライセンスです。元のFlyWire由来のbrain_points.jsonおよびcircuit.jsonはCC BY-NC 4.0です。MaleCNS由来のlocomotor_circuit.jsonおよびlocomotor_report.jsonはCC BY 4.0です — data/DATA_LICENSE.mdを参照してください。これを使用する場合、以下を引用してください。
- Dorkenwald, S. et al. Neuronal wiring diagram of an adult brain. Nature 634, 124–138 (2024). https://doi.org/10.1038/s41586-024-07558-y
- Schlegel, P. et al. Whole-brain annotation and multi-connectome cell typing of Drosophila. Nature 634, 139–152 (2024). https://doi.org/10.1038/s41586-024-07686-5
- MaleCNS v1.0 dataset, by FlyEM/HHMI Janelia, University of Cambridge, MRC Laboratory of Molecular Biology and Google Research.