HN 日本語サマリー

← 一覧へ戻る
科学・技術

macOSデスクトップ上の3Dショウジョウバエ、実際のFlyWireコネクトームで駆動

A 3D fruit fly on macOS desktop powered by the real FlyWire connectome (github.com)

357 pointsby phoenix120163 コメント

要約

macOSデスクトップ上で動作する3Dショウジョウバエのシミュレーションが登場しました。これは、実際のショウジョウバエの神経回路網(コネクトーム)のライブスパイクシミュレーションによって駆動されており、ハエは実際の神経細胞と同じニューロンを使ってウィンドウ上を歩き回ったり、毛づくろいをしたり、眠ったりします。カーソルが近づくと逃避行動を起こすなど、リアルな振る舞いを再現しています。

全文翻訳

[画像: DesktopFly — a 3D fruit fly]

DesktopFly 🪰

macOSデスクトップ上で動作する3Dショウジョウバエで、FlyWireの脳配線とMaleCNSの脳-脚ネットワークから構築されたスパイクシミュレーションを搭載しています。これは、特定された神経回路と、モデル化された感覚、関節、行動を組み合わせています。

[画像: Live brain window: 23,210 real neuron positions, spikes flashing]

フライの脳ウィンドウ:FlyWire v783からの実際のニューロン体(soma)23,210個の位置が表示され、実際のニューロン位置でスパイクが点滅します。2つの光る黄色いマーカーは、脱出コマンドニューロンであるGiant Fibersです。任意の領域をクリックすると刺激できます。

Changelog

1.1.0 — 2026-09-05
  • モーター駆動の脚: 1,045個のニューロンと17,224個の測定済み接続を持つMaleCNS v1.0の抽出を追加しました。シミュレートされたモーター活動が、関節、前後への歩行、操舵を駆動し、関節と足の接触フィードバックを備えています。既存のFlyWire脳は、モデル化されたインターフェースを介して接続されます。
  • 滑らかな行動遷移: 歩行、グルーミング、睡眠、飛行は現在の関節ポーズを維持します。歩行に戻る際には、そのポーズと速度をメカニクスに引き継ぎます。体の回転、着陸時のピッチ、羽の折りたたみが、スナップするのではなく、状態間でスムーズに遷移するようになりました。
  • 羽と縁の修正: 上げられ、再形成された羽のヒンジにより、体のクリッピングを防ぎます。フライの下からウィンドウを移動させると、ウィンドウの新しい端へのテレポートではなく離陸がトリガーされます。脅威に対する回転は、ダートが終了した後、操舵のオーバーライドを停止します。
  • 一貫したタイミングとWindowsサポート: 完全な神経/体フィードバックループは、ディスプレイのリフレッシュレートとは独立して120 Hzで実行されます。Electronポートは、モーターメカニクスと遷移修正を共有します。ビートルボディは引き続きmacOS専用です。
  • 検証と来歴: 再現可能な抽出、ソースハッシュ、個別のMaleCNSデータライセンス、および各プラットフォームでの18の運動チェックを追加しました。すべてのネイティブおよびJavaScriptスイートはパスします。ネイティブモーションシーケンスは視覚的にレビューされました。Windowsネイティブセンシングは、Windowsでの検証が必要です。

新しい回路は測定された解剖学的構造を追加します。神経生理学、感覚チューニング、筋肉力学は引き続きモデル化されています。評価と制限事項およびデータ来歴を参照してください。

What's real

  • 23,210個のニューロン体(soma)の位置(FlyWire v783の139,255個中)が、スーパークラス(FlyWireの粗い細胞タイプグループ)ごとに色分けされた回転する脳ウィンドウをレンダリングします。
  • 668個のニューロンを持つ女性FlyWire回路と18,968個の実際の接続行(神経伝達物質予測による符号付きシナプス数)が、1 kHzのリーキーインテグレイト・アンド・ファイア(LIF)シミュレーションとして実行されます。
    • LC4 (104) + LPLC2 (210) 迫りくる物体検出ニューロン
    • DNp01 / Giant Fiber (GF) (2) — 脱出コマンドニューロン
    • DNa01 + DNa02 (4) 操舵ニューロン · DNp09 (2) 前進歩行
    • DNg11 (6) グルーミング · MDN (4) 後退歩行("moonwalker")
    • DNp02/DNp04/DNp11 (6) 脱出マヌーバー(羽)ニューロン
    • それらの330個の最も強力なパートナー、上行性(固有受容性)および感覚性(風)ニューロンを含む
  • 1,045個のニューロンを持つMaleCNS運動回路は、16個の下行ニューロン、622個のVNC介在ニューロン、220個の特定された脚運動ニューロン、153個の脚感覚ニューロン、および34個の上行ニューロンを追加します。その17,224個の実際の有向接続は708,689個のシナプス接触を表し、下行ニューロンから腹側神経索(VNC)を経て全ての6本の脚への実際の経路があります。
  • 脱出トリガーは、シミュレートされたGiant Fiberスパイクを使用します。 カーソル接近がLC4/LPLC2経路を駆動し、GFスパイクが離陸を要求します。感覚ゲイン、電気的結合の近似、遅延は設定されたモデルパラメータです。結果として生じる反応時間は、生きたハエの測定値ではありません。

ボディは手続き的に生成されます。実験的なMaleCNSパスが、関節式脚関節を駆動し、関節/接触フィードバックを受け取ります。飛行、羽ばたき、グルーミング、睡眠は、モデル化されたアニメーションと状態ルールを保持します。これは完全なCNSや生物学的に校正された歩行シミュレーションではありません。

Installation

要件: macOS 13+、Xcode Command Line Tools (Swift 5.9+)。権限やエンタイトルメントは不要です — 感知するすべてのもの(カーソル、ウィンドウフレーム、クリックとしてのタップ、熱状態)は権限フリーです。

git clone https://github.com/DenisSergeevitch/desktop-fly.git
cd desktop-fly
./build.sh
./DesktopFly

メニューバーに 🪰 アイテムが表示されます。そこから終了できます。フライは透明なクリックスルーオーバーレイ上でデスクトップをさまよいます — マウスやキーボードを妨げることはありません。

Windows

同じコネクトーム抽出、ニューラルモデル、および同じテストスイートを持つElectron + three.jsポートがwindows/にあります(@MikeMike88提供)。Windows 10/11およびNode.js 18+が必要です。

cd desktop-fly/windows
npm install
npm start          # トレイアイコン 🪰; そこから終了
npm test           # 全ての3つのスイート、ヘッドレス

macOSからWindowsへのマッピングテーブルとプラットフォームノートについては、windows/README.mdを参照してください(そこでのフライは、すべてのモニターを独自にさまよいます)。オプションのスタッグビートルボディは、現時点ではmacOS専用です。

Controls (menu bar 🪰)

itemeffect
Pause / Resume世界をフリーズする
Show/Hide Brainライブ脳ウィンドウを切り替える
Escape Test (loom)迫りくる刺激を注入し、GFの発火を見る
Move to Next Displayフライをモニター間でホップさせる(>1ディスプレイの場合に表示)
Add / Remove Fly追加のフライ(フライ#1のみが脳を保持)
Scare Flies全員を驚かせる
Body: Fruit Fly / Stag Beetleボディジオメトリを切り替える — 行動は変更されない

[画像: The optional stag-beetle body]

同じコネクトーム、同じステートマシン、異なるシェル。行動レイヤーはボディに1つの構造体を通してのみ触れるため、2番目のジオメトリはコードの1行なしでドロップインできます。エリートラは飛行時、または脱出下行ニューロンが接地された脅威姿勢を発火させたときに開き、下の膜状の後翅が実際に羽ばたく表面です。

脳ウィンドウはインタラクティブです: ホバーすると回転が一時停止します。領域をクリックすると、約60個の最も近い回路ニューロンが400ミリ秒間「光遺伝学的に」刺激されます。スパイクは、抽出されたFlyWireグラフと設定されたボディインターフェースを介して伝播します。Giant Fiberは脱出を要求し、DNg11はグルーミングを要求し、非対称なDNa01/02刺激は操舵ドライブを変更します。

How real neurons drive the body

body behaviordriven by
escape takeoffDNp01 giant fiber spike
walk vs. restDNp09 rate through a modeled state threshold
leg activation and grounded movementMaleCNS motor rates → modeled joints and foot contacts
steering driveDNa01+DNa02 activity passed to the male descending populations
groomingDNg11 rate
backward scootMDN burst
nervous dartingLC4/LPLC2 population rate
wing-beat effort, threat wing-raiseDNp02/04/11 rate
spontaneous takeoffwhole-population arousal

FlyWireの集団レートは、明示的な2つの標本間のモデル化されたインターフェースを介して、対応する男性下行細胞タイプを駆動します。MaleCNS内では、公開されている接続が下行ニューロン、VNC介在ニューロン、運動ニューロン、脚運動ニューロン、および上行フィードバックをリンクしています。標本間の人工的なシナプスはデータに含まれていません。

モーターチャネルは、名前付きの脛節および跗節屈筋/伸筋、胸骨前/後基節回旋筋、および名前付きの促進筋/後退筋グループを使用します。ボディの関節角度、速度、接触/負荷推定値が、脚局所感覚入力にフィードバックされます。末梢神経および受容体クラスのIDは測定された注釈です。関節チューニング、筋力、およびそれらの測定値から電流への変換は、モデル化の選択です。高速カーソルモーションは、元のFlyWire感覚経路を刺激し続けます。

Desktop ecology (all permission-free macOS senses)

  • Window terrain: ウィンドウの上端は段差です — フライはそれに着陸し、それに沿って歩き、近くの端の動きを追い、支えている端が離れたり閉じたりすると離陸します。
  • Window looms: フライの近くにウィンドウが表示されると、ラミング経路にフィードバックされ、回路はダイアログから逃げるかどうかを決定します。
  • Clicks are substrate taps: フライの隣をクリックすると、風→GF経路を介して驚かせます。Typing is vibration(アイドルタイムAPI — キーが押されたときを知り、どのキーかは決して知りません)。
  • Circadian rhythm: 夜明け/夕暮れに活動のピークがあり、真昼の昼寝、夜の静止があります。Sleep: 夜間にアイドル状態になると、ゆっくりと呼吸し、覚醒閾値が上昇して眠ります。目覚めた後にグルーミングします。
  • Temperature: ハエは外温動物です — 熱いMacはより速いハエです。

Regenerating the data

data/にはコンパクトな派生ファイルが同梱されています。生のFlyWire Codexダンプ(約60 MBのダウンロード)からそれらを再構築するには:

mkdir -p /tmp/flywire && cd /tmp/flywire
B=https://storage.googleapis.com/flywire-data/codex/data/fafb/783
curl -O "$B/classification.csv.gz" -O "$B/coordinates.csv.gz" \
     -O "$B/connections.csv.gz" -O "$B/consolidated_cell_types.csv.gz"
cd - && python3 etl.py /tmp/flywire

個別のMaleCNSエクストラクタは、3つの公開されたFeatherテーブル(約1.11 GB)を一時ディレクトリにダウンロードし、コンパクトな運動グラフを再生成します。

python3 -m pip install numpy pandas pyarrow
python3 etl_malecns.py /tmp/fly-male-cns --download

data/locomotor_circuit.jsonとdata/locomotor_report.jsonを書き込みます。回路は正確なソースURL、SHA-256ハッシュ、ネイティブボディID、および注釈を記録します。レポートは、実際の下降-運動経路と、省略された入力カバレッジを記録します。抽出ルールとデータ/モデルの境界については、data/LOCOMOTOR_PROVENANCE.mdを参照してください。生のダウンロードはリポジトリの外に保管してください。元のFlyWireファイルはこのエクストラクタによって変更されません。

Diagnostics

./DesktopFly --simtest        # 回路の不変性と刺激応答
./DesktopFly --behaviortest   # エンドツーエンドの神経/ボディチェック
./DesktopFly --locomotortest  # 実際のMaleCNSクローズドループ、方向、損傷、フレームレートチェック
./DesktopFly --snapshot f.png  # オフスクリーンのボディレンダリング(3/4パース)
./DesktopFly --snapshot f.png --top [--flying] [--beetle]   # オーバーレイ自体の
                               # トップダウン正投影ビュー、ユーザーが見るもの
./DesktopFly --brainshot b.png # オフスクリーンの脳レンダリング
./DesktopFly --snapshot walk.png --top --walking # ライブモーター回路からのポーズ

What's modeled vs. measured

コネクトームは解剖学的構造と接触数を提供しますが、機能的な生理学的シミュレーションではありません。LIFダイナミクス、興奮性、シナプス符号/遅延、電気的結合ブースト、レート正規化、標本間のインターフェース、感覚チューニング、筋肉力学、および行動閾値は、設定されたモデルです。

MaleCNSは元の神経伝達物質予測と生数を保持します。現在の符号規約はACh+、GABA-、Glu-です。未解決/調節性のエッジは直接電流ゼロですが、ソース接触は保持されます。モーターチャネルは、完全な入力接触の一部のみを保持します。レポートは、脚とチャネルごとの正確なカバレッジを提供します。他の入力と、完全な神経系の大部分は省略されています。

接続性だけでは、交互の歩行、安定したバランス、または現実的な筋肉募集は確立されません。ネットワークは共収縮したり、緊張性駆動で安定したりする可能性があります。モーター評価には、起動後の持続的な歩行、物理的な後退、因果的な操舵、およびモーターサイレンシング後の推進力の喪失が必要です。完全なセンサー/ニューロン/ボディフィードバックループは、レンダリングリフレッシュとは独立して120 Hzで実行され、ニューロンは1 kHz、メカニカルサブステップは600 Hzです。筋力と弛緩パラメータは校正されたモデルの選択です。評価を参照してください(evaluation)。解剖学的経路チェックとソフトウェア行動テストは、測定されたフライの運動との一致を示していません。脳ウィンドウは、1,713個のシミュレートされたセルすべてを一緒に表示するのではなく、引き続きFlyWireの可視化を表示します。

License & citation

コードはMITライセンスです。元のFlyWire由来のbrain_points.jsonおよびcircuit.jsonはCC BY-NC 4.0です。MaleCNS由来のlocomotor_circuit.jsonおよびlocomotor_report.jsonはCC BY 4.0です — data/DATA_LICENSE.mdを参照してください。これを使用する場合、以下を引用してください。