Launch HN: Axonnic (YC F26) – 指をトラッキングし力を推定するスリーブ
Launch HN: Axonnic (YC F26) – Sleeves that track fingers and estimate force (news.ycombinator.com)
要約
Axonnicは、前腕に装着するスリーブ型デバイスを開発しました。このデバイスは筋電位(EMG)を読み取ることで、手の動きをデコードし、指先の力を推定します。これにより、ロボットの訓練データ生成や熟練した手作業の記録が可能になります。
全文翻訳
HNの皆さん、こんにちは!Axonnic (https://axonnic.com) の創設者であるArshとMaxです。私たちは、手を自由に保ちながら、筋活動を読み取って指の動きをデコードし、指先の力を推定する前腕用スリーブを開発しました。これは人間の動きを記録し、器用なロボットのためのトレーニングデータを生成するために使用されます。
デモ動画はこちらです: https://youtube.com/shorts/xBrocTc9cfA
私たちは、筋電図(EMG)がビデオだけよりもロボットの訓練において格段に優れた方法であると考えています。なぜなら、ビデオは動きしか捉えられず、筋肉の活動や動きの背後にある努力までは捉えられないからです。手がほとんど動いていない場合でも、グリップを維持するだけで筋肉が活動しているため、有用な信号が存在します。ビデオではほとんど検出できない微妙な筋肉の動きは、縫製や精密組立などの作業において最も重要な詳細です。
このスリーブには64チャンネルの表面筋電図(EMG)が搭載されています。皮膚上の電極が前腕の筋肉からの電気活動を検出します。私たちは、特定の筋肉群に過度に適合しないように、センサーを前腕全体に分散させています。EMGとハンドトラッキングを同期させて、指関節角度を予測するモデルを訓練し、その後、力センサーでの指の圧力から校正された指先力の推定値を加えて、EMGのみでデコーダーを実行します。
ユーザーがスリーブを一度外して再度装着すると、電極の位置が変わるため、別々の装着でテストを実行します。あるケースでは、訓練から4日後に、再校正なしで215秒間の記録を実行し、その結果をApple Vision Proのハンドトラッキングと比較しました。結果は、20の関節角度全体でわずか6.9°のエラーでした。測定値と評価の詳細はこちらで公開しています: https://axonnic.com/benchmarks。
工場での記録作業では、無線干渉や信頼性の低い市販ハードウェアなど、多くの課題に直面しました。これにより、いくつかの記録が悪く、データ収集を繰り返す必要が生じました。そのため、干渉やタイミングの不整合を排除する有線PCB設計を使用した独自の電子機器を開発しています。
Axonnicは、オックスフォード大学でのMaxのEMG研究から生まれました。私たちは、この技術をコンピューター制御に使用することを検討しましたが、より有望なユースケースは、熟練した手作業の努力を捉えることだと考えました。この技術は、人間からコンピューターへのインターフェースと説明できます。コンピューターが人間のスキルから洞察を得て学習するのです。特に縫製は、素材が変形し、オペレーターがグリップと張力を常に調整するため、際立っていました。
Maximはオックスフォード大学でMBiolを取得し、高密度表面EMGに関する研究を行いました。以前はSkyscannerで内部ツールを構築し、VoxblockではPCB開発とサプライチェーンに携わっていました。Arshはオックスフォード大学で医学を学び、医療画像への機械学習の応用に関する研究経験に加え、ソフトウェアおよびロボット工学プロジェクトの経験があります。私たちは協力して、スリーブ、デコーディングソフトウェア、データ収集システムを構築し、産業現場でテストしました。
これまでのところ、この技術は欧州の製造業者で縫製やその他の手作業の記録に使用されており、ロボット実装のサポートに関するLOIに署名しました。また、電気技師、配管工、解体作業員が関わる建設現場のデモンストレーションも収集しました。これらはパイロットおよびデータ収集の例です。別途、公開デモでは、前腕EMGからProceptionロボットハンドを制御しています。
手作業のロボット訓練のために独自のトライアルを行った経験がある方は、どのようなタスクを訓練しようとしていたのか、そしてトライアルがどのように進んだのか、ぜひお聞かせください。ハードウェア、キャリブレーション、モデルについては、コメントで喜んでお話しします。ありがとうございます!