HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

邪魔にならないように:私のロボティクス入門コース

Getting out of the way: my robotics crash course (thisismypersonalblog.com)

82 pointsby systemerror23 コメント

要約

著者は、LLM(大規模言語モデル)を活用したソフトウェア開発の経験を活かし、子供たちに触れて感じられるものを提供するためにロボットアームのプロジェクトを開始しました。初期の試みでは、ハードウェアの制約やLLMのキャリブレーション、空間マッピングの難しさに直面しましたが、LLMに介入を減らし、カメラフィードバックと抵抗フィードバックに頼るように指示した結果、ロボットアームは自律的にブロックを掴んで指定された場所に配置できるようになりました。

全文翻訳

ロボット工学の入門コース:私が脇役に徹するまで

ブログ私について

Robotarm · SO-101 · 2026年9月

[画像: figure 1: 私の非常に原始的なワークスペースとロボット、フレーム上部に下向きに設置されたウェブカメラ。]

figure 1: 私の非常に原始的なワークスペースとロボット、フレーム上部に下向きに設置されたウェブカメラ。

私はロボットもブログもやらない。でも今、私は自分のブログでロボット工学についてブログを書いている。

私はソフトウェア屋だ。25年間ソフトウェアを書いてきて、過去9ヶ月以上はLLM駆動のソフトウェア開発に深く没頭してきた。そしてこの過去9ヶ月で、私は過去25年間を合わせたよりも多くのソフトウェアを構築した。私の個人的なGitLabには現在41のプロジェクトがホストされており、そのほとんどは私が定期的に使用している、あるいは友人や家族のために構築した実際の製品だ。LLMに導かれた私のソフトウェアの旅は驚くべきものだったが、特に技術者でない人と話すとき、すべてが少し非実体的に感じられるようになった。1年前とは違う世界に生きているという考えは、私が話すほとんどの非技術者には伝わっていないようだ。

この変化を最も信じさせたい相手は、私の子供たちだった。私たちはいくつかのビデオゲームプロジェクトを試みたが、彼らは明らかにゲームを作るよりもプレイしたいので、結果はまちまちだった。私は彼らが見て、触って、感じることができる何かを見つけたいと思ったので、ロボットアームを購入し、最善を願った。

アーム

私は趣味に費やせる時間が限られているので、思い切って、組み立て済みの3Dプリント製LeRobot SO-101キットを購入した。バッテリー付属(送料込み415ドル)。キットに付属していたリストマウントカメラに加えて、LLMに別の参照点を与えるために50ドルのウェブカメラを追加した。もしあなた自身が時間と忍耐力を持っているなら、もっと安くこのセットアップを構築できるだろう。特に自分で3Dパーツをプリントするならなおさらだ。しかし、私はロボットを自分で組み立てる気にはなれなかった。少なくとも、何か役に立つことができるとわかるまでは...

引き出しを漁ることから始める

私は8年前のRaspberry Pi 3を見つけ出した。それは少なくとも5年間引き出しに眠っていたものだ。マイクロUSBケーブルを見つけ、電源は問題なく入ったが、SDカードに最新のRaspberry Pi OSをフラッシュする必要があった。私は5つのメジャーバージョンも古かったのだ。最初の数時間、私はCodexを使ってPiをプロビジョニングし、ロボットコントローラー兼ウェブカメラインターフェースに変えた。LeRobotプロジェクトから必要な制御ソフトウェアと、Pythonなどの基本的な開発ツールをダウンロードしてインストールした。また、カメラビューを監視し、最終的にはロボットアームへの制御メカニズムを提供する簡単なウェブダッシュボードも構築した。

[画像: figure 2: 私の仮想リーダーダッシュボード]

figure 2: 私の仮想リーダーダッシュボード

Codex(Astra)をハンドルに、ほとんどの基盤は小さく始めて慎重に進むことを中心に構築された。サーボを保護し、検出された過負荷がいかなる場合でもトルクと電力をカットしてロボットやその他のものを損傷しないようにするソフトウェアを書くのにかなりの時間が費やされた。私たちは本当に小さな動きと、プリントされたAprilTag(QRコードのようなもの)を使ったキャリブレーションから始めた。また、カメラがそれらを容易に識別できるように、ロボットのサーボジョイントにも「AprilTag」を付けた。

[画像: figure 3: 楽観的な段階での計画。すべてのリンクにAprilTag、テーブル上にタグシート、ジオメトリの適合、グリッピングの計画。]

figure 3: 楽観的な段階での計画。すべてのリンクにAprilTag、テーブル上にタグシート、ジオメトリの適合、グリッピングの計画。

最初の本当の問題は、シリアルリンクがドロップすることだった。しかし、モーターが動いているときだけだ。コードにいくつかのバグを見つけたが、電力の問題の可能性も特定した。私たちの電源は、一度に1つのサーボに電力を供給するには十分だったが、一度にすべてのサーボに電力を供給するには不十分だった。新しい電源を購入したが、それが届くまで、アームを動かす間は一度に1つのサーボにしか電力を供給できなかった。

この時点で、私は多くの時間(とトークン)をキャリブレーションと残りの実験を実行するためのソフトウェア構築に費やしました。最終的にCodexの週ごとのクレジットをすべて使い切り、APIレートでトークンを燃焼させないように作業を継続するためにFable 5.1に切り替えることにしました。CodexからClaudeへのこの引き継ぎで本当に気に入ったことの1つは、ChatGPTのチャット全体を他の人やLLMと共有できることです。これにより、彼らは要約ではなく、完全なチャットログから独自のコンテキストを構築できます。

キャリブレーションと空間マッピング:理論上は素晴らしいアイデアだが、実際はそうでもない

今度はFableを使い、基本的な動作と空間認識の基盤が整ったので、計画に戻った。LLMにキャリブレーション済みの実行で空間をマッピングさせ、逆運動学を使ってアクションを計算し、計画を実行させるのだ。当初、私はロボットを特定のポーズにし、グリッパーの高さとベースからの距離を測定するように求められた。これはキャリブレーションに向けた進歩のように見えたが、実際に動きを実行しようとすると、それらは大きくずれており、計算された位置から観測された位置にロボットを調整するためにカメラからのフィードバックが全く使用されていないことは明らかだった。

[画像: figure 4: これは最初のフェーズ中に実行された初期の計算で、実際に計画を実行するまで、プロジェクトの成功に向けて順調に進んでいると信じさせてくれた。]

figure 4: これは最初のフェーズ中に実行された初期の計算で、実際に計画を実行するまで、プロジェクトの成功に向けて順調に進んでいると信じさせてくれた。

それでも私はこのアプローチを諦める準備ができていなかったので、さらに数回試行させた。同様の結果が発生し、私はこの努力からどのように自分自身を取り除き、LLMにもっと多くの作業を任せることができるか自問し始めた。私は方程式から自分自身を取り除く時が来たと判断した...

ミートプロキシ(人間による介入)の排除

娘のバレーボールの練習をコーチするために数時間離れる必要があったので、私が主な障害物を取り除くのに最適なタイミングだった。練習に向かう途中、私は/remote-controlを使ってClaudeに別の方法を試すように頼んだ。Claudeに次のようなプロンプトを残した。

グリッパーをテーブル上でゼロ点設定し、抵抗に遭遇したらサーボを停止させることは可能ですか?それをゼロ点として使用できます。ブロックの位置を推測して確認するためにも同様のアプローチが使用できるはずです。また、常に停止して測定するのではなく、正しい位置を判断するためにカメラを使用し、抵抗フィードバックを追加すべきです。目標はブロックを掴んで指定された場所に置くことです。キャリブレーションと空間マッピングではなく、それに焦点を当てましょう。

私が練習に行っている間、Claudeは抵抗と停止メカニズムをテストしてゼロレベルを計算し続けた。抵抗測定値と、ピッキング&プレイス操作中のフィードバックを提供するために、オーバーヘッドカメラとリストカメラの両方を使用するカメラとロボットアーム間のフィードバックループを構築した。デスクに戻ったとき、Claudeにロボットアームを使ってブロックを見つけ、掴むことを試すように頼んだ。それはグリッパーをテーブルにあまりにも攻撃的に押し付けることから始まった。それはロボットをテーブルに固定しているクランプから外れるほど強力だった。幸いなことに、ロボットやテーブルに損傷を与える前に停止した。LLMはすぐに誤計算を特定し、それが再び起こらないようにソフトウェアを調整した。私の入力なしで...

青、赤、紫のピル

[画像: Figure 5: 夜のために片付ける前に、ピックエリアにあった3つのブロック。]

Figure 5: 夜のために片付ける前に、ピックエリアにあった3つのブロック。

プロセスの初期段階で、テーブルに対するコントラストを高めるためにテストブロックに白いテープを貼っていた。テープは少し剥がれており、ブロックの端で綺麗に終わっていなかった(図3参照)。この問題により、LLMはブロックのエッジを特定するのが困難になり、グリッパーの幅を決定できなかったため、グリッピングに失敗していた。剥がれた白いテープを取り除き、テーブルやアームから目立つようにするために赤いマスキングテープに交換した。寝る準備ができた頃には、グリッピングが成功しそうになっていたが、ぎこちなく、一貫して機能していなかった。私は寝ることにし、LLMに本当の挑戦を残すことにした。追加のブロックを2つ(青と紫のテープが付いたもの)追加し、それらを赤いブロックの隣の「ピック」エリアに置いた。寝る前にClaudeに残した最後のプロンプトは以下の通りだ。

紫と青のブロックを追加しました。あなたの新しい目標は、紫、赤、青のブロックを指定された青いテープでマークされたドロップエリア内に配置することです。ワークスペースはクリアな状態を保ち、続行する前にクリアかどうか私に尋ねる必要はありません。目標が完了するまで作業を続けてください。

目覚めて嬉しいサプライズ

目を覚ますと、すべてのブロックがテープで区切られた配置エリアに置かれていた。完璧に配置されていたわけでも、きれいに置かれていたわけでもないが、すべてそこにあった!私は嬉しかったが、プロセスをレビューしてどのように展開したかを確認する方法を設けていなかったことを、自分自身に深く失望した。チャットログとメモを読み返していると、Claudeがセッション中に定期的にスクリーンショットを投稿していたことに気づいた。それらがまだワークスペースのどこかに残っているのだろうかと思った...私のCodexの使用クレジットが回復したので、Fableのトレーニングコンテキストを汚さないように、そちらに戻ることにした。そしてCodexに、ワークスペースで利用可能なすべてのスクリーンショットを見つけさせた。その数を見たとき、それらを使ってタイムラプスビデオを作成するように依頼し、結果は想像以上に良かった。

以前書いたソフトウェアの一部を使用して、Codexにビデオを私のYouTubeチャンネルにアップロードさせ、その結果がこれだ。

次は何 - VLAとジェンガタワー

子供たちにロボットについてのYouTube動画を見せると言ったら、彼らはとても興奮した。これは強い証拠ではない。なぜなら彼らはYouTubeで何かを見られることに興奮するからだ。末娘は「すごく良くなってる!」とコメントしたので、今のところ私はこれを勝利と呼ぶことにする。

これまでのところ、LLMで非常に印象的な結果が得られており、予想よりもずっと良い(彼らはこの分野で得意なはずではない)。しかし、ここで正しいツールはVLAを使用することだ。そのため、このLLMトレーニングをVLAトレーニングデータに変換し、どのような速度とコストの改善を達成できるかを確認する予定だ。そのラウンドトリップが機能したら、次の目標はジェンガタワーを構築することだ(少なくとも6段程度を目指す)。この旅の続きに興味があるなら、私のブログやMediumで最新情報をチェックしてください。

新しい投稿をメールで受け取る

新しい投稿があったときに1通のメール。それ以外は何もない。