ロボットは見たことのない言語で文字を書く (2019年)

この器用なロボットは、見たことのない言語で文章を書くことができます

人間が他の動物界に対して誇れる多くのことの一つに、私たちの複雑な言語があります。確かに、他の生き物も互いにコミュニケーションをとりますが、私たちは構文やdefenestrate（窓から放り出す）のような面白い単語を持つ、非常に複雑な書記言語を持っています。これもまた、感情を持たず、顔から転ばないこともできないロボットに対して誇れることです。彼らは小説を書くこともできません。

［画像: robot copying hello in other languages］

Atsunobu Kotani

少なくとも今のところは。ブラウン大学の研究者たちは、ロボットにある言語的にありそうもないほど美しく、そして驚くべきことをさせました。日本語の文字を手書きするように訓練された後、そのロボットは、これまで書いたことのないヒンディー語、ギリシャ語、英語など、他の多くの言語の手書き例を見ただけで、それらの単語を模倣し始めたのです。それだけでなく、英語の活字と筆記体の両方をこなすことができました。さらに、おまけとしてモナ・リザの絵も自分で模写しました（詳細はこちら）。

二本足で歩くことと同様に、手書きは、実際には非常に複雑な、一見単純な人間の魅力の一つです。単語を書くとき、どこにペンを置くか、どれくらいの長さでどの方向に線を引くか、そしてペンを離し、時には文字の途中で（大文字のAのように）再びどこに置くかを知る必要があります。

そのため、子供に字を書かせるには、見本を見せて自由に書かせるだけでは不十分です。各文字の形をどのように作るかについての指示を与える必要があります。「彼らは、文字を作るためにどのようなストロークをどのような順序で行うかについての、小さなアルゴリズムを私たちに与えます」と、ブラウン大学のロボット工学者のステファニー・テュレックス氏は述べています。彼女は、同じくブラウン大学の厚信・小谷氏と共にこのシステムを開発しました。「そして、私たちのアルゴリズムはそれを学習しているのです。」

彼らの学習システムは、2つの異なるモデルに分かれています。「ローカル」モデルは、ペンの現在のストロークで何が起こっているか（つまり、正しい方向に狙いを定め、ストロークをどのように終えるかを決定する）を担当します。そして、「グローバル」モデルは、ロボットの筆記具を文字の次のストロークに移動させることを担当します。

ロボットを訓練するために、研究者たちは日本語の文字のコーパス（集合）を与え、文字の構成ストロークがどのように機能すべきかについての情報を提供しました。「そこから、それは基本的に、画像のピクセルを見て、次のストロークを開始する必要がある場所を予測し、次にストロークを描きながら画像を再現するために移動する必要がある場所を予測するモデルを学習します」とテュレックス氏は言います。

次に、彼らはロボットを混乱させようと、ヒンディー語、タミル語、イディッシュ語で書かれたhelloをホワイトボードに書きました。これらはすべて独自のスクリプトを使用しています。驚くべきことに、ロボットは機械視覚でそれぞれを認識し、日本語でしか訓練されていなかったにもかかわらず、それらの単語のコピーを書くことができました。さらに、活字の英語に加えて筆記体の英語も見せましたが、どちらも問題なくこなしました。

その後、テュレックス氏の研究室に幼稚園児たちが訪れました。確かに、ロボットは彼らの…最適とは言えない筆記体を認識し、模倣することはできないだろうか？ はい、それは簡単に模倣しました。「6歳児たちのやや不安定な書き方を再現するのを見るのは、それまで見たこともなく、訓練も受けたこともないのに、信じられないほどでした」とテュレックス氏は言います。

［画像: robot drawing mona lisa］

Atsunobu Kotani

小谷氏がホワイトボードに描いたモナ・リザのラフスケッチを、ロボットはコピーできないのではないか？ まあ、このロボットはそれほど簡単に混乱しません。「それは8月のできごとでしたが、その絵は今でも私たちの研究室のホワイトボードにあります」とテュレックス氏は言います。

しかし、完璧ではありません。研究者たちはロボットを現代の日本語（左から右へ書かれる）で訓練したため、システムは同じ方向に書かれる英語にも一般化できました。しかし、右から左へ書かれる言語にはあまりうまく対応できませんでした。

それでも、多くの異なるスクリプトが、それにもかかわらず同じ人間の（そして今やロボットの）手から生まれている、言語の相互接続性の驚くべき実証です。そして、それは人間と機械の間の新しいコミュニケーションラインを開く一歩です。近い将来にはそれほどではないかもしれませんが、いつの日か、人間型のロボットが、体からプリントアウトを吐き出すのではなく、手書きのメモを残してくれるようになるかもしれません。できれば、窓から放り出す！窓から放り出す！窓から放り出す！のような不吉なものでなければ良いのですが。

---

WIREDのその他の素晴らしい記事

• 子供たちのハイブリッドなデジタルとアナログの生活の内部 （記事リンク）
• チェルノブイリの災害は、楽園を築いた可能性もある （記事リンク）
• 中国の巨大な監視オペレーションの内部 （記事リンク）
• Bluetoothの複雑さがセキュリティリスクになった （記事リンク）
• Squareの不正な自動メールに腹が立っている （記事リンク）
• 🏃🏽‍♀️ 健康になるための最高のツールが欲しいですか？私たちのギアチームが選んだ最高のフィットネストラッカー、ランニングギア（シューズとソックスを含む）、そして最高のヘッドフォンをご覧ください。
• 📩 週刊Backchannelニュースレターで、さらに多くのインサイダー情報を入手しましょう。