HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: スマートグラスによる手話翻訳

Show HN: Sign language translation with smart glasses (github.com)

9 pointsby aadisang4 コメント

要約

開発者は、AIの進歩にもかかわらず手話翻訳が軽視されていると感じ、スマートグラスと指文字翻訳ソフトウェアを統合したプロジェクトを立ち上げました。CNN+GRUアーキテクチャを用いたニューラルネットワークを訓練し、CTCビームサーチと言語モデルでデコードしています。このプロジェクトはクロスプラットフォーム(Web、iOS)で利用可能で、完全にFOSS(フリー・オープンソースソフトウェア)です。

全文翻訳

皆さん、こんにちは!

手話を話す親戚がおり、近年のAIの目覚ましい進歩にもかかわらず、この分野がやや手つかずのままであることに常々不思議に思っていました。

特にウェアラブル技術の登場により、私の知る限り、Metaのスマートグラスと指文字翻訳ソフトウェアを統合した最初のプロジェクトとなりました。

技術的な側面としては、GoogleのFSboardデータセットでニューラルネットワークをトレーニングし、CNN + GRUのテンポラルエンコーダーアーキテクチャ(CTCでトレーニング済み)をモデル化しました。その後、CTCビームサーチとKenLM言語モデルで出力をデコードし、モデルのいくつかの欠点を解消しました。

クロスプラットフォーム(Web + iOS、Web画面共有とスマートグラス以外のデバイス使用の両方に対応)も実現しました。このプロジェクトは完全にFOSS(フリー・オープンソースソフトウェア)です。

現在、オンデバイスモデルをクリーンに動作させることに取り組んでいますが、残念ながら低スペックデバイスではパフォーマンスが若干低下するため、今のところモデルはModalでホストしています。

改善の余地はたくさんありますが、この出発点には満足しています。皆さんの意見を聞かせてください。YouTubeのデモもぜひご覧ください!