FUTO Swipe – 新しいスワイプ入力モデル
FUTO Swipe – A new swipe typing model (swipe.futo.tech)
要約
FUTOは、2025年3月に100万件以上のQWERTY英語スワイプデータセットをMITライセンスで公開し、これを用いて新しいスワイプ入力モデルを開発しました。このモデルは、汎用的なエンコーダー、単一言語に特化した小型のContextLM、言語・レイアウト固有のデコーダーの3つのモデルで構成され、低スペックデバイスでもミリ秒単位で動作する非常に小さなフットプリントが特徴です。テストセットではトップ4での失敗率が約4%と高い精度を達成し、C++製の推論ライブラリ「swipe-library」も提供しています。
全文翻訳
[画像] [画像]
[画像]
高速で正確なスワイプ入力システム。今日からFUTO Keyboard、当社の完全オフラインAndroidキーボードアプリで利用できます。または、モデルをダウンロードして構築することも可能です。
これは、このウェブページを小さく保つためのサーバーサイドデモです。本番環境では、はるかに低いレイテンシーでオンデバイスで実行されます。
長らく、優れたモバイルスワイプ入力は、プライバシーを侵害するキーボードアプリやライセンスのないプライベートライブラリの背後に隠されていました。
FUTO Swipeは、この問題の解決を目指すオープンモデルとアルゴリズムのファミリーです。主にFUTO Keyboardのために開発しましたが、より広範なコミュニティがFUTO Swipeモデルを利用することを歓迎します。モデルは、帰属表示付きの許容ライセンスでリリースされ、推論ライブラリはオープンソースです。
データセット
2024年8月、QWERTY英語スワイプを収集するために swipe.futo.org ドメインでデータセット収集作業を開始しました。ユーザーは携帯電話で自発的にウェブページにアクセスし、データセットに関する指示と情報を受け取ります。同意後、主にWikipediaからの文章を与えられ、単語ごとにスワイプするよう求められました。
最終的に、100万以上のスワイプが生成されました。品質の低いスワイプは少量ですが除外しました。2025年3月、MITライセンスの下で100万スワイプのデータセットをリリースし、HuggingFaceで入手可能です。
これらのデータは、モデルのトレーニングとさまざまなスワイプ入力システムの評価に大いに活用しました。
モデル
当社のアーキテクチャには3種類のモデルが含まれています。
Encoderモデルは、ユニバーサルなレイアウト非依存・言語非依存のモデルで、一般的なケースでのスワイプ入力予測に使用されます。ただし、最先端の精度は提供しません。
ContextLMモデルは、単一言語用にトレーニングされた非常に小さな言語モデルです。先行する単語を考慮して、文脈上ありえない単語を排除することで、予測の質を向上させるために使用されます。トレーニングにはテキストデータのみが必要です。
最後に、Decoderは言語固有・レイアウト固有のモデルで、レイアウトの特殊性を学習し、業界をリードする精度を達成します。特定のレイアウトと言語のスワイプ入力データでトレーニングする必要があるため、現時点ではQWERTY英語のDecoderのみがあります。
3つのモデルすべてとビーム幅300を使用すると、テストセットでのトップ4エラー率はわずか約4%です。語彙外のケースを無視すると、エラー率は1%未満です。
[画像]
注: これらの数値はベンチマークに大きく依存するため、実際の使用感は異なる場合がありますが、大手テック企業のキーボードに匹敵すると考えています。
フットプリント
Encoderモデルはわずか635,140パラメータ、Decoderはさらに304,155パラメータです。最も大きいのはContextLMで150万パラメータですが、そのうち110万は埋め込み(embeddings)のみです。これにより、アクティブパラメータは1,364,271、総パラメータは2,494,767となります。
これは、モデルのフットプリントが非常に小さく、モデルが低スペックデバイスでもミリ秒単位で実行できることを意味します。さらに、モデルのトレーニングにかかる環境コストも非常に低く、ワークステーションGPUを1台以上使用する必要はありませんでした!
C++ライブラリ
モデル自体は、スワイプから単語予測への変換における物語の半分にすぎません。モデルの予測だけではあまり有用ではなく、単語のセットをスコアリングして最も可能性の高い候補を見つけるために、辞書制約付きビームサーチを実行する必要があります。
このため、swipe-libraryをリリースします。これはC++で書かれたライブラリで、推論、デコーディング、ビームサーチ全体を処理するため、スワイプパスから単語予測までを簡単に変換できます。
クールなものを作ろう!
[動画]
...またはラップトップのトラックパッドで
FUTO Swipeで構築したいですか?
FUTO SwipeモデルはFUTO Model Licenseの下で利用可能であり、推論ライブラリはGPLの下で利用可能です。アーキテクチャと方法については、テクニカルレポートで詳しく読むことができます。