FUTO Swipe – 新しいスワイプ入力モデル

2024年8月、私たちはswipe.futo.orgドメインでQWERTY英語のスワイプを収集するためのデータセット収集活動を開始しました。ユーザーは任意でモバイルフォンからウェブページにアクセスし、データセットに関する指示と情報を受け取りました。同意後、主にWikipediaからの文章が与えられ、単語ごとにスワイプするよう求められました。その結果、100万件以上のスワイプが生成されました。私たちは少数の低品質なスワイプを除外しました。2025年3月、私たちは100万件のスワイプからなるデータセットをMITライセンスの下でリリースし、現在HuggingFaceで公開されています。私たちはこのデータをモデルのトレーニングと、異なるスワイプ入力システムの評価に大いに活用しました。 私たちのアーキテクチャは3つのモデルタイプを含みます。エンコーダーモデルは汎用的なレイアウト非依存および言語非依存であり、一般的なスワイプ入力予測に使用されます。ただし、最先端の精度は提供しません。ContextLMモデルは、単一言語用にトレーニングされた非常に小さな言語モデルです。これは、文中の先行する単語を考慮して無意味な単語を排除することで、予測の品質を向上させるために使用されます。トレーニングにはテキストデータのみが必要です。最後に、デコーダーは言語固有およびレイアウト固有のモデルであり、レイアウトの特殊性を学習し、最高の精度を達成します。特定のレイアウトと言語のスワイプ入力データがトレーニングに必要であるため、現在のところQWERTY英語デコーダーのみを用意しています。 これら3つのモデルすべてと、ビーム幅300で、テストセットにおけるトップ4の失敗率はわずか約4%です。語彙外のケースを無視すれば、エラー率は1%未満です。エンコーダーモデルはわずか635,140パラメータ、デコーダーは追加で304,155パラメータです。最大のものはContextLMで150万パラメータですが、そのうち110万は埋め込みに過ぎません。これにより、アクティブなパラメータは1,364,271、合計パラメータは2,494,767となります。これはモデルのフットプリントが非常に小さく、ローエンドデバイスでもミリ秒単位で実行できることを意味します。さらに、モデルのトレーニングにかかる環境コストも非常に低く、ワークステーションGPUを1台以上必要とすることはありませんでした！ モデル自体は、スワイプから単語予測を行うための物語の半分に過ぎません。モデルの予測はそれだけではあまり有用ではなく、単語のセットをスコア付けし、最も可能性の高い候補を見つけるために辞書制約付きビームサーチを実行する必要があります。このため、私たちはC++で書かれたライブラリ「swipe-library」をリリースしました。これは、推論、デコーディング、ビームサーチのすべてを処理するため、スワイプパスから単語予測に簡単に移行できます。