Show HN: Autofit2 – 多言語テキスト分類のためのエンドツーエンドパイプライン
Show HN: Autofit2 – End-to-end pipeline for multilingual text classification (github.com)
要約
autofit2は、テキストモデレーションやあらゆるテキスト分類タスクに利用できる、軽量な多言語テキスト分類のための統合パイプラインです。前処理からトレーニング、評価までをカバーし、少ないデータで高いパフォーマンスを発揮するSetFit技術を実装しています。生成されるモデルカードには、ベンチマーク、自己整合性テスト、CO2排出量、エントロピーベースのバイアス分析が含まれており、多言語での利用に適しています。
全文翻訳
皆さん、こんにちは、HNの皆さん。Stefanです。autofit2は、私が以前の会社で利用していたプロジェクトで、今回オープンソース化されました。自動テキストモデレーションに広く利用されてきましたが、あらゆるテキスト/ドキュメント分類タスクに応用可能です。20以上の言語での攻撃的なテキストのモデリングに成功しました(すべてのデータセットについては github.com/neospe/dataload を参照)。
これは、前処理、トレーニング、評価を網羅した、軽量な多言語テキスト分類のための統合パイプラインです。SetFitを実装しており、これは少量のデータ(数十例から)でもうまく機能する few-shot learning 技術です。また、Sentence Transformersをベースにしているため、CPUでの高スループットを提供します。依存関係は最小限に抑えられていますが、もちろんPyTorch自体はそれほど小さくはありません。
autofit2は、ベースモデルとJSON設定を入力として受け取り、TorchServeモデルアーカイブとモデルカードを出力します。モデルカードには、タスクに関するベンチマーク、自己整合性テスト、ファインチューニングのCO2排出量推定値、およびエントロピーに基づくバイアス分析が含まれます。バイアス評価のために、50言語の小規模なテストコーパスが含まれています。私のSentence TransformersのEAR(Entropy-based Attention Regularization)フォークと組み合わせて使用すると最も効果的です。
フィードバックをお待ちしています。