HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: Autofit2 – 多言語テキスト分類のためのエンドツーエンドパイプライン

Show HN: Autofit2 – End-to-end pipeline for multilingual text classification (github.com)

20 pointsby leschak1 コメント

要約

autofit2は、テキストモデレーションやあらゆるテキスト分類タスクに利用できる、軽量な多言語テキスト分類のための統合パイプラインです。前処理からトレーニング、評価までをカバーし、少ないデータで高いパフォーマンスを発揮するSetFit技術を実装しています。生成されるモデルカードには、ベンチマーク、自己整合性テスト、CO2排出量、エントロピーベースのバイアス分析が含まれており、多言語での利用に適しています。

全文翻訳

皆さん、こんにちは、HNの皆さん。Stefanです。autofit2は、私が以前の会社で利用していたプロジェクトで、今回オープンソース化されました。自動テキストモデレーションに広く利用されてきましたが、あらゆるテキスト/ドキュメント分類タスクに応用可能です。20以上の言語での攻撃的なテキストのモデリングに成功しました(すべてのデータセットについては github.com/neospe/dataload を参照)。

これは、前処理、トレーニング、評価を網羅した、軽量な多言語テキスト分類のための統合パイプラインです。SetFitを実装しており、これは少量のデータ(数十例から)でもうまく機能する few-shot learning 技術です。また、Sentence Transformersをベースにしているため、CPUでの高スループットを提供します。依存関係は最小限に抑えられていますが、もちろんPyTorch自体はそれほど小さくはありません。

autofit2は、ベースモデルとJSON設定を入力として受け取り、TorchServeモデルアーカイブとモデルカードを出力します。モデルカードには、タスクに関するベンチマーク、自己整合性テスト、ファインチューニングのCO2排出量推定値、およびエントロピーに基づくバイアス分析が含まれます。バイアス評価のために、50言語の小規模なテストコーパスが含まれています。私のSentence TransformersのEAR(Entropy-based Attention Regularization)フォークと組み合わせて使用すると最も効果的です。

フィードバックをお待ちしています。