Show HN: Autofit2 – 多言語テキスト分類のためのエンドツーエンドパイプライン

HNの皆さん、ステファンです。autofit2は、以前の会社で使用していたプロジェクトで、現在オープンソース化されています。これは自動テキストモデレーションで広く使用されてきましたが、あらゆるテキスト/ドキュメント分類タスクに適用できます。20以上の言語で攻撃的なテキストのモデリングに成功しました（すべてのデータセットについてはgithub.com/neospe/dataloadを参照）。 これは、前処理、トレーニング、評価をカバーする、軽量な多言語テキスト分類のための統合パイプラインです。SetFit、つまり少ないデータ（数十例まで）でうまく機能する数ショット学習技術を実装しており、Sentence Transformersに基づいているため、CPUで高いスループットを提供します。依存関係は最小限に抑えられていますが、もちろんPyTorch自体はそれほど小さくありません。 autofit2は、ベースモデルとJSON設定をインプットとして受け取り、TorchServeモデルアーカイブとモデルカードを出力します。モデルカードには、タスクのベンチマーク、自己整合性テスト、ファインチューニングによるCO2排出量の推定値、エントロピーベースのバイアス分析が含まれます。バイアス評価のために、50言語の小さなテストコーパスが同梱されています。私のEAR（エントロピーベースアテンション正則化）フォークのSentence Transformersと最もよく機能します。 フィードバックを歓迎します。