NüshuRescue: AIで絶滅危惧言語Nüshuを復興させる

NüshuRescue: AIで絶滅危惧言語Nüshuを復興させる Ivory Yang, Weicheng Ma, Soroush Vosoughi 言語の保存と復興は、文化遺産を保護し、言語学や人類学の分野を豊かにする意義深い取り組みです。しかし、これらの言語は通常リソースが乏しく、その再構築は労働集約的でコストがかかります。この課題は、中国の姚族の女性たちが家父長制社会の中で自己表現のために歴史的に使用してきた希少な文字であるNüshu（ヌシュウ）によって例証されます。この課題に対処するため、私たちは最小限のデータで絶滅危惧言語のLLM（大規模言語モデル）をトレーニングするために設計されたAI駆動型フレームワーク、NüshuRescueを導入します。NüshuRescueは、評価を自動化し、ターゲットコーパスを拡張することで、言語復興を加速します。基盤となるコンポーネントとして、私たちはNüshu語と中国語の500文からなる並列コーパスであるNCGoldを開発しました。これは、この種の最初の公開利用可能なデータセットです。GPT-4 Turboを活用し、Nüshu語に関する事前の知識やNCGoldからのわずか35の短い例のみで、NüshuRescueは保留された50文に対して48.69%の翻訳精度を達成し、様々な長さの新しい現代中国語訳98文からなるセットであるNCSilverを生成しました。さらに、Nüshu語の研究をさらに支援するために、FastTextベースおよびSeq2Seqモデルを開発しました。NüshuRescueは、広範な人間の入力を必要とせずに、絶滅危惧言語の復興のための汎用的でスケーラブルなツールを提供します。すべてのデータセットとコードは、https://github.com/ivoryayang/NushuRescue で公開されています。