UIUC AIティーチングアシスタント

UIUC AIティーチングアシスタント UIUCの電気工学向けの「Googleより優れている」マルチメディアQA＆検索機能 HuggingFaceで公開中です: 👉 https://huggingface.co/spaces/kastan/ai-teaching-assistant 👈 システム図 当社のシステムは、テキスト/画像検索、生成、モデレーション、ランキングのために11個の別々のモデルを並列実行しますが、それでも中央値2秒の応答時間を達成します。 データ 教科書、講義動画、学生QAフォーラムのデータを使用しています（重要度順、主観的）。このプロジェクトは著作者からそれらの権利を付与されなかったため、現在これらのデータは公開されていません。 RLHF 私の最も気に入っている貢献は、RLHF中のセマンティック検索取得における新しいアプローチです。これは、5人の電気工学の学生チームを雇って私が繰り返し作成したデータセットを使用しています。そのデータはHuggingfaceで自由に利用できます: https://huggingface.co/datasets/kastan/rlhf-qa-comparisons。UIUCのECE 120、電気工学入門コースに必要な教材を特にカバーしています。 評価 多くのモデルがあります。どれが役立っていて、どれが害になっているかを評価するために、新しい機能を追加するたびにこの評価を再実行しています。QAペアの評価データセットは社内で作成され、専門の電気工学者が執筆しています。これらの質問を使用して、各モデルで回答を生成します。最後に、GPT-3に、生成された回答が人間が書いた正解の回答よりも「優れている」か「劣っている」かを尋ねます。1つの制限は、GPT-3が自身を評価することです。GPT-3はほとんどの場合、GPT-3は素晴らしいと思っていますが、それはおそらく真実ではなく、この評価方法の限界です。おそらく、比較のためにCohereのモデルで同じ評価を実行すべきです。それにもかかわらず、反復的な評価は、新しい機能がシステムを改善していることを確認するために不可欠でした。完全な評価結果はこちらをご覧ください。評価コードはこちらをご覧ください。 使用方法 このプロジェクトは、商用教科書を除いて完全にオープンソースです。ご自身のドキュメントのPineconeデータベースを接続して、ご自身の作業に使用することを強くお勧めします！ 🚀 Python要件のインストール # python 3.8でテスト済み pip install -r requirements.txt APIキー run_ta_gradio.shで列挙されているAPIに依存しています。ご自身のキーを追加してください 😄 検索拡張生成のためのドキュメントストア ご自身のドキュメントのPineconeデータベースを構築するだけです。PDFまたはプレーンテキストのソース素材と、講義スライド（.pptxからこっそりエクスポートされた.jpg画像）を使用するためのスクリプトをオープンソース化しています。 データクリーニングユーティリティ: 教科書のPDFからPineconeデータベースへ 動画トランスクリプト（Whisperから）をPineconeへ これで完了です！アプリを実行できます 🎉 # ウェブアプリを実行！ bash run_ta_gradio.sh ファイル main.py: 多数のLLM実装を集約するメインファイルです。 TA_gradio_ux.py: GradioのUXを定義し、main.pyで定義されたモデルを呼び出します。 prompting.py: プロンプトエンジニアリングの場です。 evaluation.py: GPT-3ベースのシステム評価を実行します。各追加機能が応答を「より良く」または「より悪く」しているかを判断するために、定期的にこれを実行します。 feedback.json: Gradioウェブアプリ経由で収集された実際のユーザーフィードバックのコレクションです。 run_ta_gradio.sh: エントリポイント起動スクリプトです。