HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

UIUC AIティーチングアシスタント

UIUC AI Teaching Assistant (github.com)

15 pointsby teleforce0 コメント

要約

UIUC(イリノイ大学アーバナ・シャンペーン校)の電気工学科向けに開発された、Googleよりも優れたマルチメディアQA&検索機能を持つAIティーチングアシスタント(TA)システムです。11のモデルを並列実行し、2秒の応答時間を実現しています。テキストや画像検索、生成、モデレーション、ランキングなどを行い、教科書、講義動画、学生フォーラムのデータを使用しています。RLHF(人間からのフィードバックによる強化学習)におけるセマンティック検索の新しいアプローチが特徴で、UIUCのECE 120コースの教材に特化しています。

全文翻訳

"Googleより優れている" UIUC電気工学科向けマルチメディアQA&検索

HuggingFaceで公開中です: 👉 https://huggingface.co/spaces/kastan/ai-teaching-assistant 👈

システム図

当社のシステムは、テキスト/画像検索、生成、モデレーション、ランキングのために11個の独立したモデルを並列実行しますが、それでも中央値2秒の応答時間を達成します。

[画像: NCSA AI Teaching Assistant -- 詳細図 (5)]

データ

教科書、講義ビデオ、学生QAフォーラム(重要度順)からのデータを使用しています。このプロジェクトは著者から公開の権利を得ていないため、これらのデータは現在公開されていません。

RLHF

私の最も気に入っている貢献は、RLHF中のセマンティック検索取得の新しいアプローチです。これは、5人の電気工学部の学生チームを雇って私が繰り返し作成したデータセットを使用しています。そのデータはHuggingfaceで自由に入手できます: https://huggingface.co/datasets/kastan/rlhf-qa-comparisons。特にUIUCのECE 120(電気工学入門)コースに必要な教材をカバーしています。

評価

多くのモデルがあります。どのモデルが役立ち、どのモデルが害になっているかを評価するために、新しい機能を追加するたびにこの評価を再実行しています。QAペアの評価データセットは社内で作成され、専門の電気工学者が記述しています。これらの質問を使用して、各モデルで回答を生成します。最後に、GPT-3に、生成された回答が人間が書いた正解よりも「優れている」か「劣っている」かを尋ねます。1つの制限は、GPT-3が自身を評価することです。GPT-3はほぼ常にGPT-3は素晴らしいと考えますが、それはおそらく真実ではなく、この評価方法の限界です。おそらく、比較のためにCohereのモデルで同じ評価を実行すべきでしょう。

それにもかかわらず、反復的な評価は、新しい機能がシステムを改善していることを確認するために不可欠でした。

完全な評価結果はこちらをご覧ください。評価コードはこちらをご覧ください。

[画像: GPT-3が最高で、ChatGPTが2位、OpenAssistantが3位であることを示す棒グラフ。]

使用方法

このプロジェクトは、商用教科書を除き、完全にオープンソースです。独自のドキュメントのPineconeデータベースを接続して、ご自身の作業に利用することを強くお勧めします!

🚀 インストール

  1. Python要件
# Python 3.8でテスト済み
pip install -r requirements.txt
  1. APIキー

run_ta_gradio.shに列挙されているAPIに依存しています。ご自身のものを追加してください 😄

  1. 検索拡張生成のためのドキュメントストア

独自のドキュメントのPineconeデータベースを構築するだけです。PDFまたはプレーンテキストのソース資料と、.pptxから秘密裏にエクスポートされた.jpg画像のスライドに使用するスクリプトをオープンソース化しています。

データクリーニングユーティリティ:

これで完了です!アプリを実行できます 🎉

# Webアプリを実行!
bash run_ta_gradio.sh

ファイル

  • main.py: 多数のLLM実装を集約するメインファイルです。
  • TA_gradio_ux.py: GradioのUXを定義し、main.pyで定義されたモデルを呼び出します。
  • prompting.py: プロンプトエンジニアリングの場所です。
  • evaluation.py: システムのGPT-3による評価を実行します。各追加機能が応答を「より良く」または「悪く」しているかを判断するために、定期的にこれを実行します。
  • feedback.json: Gradio Webアプリ経由で収集された実際のユーザーフィードバックです。
  • run_ta_gradio.sh: エントリポイント起動スクリプトです。