分析的AIハンドブック

分析的AIハンドブック Markdownとしてページビューをコピー 完全なガイドを見る Markdown 分析的AIとは何か？ 2022年末、「ChatGPTモーメント」が起こりました。大衆は基盤モデルの一般的な力を理解し始め、開発者はすぐにそれらを多くの新製品に組み込み始めました。同時に、あまり議論されていない使用パターンも現れました。データ、リサーチ、オペレーション、プロダクトチームは、基盤モデルを使用して非構造化データを処理し、スケーリングされた運用上の決定を下し始めました。簡単に言えば、AIの仕事が何かを「作成する」のではなく「決定する」ことであれば、それは分析的AIです。 なぜ分析的AIが重要なのか？ この区別は微妙に見えるかもしれませんが、分析目的のベストプラクティスは、他の生成ユースケースとはしばしば異なります。これは主にいくつかの理由によるものです。 タスクは通常測定可能です。専門家の注釈を使用して、正しさに対して検証できる正解データセットを作成できます。他の生成AIの出力は直接測定できないため、それらを測定するための評価（分析的AIの特殊なケース）を構築する必要があります。 タスクは、一般的で創発的なものではなく、しばしば具体的で識別的なものです。LLMの自己回帰的推論と指示追従能力を使用して決定を下しますが、「創造性」を減らして一貫性を優先します。このため、タスクの精度が評価された最小限のモデルでタスクを実行できることが多く、最大で最も知的なモデルに手を伸ばす必要はありません。 分析的AIは通常、ユーザーとのトランザクションを伴わないため、より多くのレイテンシーが許容されます。そのため、バッチ処理やその他の柔軟なワークロード処理モデルが許容され、多くの場合、コストと全体的な処理時間を大幅に節約できます。これは、OLTP対OLAP/map-reduceスタイルのデータ処理に類似しています。 プロパティ 他のGenAI 分析的AI 例 テキスト/コードの作成、画像の生成/ビデオ、ユーザーとの会話 分類、抽出、判断、正規化、マッチング、スコアリング 運用パラダイム 多くの異なるユーザータスク 1つのタスク、何度も インタラクションパターン ユーザー中心、トランザクション型 通常、内部データ処理とワークフロー モデルのニーズ コスト制約の範囲内で最大の知性とサイズ 正確なタスク完了に必要な最小限の知性とサイズ サービングとレイテンシー 低レイテンシー、リアルタイム/オンライン 高スループット、バッチ/オフライン 決定論的期待 多様な応答、創発的な行動 一貫性、ほぼ決定論的な行動 ユーザーペルソナ 消費者、様々な専門家 データサイエンティスト/エンジニア、オペレーション、評価、プロダクトアナリティクス タスク監視 監視付き、インタラクティブ 教師なし アナログ OLTPデータベース、Webアプリケーション OLAPデータベース、データパイプライン このガイドは誰向けか？ 非構造化データセットを構造化データセットに変換するためにLLMを使用するデータ、ML、分析チーム。 AIエンジニアとプロダクトマネージャー（評価を構築し、AI製品の信頼性を向上させようとしている）。 オペレーションチーム（信頼性の高いAI意思決定モデルを通じて、ドメインエキスパートの専門知識をスケールアップしようとしている）。 リサーチチーム（ジャッジやその他の検証可能な報酬関数を構築している）。 また、私たち自身のためでもあります。データ、インフラ、開発者ツールに情熱を注ぎ、データで可能な範囲を広げ、開発者のレバレッジを高めることに情熱を注ぐオタクです。 なぜこのガイドを書いたのか？ Sutroは分析的AIをサポートする製品を構築しており、私たちはこれを初期段階ではあるが、新興分野と見なしています。多くのお客様はこれらのシステムの多くを構築し始めたばかりであり、特にAI製品がオンラインになり、分析処理を必要とする非構造化データを生成するにつれて、その傾向は強まっています。私たちは、お客様と協力してこれらのシステムを構築するためのアーキテクチャ設計、改善、および推論を行うことに多くの時間を費やしています。これは、お客様と共に学びながら進化するFAQと考えることができます。 このガイドの目的は、ツールの選択に関わらず（ただし、私たちに相談していただければ幸いです）、分析的AI製品を構築する開発者向けの生きた参考資料として役立つことです。 このハンドブックの使い方 プリミティブは、コアとなる分析的AIワークロードタイプをカバーしています。 パターンは、プリミティブの実装に関するベストプラクティスについて説明しています。 アーキテクチャは、エンドツーエンドシステムを構築するためのより高レベルなガイドです。 デプロイメントは、本番環境での使用に関する運用上の考慮事項をカバーしています。 各ページは単独で役立つはずであり、現在のニーズに最も関連性の高いページから始めることをお勧めします。単に好奇心から読んでいる場合は、プリミティブセクションから始めることをお勧めします。