HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Foundation Models Framework (macOS)

Foundation Models Framework (macOS) (developer.apple.com)

250 pointsby kermatt34 コメント

要約

Appleは、macOS向けのFoundation Models Frameworkを発表しました。このフレームワークは、アプリに大規模言語モデルを統合するためのネイティブSwift APIを提供し、オンデバイスのApple Foundation Modelsや、Claude、Geminiなどのサーバーモデルにアクセスできます。画像理解、ツール呼び出し、Dynamic Profilesなどの機能も備え、開発者はプライベートなAI体験を構築できます。

全文翻訳

Foundation Models Framework (macOS)

Foundation Models framework の利用を開始する

Foundation Models framework は、アプリで大規模言語モデルを利用するための最良の方法です。簡単な要約の生成でも、動的なエージェントの作成でも、このフレームワークには必要なものがすべて揃っています。

概要

Foundation Models framework は、あらゆる大規模言語モデルをアプリに統合するためのネイティブSwift APIです。オンデバイスのApple Foundation ModelsやPrivate Cloud Computeへの直接アクセスも可能です。Guided generation、tool calling、image understanding、Dynamic Profilesといった強力な機能が組み込まれており、ユニークな体験を構築するために必要なものがすべて揃っています。

画像理解

マルチモーダルプロンプトにより、画像とテキストを一緒に渡すことができるため、アプリは視覚的なコンテンツについて推論できます。これは、画像理解で構築できる新しいカテゴリのエクスペリエンスを開きます。プロンプトに画像を添付するのと同じくらい簡単です。Vision frameworkも直接統合されており、モデルはOCRによる正確なテキスト抽出やバーコードリーダーによる高速なコードスキャンなど、目的に特化したツールをオンデバイスで利用できます。

モデルサポート

Foundation Models framework は、Apple Intelligenceの中核となるオンデバイスの基盤モデルへの直接アクセスを提供するため、スマートでプライベート、そしてインターネット接続なしで動作するエクスペリエンスを構築できます。

オンデバイスモデルは多くのタスクで非常に役立ちますが、より複雑なワークフローにはより大きなモデルが必要な場合もあります。Foundation Models framework は、Claude、Geminiなど、サーバーモデルにも拡張されました。これらはすべて同じSwift APIを通じて利用でき、tool callingやguided generationといった機能も完全にサポートされています。どのモデルプロバイダーでも、frameworkの基本的なコンポーネントであるLanguage Model protocolに準拠したSwiftパッケージを作成でき、アプリに最適な言語モデルを選択できます。

Private Cloud Compute

初めて利用する開発者で、App Store Small Business Programに登録しており、App Storeでの初回ダウンロード数が200万未満のデベロッパーは、Private Cloud Compute上で動作するApple Foundation Modelsを、クラウドAPI費用なしで利用できます。
これは、最先端のインテリジェンスを比類のないプライバシー保護で提供し、ユーザーのデータがAppleや他の誰にも保存されたりアクセスされたりしないことを保証します。
Private Cloud Computeの詳細はこちら

Dynamic Profiles

Dynamic Profilesは、セッションのモデル、ツール、指示をオンザフライで継続的に更新するための新しい宣言型APIです。固定構成でセッションを作成するのではなく、プロファイル(それぞれ独自のモデル、温度、推論レベル、ツールセットを持つ)を定義し、単一の連続セッション内でそれらを切り替えます。セッションのトランスクリプトは、すべてのプロファイル切り替えで共有されるため、アプリはより少ないプロンプトでより多くのコンテキストインテリジェンスを得ることができます。Dynamic Profilesは、適応可能なビルディングブロックとして設計されています。これらを使用して、AIエージェント、スキル、またはアプリが必要とするその他の高レベルの抽象化を構築できます。

Evaluations framework

Evaluations framework は、プロンプトをテストし、インテリジェンスを活用した機能が動的な条件下で正しく機能することを検証する機能を提供します。これは、単体テストだけでは捉えきれないものです。指示のイテレーション、モデルの切り替え、Dynamic Profileのチューニングのいずれを行う場合でも、Evaluationsは、アプリの動作が出荷前に堅牢であることを保証します。

CLI

macOS 27の新機能であるfmコマンドラインツールを使用すると、アプリコードを一行も書かずに、スクリプティングを合理化し、モデルワークフローを自動化し、開発を加速できます。迅速にプロトタイピングでき、アイデアから実装までの迅速なパスを提供します。

Open source

最新のAIパターンの採用を支援するために、Foundation Models framework utilitiesパッケージは、カスタムスキル、コンテキスト管理ヘルパー、ホストモデルに接続するChat Completionsクライアントなど、framework上に実験的な抽象化を追加します。

Python向けのFoundation Models SDKは、frameworkをPythonエコシステムに拡張し、Pythonの人気のツールや評価パッケージとの統合を可能にします。

要件

Foundation Models framework の利用規約には、Apple Foundation Modelsの禁止事項が概説されています。さらに、AI Actの第53条(1)(b)に基づき、AFM 3 CloudをAIシステムに統合することを意図しているAIシステムのプロバイダーに、情報とドキュメントを提供します。