Foundation Models について、セッションメモや実践についていくつかまとめてきた。
- WWDC25：Meet the Foundation Models framework
- WWDC25：Deep dive into the Foundation Models framework
- WWDC25：Code-along: Bring on-device AI to your app using the Foundation Models framework
- WWDC25：Explore prompt design & safety for on-device foundation models
- WWDC25：Explore large language models on Apple Silicon with MLX
これらを通して筆者は、Foundation Models のコンセプトは Apple の用意したモデルを受動的に使うもので、追加学習する方法は提供されていないものだと理解していた。実際、Foundation Models の API には、外部情報と連携する tool calling の仕組みはあっても、モデルをファインチューニングする手段は提供されていない。
それが、先日参加した WWDC25 Recap イベントにて、近くの方から「できる」という情報をいただいて驚いた。その後、Apple の Technology Evangelist の方にも確認したところ、やはりできるとのこと。以下のページにその手順がまとまっていると教えてくださった。
Foundation Models adapter training – Apple Intelligence – Apple Developer
Adapters are an advanced technique that *adapt* a large language model (LLM) with new skills or domains. With the adapter training toolkit, you can train adapters to specialize the on-device system LLM’s abilities, and then use your adapter with the Foundation Models framework.
トレーニングには Adapter training toolkit なるものを用いるらしい。ローカルマシンと Python コードでトレーニングし、別途 Entitlement をリクエストする必要がある。また、マシンスペックもメモリ32GB以上とそれなり。事前学習させたモデルをアプリに組み込むので、例えばユーザー生成コンテンツをもとに Foundation Models のレスポンスを生成することはできないだろう。
Foundation Models は OS と共にバージョンアップされ続けるが、聞いた話ではその都度学習がリセットされ、その度に再学習させ直す必要があるとのこと。
ちなみに、このアダプターについてはセッション内に言及あったようで、それをいちからビデオを見直して探すのは大変なので、これまで見たセッションの transcript を溜めていたフォルダから Cursor に探させた。その答えが以下。
「Meet the Foundation Models framework」セッション
- 該当箇所: 3:47〜3:57付近
- 内容要約:
- 「特定のユースケース（例：コンテンツタグ付け）向けに、モデルの能力を最大化するためのspecialized adapters（専用アダプター）を提供している」と明記。
- さらに「今後もモデルを継続的に改善していく」と述べており、アダプターを使った拡張性やカスタマイズ性に触れています。
- 原文抜粋:
> For certain common use cases, such as content tagging, we also provide specialized adapters that maximize the model’s capability in specific domains.
ついでに ChatGPT o3 に解説させた。
https://chatgpt.com/share/686d278b-cf78-8005-a273-061117f3d216
「Foundation Models は追加学習できるらしい」への2件のフィードバック