今月何度目かわからなくなってきた、Apple Japan での Recap イベントに参加してきた。今回は、筆者も当日スタッフとして参加した try! Swift Tokyo 主催のもの。登壇は visionOS と Foundation Models のふたつとも筆者的関心の高いテーマでありがたかった。特に Foundation Models adapter training は未遂に終わっていたので、実際に触った所感を聞けたのが良かった。
タイムテーブルは筆者が確認していた限り直前まで公開されておらず、個人的に最もサプライズだったのは、 Swift Student Challenge に日本から入賞された学生さんがスピーカーとして登壇されたこと。Apple の Newsroom で取り上げられていたのを拝見していたので、すぐに分かった。入賞とひと言で言っても、世界 TOP50 に選出され WWDC に招待された上に、さらに11名だけが得られる Tim Cook へのピッチ機会も設けられた、とのこと。しかし彼のプレゼンを聞いていて、堂々とした語りと、なにより入賞した花札アプリのコンセプトが素晴らしく、これが世界レベルかと感動。ちなみに花札アプリは実際に触らせていただくこともできた。花札という古典ゲームにオリジナルの概念を盛り込んでいて、サウンドにも見た目にも細かな工夫が凝らしてあり、誰でも楽しみながら花札を覚えられるつくりとなっていた。
adapter_training_toolkit % python -m examples.generate --prompt "Prompt here"
Traceback (most recent call last):
(省略)
RuntimeError: MPS backend out of memory (MPS allocated: 18.13 GB, other allocations: 384.00 KB, max allowed: 18.13 GB). Tried to allocate 16.00 MB on private pool. Use PYTORCH_MPS_HIGH_WATERMARK_RATIO=0.0 to disable upper limit for memory allocations (may cause system failure).
Adapters are an advanced technique that *adapt* a large language model (LLM) with new skills or domains. With the adapter training toolkit, you can train adapters to specialize the on-device system LLM’s abilities, and then use your adapter with the Foundation Models framework.
トレーニングには Adapter training toolkit なるものを用いるらしい。ローカルマシンと Python コードでトレーニングしたり、別途 Entitlement をリクエストする必要があったり。マシンスペックもメモリ32GB以上とそれなり。事前学習させたモデルをアプリに組み込むので、例えばユーザー生成コンテンツをもとに Foundation Models のレスポンスを生成することはできないだろう。
Foundation Models は OS と共にバージョンアップされ続けるが、聞いた話ではその都度学習がリセットされ、その度に再学習させ直す必要があるとのこと。
> For certain common use cases, such as content tagging, we also provide specialized adapters that maximize the model’s capability in specific domains.
