今月何度目かわからなくなってきた、Apple Japan での Recap イベントに参加してきた。今回は、筆者も当日スタッフとして参加した try! Swift Tokyo 主催のもの。登壇は visionOS と Foundation Models のふたつとも筆者的関心の高いテーマでありがたかった。特に Foundation Models adapter training は未遂に終わっていたので、実際に触った所感を聞けたのが良かった。
タイムテーブルは筆者が確認していた限り直前まで公開されておらず、個人的に最もサプライズだったのは、 Swift Student Challenge に日本から入賞された学生さんがスピーカーとして登壇されたこと。Apple の Newsroom で取り上げられていたのを拝見していたので、すぐに分かった。入賞とひと言で言っても、世界 TOP50 に選出され WWDC に招待された上に、さらに11名だけが得られる Tim Cook へのピッチ機会も設けられた、とのこと。しかし彼のプレゼンを聞いていて、堂々とした語りと、なにより入賞した花札アプリのコンセプトが素晴らしく、これが世界レベルかと感動。ちなみに花札アプリは実際に触らせていただくこともできた。花札という古典ゲームにオリジナルの概念を盛り込んでいて、サウンドにも見た目にも細かな工夫が凝らしてあり、誰でも楽しみながら花札を覚えられるつくりとなっていた。
イベントページ:https://lu.ma/kd101ho8
visionOS 26 のアップデート内容と所感
satoshi さん
- What’s new
- Widget
- instancing: メモリ効率がかなり上がった
- 他セッション
- visionOS Apple Samples をもとに紹介
- 実機デモ
- Enterprise APIでの両眼映像の取得
- シェーダーを通したリアルタイム画像加工ができる(高速処理のためMetal使った)
- Enterprise APIでの両眼映像の取得
Unleashing Foundation Models
shu223 さん
- Tool calling
- 制約:modalilty – multi-modal ではない
- テキストのin/outのみ
- 音声や画像の入出力はない → tool calling でやった
- Tool calling の処理実装はなんでも実装可能
- Speech + Image Playground
- ツールとして渡しているだけなので、使わないという選択をモデルがすることもできる
- → 画像生成を依頼しなければ使われない
- 制約:modalilty – multi-modal ではない
- Custom adapters
- モバイルで動く小さめなモデル(Llama, Gemma の同程度のサイズのモデル)と比べてもやや劣る
- Custom adapter で大幅に性能が向上した:すべてのベンチマークで、はるかに大きなモデルよりも優れた性能を発揮
- GPT-4.1 や 4o を含む大規模モデルすらも超えるケースも
- アダプター
- 特定ケースにチューニングされた追加アダプター
- e.g. .contentTagging
- たくさんある?とおもっったら、general / contentTagging しかない
- ほとんどのユースケースが、general に内包されている
- tag, entity topic は tagging
- 特定ケースにチューニングされた追加アダプター
- 概要
- LoRAを使用
- ベースモデルの重みは固定し、アダプターの重みのみ更新
- 必要なデータ量の目安
- 単純タスク:100-1000 サンプル
- 複雑タスク:5000サンプル以上
- ツールキット
- 必要なサンプルデータやコードが揃っている
- .fmadapter ファイルがカスタムアダプターの実態
- Xcode でプレビュー可能
- Entitlement
- アダプターのデプロイは、サイズがでかいのでバンドルするのではない、background assets フレームワークを使う
- テストはアプリに組み込んでOK
- アダプターのデプロイは、サイズがでかいのでバンドルするのではない、background assets フレームワークを使う
- サンプル(演劇)を使った学習結果のデモ
- エポック(学習サイクル)を重ねるごとに、タグ構造を学習しフォーマットに沿った台本生成が可能になる(らしい)
- 学習時間はMBPで10分程度:OSバージョンアップごとの再学習も現実的かも
- Q&A
- 回答のばらつきは temperature で指定可能
- 基本メジャーバージョンごとにモデルが変わる sticky patch で上がることはない
- 追従できなくてもアダプター自体は通るが、精度が落ちる