聴講メモ：WWDC26 Recap – Japan-(region).swift

去年に引き続き、東京会場である Apple Japan にて参加してきた。

聴講メモ：WWDC25 Recap – Japan-(region).swift

今年もLTの内容盛りだくさんで、比較的 AI 周りのテーマが多かった。このテーマはキャッチアップしていたので良い復習や、もうすでに具体的に取り入れたケースを知れて良かったし、その他のテーマもまだ追いきれていないので有意義だった。

今年は、ネームカードとストラップがひとりずつ準備されていたり、各ご当地お菓子が用意されていたりと、至れり尽くせりだった。各会場を配信でつなぎあい、それぞれの空気感が伝わり一体感あったのもよかった。

イベントページ：WWDC26 Recap – Japan-(region).swift · Luma

以下手元のメモを、あまり直していないので備忘録程度に。途中メモしていないセッションもあったのでそこは省いている。登壇された方が公開しているプレゼン資料も貼らせていただいた。

---

Visual Intelligence を使ったアプリ内の類似データ検索

• Visual Intelligence とは：スクショ画像から特定アプリにクエリを投げる
• セッションのコードベースで説明
• スクショプレビューで Intelligence → アプリにクエリ投げる → 結果返る
• 類似画像検索
  • 選択画像を pixelBuffer に変換に、アプリ内データとパターンマッチング
  • FeaturePrintObservationで特徴量を見る

iPhoneで好きなモデルを動かせるー？

@riataso_kebin さん

• Aiをスマホに組み込む クラウド or オンデバイス
• 3つ目の選択肢：自分で選んだモデルを使う → Core AI
• Core AI：Apple Intelligence の推論エンジンを開発者に開放
  • 推論エンジン本体
  • coreai-models
  • Foundation Models 従来のAPIがそのまま使える
• Foundation Models or Core AI
  • Apple内蔵 / 持ち込み自由
  • 対応言語が限定的 / Qwenなら119言語
  • Apple Intelligence 対応機種のみ / Apple Silicon すべて
  • Apple が管理 / 自前で管理
• coreai-models で持ち込めるモデルがカタログ化されている
  • 画像生性、ビジョン、音声、テキストなど
• iPhone で動くものの要件
  • パラメタサイズや、@Gnerable が使えるかなどの観点
• 導入ステップ
  • エクスポート：.aimodelを生成
  • パッケージ：Swift Pakcage に apple/coreai-models を追加して、用途に合わせたライブラリを選択する
  • コーディング：LanguageModelSessin にモデルを指定（従来と同いiPad書き方）、sequential variant の指定が必要
  • 配布：モデルサイズ大なので Background Assets を使う、AOT コンパイルで初回起動時の特殊化を事前に済ませ、起動時間を短縮
• つまずき
  • .aimodel はフォルダ構造になっていて、本体とtokenizer/ が必要
  • Simulator 額尾、実ナイモン前提
  • ビルドSDKと実機OSとのズレでクラッシュ
• アシスタント用途では、0.6Bモデルは品質不足

Swiftly Measures the Distance

rinngo さん

• セッション「Bluetooth Channel Sounding によるアクセサリの発見」
• 従来の距離方向の測定方法 e,g, 探すアプリ
  • UWB技術、Bluetoothより精度高い
  • 距離測定、方向取得のために設計
  • 別チップ必要でコスト高、消費電力大
  • 採用デバイス少ない
• iOS 27 から扱えるようになった Channel Sounding 技術
  • Bluetooth 6.0 の機能
  • Bluetooth チップの意で可能、曲計測が正確
  • 距離しか測れない
• 方向の測定はARKitで移動軌跡を追跡、複数地点の距離計測値から推定
• デメリット
  • 少なくとも Bluetooth 6.3 以上が必要で、対応デバイスが少ない
  • 対応機種が新しい（iPhone 17以降）

the container ship “Apple Silicon”

@gangan_nikki さん

• コンテナ、Docker重たい → Apple Container に乗り換えましょう
• Apple Container のいいところ
  • OCI互換、Ddckerfile がそのまま利用可能
  • コンテナ単位でホスト名割り当てでき、ポート番号競合しない
    • Docuker は共有VMの中でこんてたを立ち上げる
    • コンテナ単位でVM建てる Apple Containerは、環境汚れにくいのでワークツリーベースの開発と相性良い
  • Swift 製なので Server-side Swift の可能性が広がる
• Docker to Apple container
• 面白い特徴
  • contianerのマウント思想：”edit on the mac, build inside” 修正(Mac)とビルド(Container0の席を分離している、ファイル単位のマウントではなくディレクトリ単位を推奨し、作業環境を分離することを推奨
  • miseでパッケージ管理が可能：多言語モノリポで開発と相性良し
  • 1コンテナ1VM：AIエージェント＋worktree開発と相性良し

Design Principles and Human Interface

@el_metal_ さん

• 2017年以来の復帰
  • Aesthetic Integrity …
• 新しい8つの原則からピックアップ、2017年版と比較

• Agency → Aesthetic Integrity, Direct Manipulation, Feedback, User Controlと関連ある
• Responsibilitiy → Aesthetic Integrity, User Controlと関連性
• Familiarity → Direct Manipulation, Feedback, Metaphors と関連
• 旧版と見比べると　誠実に作る／謙信／気を配る　への言及が一貫

Foundation Models の進化

@koher さん

• 去年からどう変わったか
• Google との提携（Geminiのラッパーではない）
  • Introducing Thrid Generation of Foundation Models framework
  • 人間判断で比較すると性能向上している
  • が、そもそも去年のモデル性能は心許なかった
• AFM 3 Core Advanced
  • パラメタ数が20B2まで拡大、ハイエンド端末のみ（従来のスマホで動くモデルは4B程度が限界）
  • 疎なアーキテクチャで、1リクエストで活性化するのは1-4Bパラメタ
  • オンデバイスモデルの領域ではAppleがトップランナーに？
  • オンデバイス＝無課金で使えるメリット
    • 性能の低さがカバーされた
    • OSに統合されているのでアプリサイズは増えない
• 画像入力ができるように（しかも使いたい放題）
• Private Cloud Compute
  • PrivateCloudComputeLanguageModel
  • リーズニングモデルなので推論レベルが指定可能
  • API課金なし（利用者の daily quota 内で使いたい放題）
  • APIキーの管理が不要
  • サーバーログ残らない
• 利用条件厳しい
• Xcode の MCPを有効化し Documentation Search を使えばアップルのドキュメントを自動で検索してくれる

Foundation Models framework で画像分析

リョウ さん

• Foundation Models framework
• WWDC26でのアップデート
  • 画像入力
  • Evaluations framework
• シェアリングサービスへの応用
  • 返却時の忘れもの検出
  • プロンプトで “忘れ物がないか教えて” + 写真を渡す
    • → 「前かごに黒いリュックが入っています」
  • Guided Generation @Generable で構造化
    • hasForgottenItem: Bool → true
• Evaluations farmework
  • Swift Testing と統合、プロンプト調整しながら精度検証
  • 忘れ物の有無、画像の角度や撮影時の明るさでさまざまなバリエーションを持たせたデータセットを作成 → ModelSample 化
• 注意点
  • デバイス地域によって使えない場合がある
  • 誤りがある場合がある
  • 使えない／誤りに左右されない体験設計が必要

アクセシビリティ関連セッションのざっとしたまとめ

@ooba さん

• カスタムコントロールのアクセシビリティ対応
  • ジェスチャー操作で扱うUIは「覚悟」が必要
  • カスタムコントロールはそもそもVoice Overで読み上げられない→ accessiblityLabel/Value
  • accessibilityAdjustableAction で 、ドラッグやフリック操作による値の変更対応
  • accessiblityActions
  • accessibilityDirectTouch
• 情報の塊は accessibilityElement(children: .combine) でグルーピング
• さらに大きな文字（>200%）への対応：画面設計段階から考えるべき
• 情報の差別化を色だけに頼らない

Q&A

• Visual Intelligence 組込み、タグ付けなど検索しやすくする工夫は？
  • OSが処理するのでアプリで実装する必要はない
• Foundation Models のオープンソース目処
  • utilitiesは進んでいるが、FM は不明
• FM は汎用的、FM 使ってみてユースケースに特化したい場合はCore AIでモデル探してみる
• PdM説得する場面で、デザイン原則使うと良さそう
• Core AI：RAG的なユースケース
  • FM + SpotlightSearchTool 使うと、Core Spolight のセマンティックサーチが使える
• 高さや幅が可変になるiPhone向けアプリでデザインする際に押さえるべきポイント
  • 過去のiPadに関するセッションが参考になる
  • SwiftUI expert がアダプティブなレイアウトに対するベスプラを持っていて的確な実装をしてくれる
    • 実装したい画面のスクショ与えて、サンプル実装させる　はかなり上手く動いた