SwiftUI と RealityKit の相互連携に関するアップデート。盛りだくさんすぎた。オブジェクト操作を細かくハンドリングできるのは良い。ポップオーバー表示など自前でやっていたことも実装が楽になりそう。update クロージャーについては、無限ループの危険性を含めてかなり尺を使って解説しており、使いこなすのは難しそう。
CESや「モデル」の意味違いなど、アップデート以外の基礎的なテーマも網羅していて、情報量の多さをフォローする優しさを感じた。
0:00 – Introduction
- SwiftUI と RealityKit の連携強化について紹介
- 3D モデルと UI を組み合わせた新しい体験を実現
1:24 – Model3D enhancements
- visionOS 26 で強化された二つの機能
Model3D にアニメーション再生
Model3D は SwiftUI ビューとして SwiftUIレイアウトシステムに従うModel3DAsset でアニメーションリソースを読み込み、AnimationPlaybackController で制御（再生・停止・シーク）が可能
AnimationPlaybackController が Observable に（例：time の変更監視）
ConfigurationCatalog からの読み込み
ConfigurationCatalog で Model3D を初期化し、複数の外観やボディタイプを切り替えられる（@State で参照）
6:13 – RealityView transition
ParticleEmitter などのコンポーネント追加には Model3D が対応していないので RealityView への切り替えが必要
Model3D が intrinsic size に基づいてレイアウトされるのに対し、SwiftUI の与えたられたスペースを RealityView がすべて占有し、レイアウト崩れが発生realityViewLayoutBehavior 修飾子：.fixedSize, .flexible, .centered で制御
make クロージャ実装後 1度だけ評価されるRealityView の原点を再配置するだけ
- RealityKit の Entity に直接アニメーションやエフェクトを追加可能
ParticleEmitter で作成したエフェクトをコンポーネントに適用可能- RealityKit がプリセット値を提供し、Reality Composer Pro で調整可能
- entity-component system
RealityView / Model3D の使い分け観点
11:52 – Object manipulation
- visionOS 26 で Object Manipulation API が追加され、SwiftUI, RealityKit 双方で 3D オブジェクトの移動 回転 拡大縮小が可能
- SwiftUI では manipulable モディファイア
orientation でサポートする操作intertia で慣性(重さ)設定
RealityView では ManipulationComponent
- メモ：
hoverEffect に .spotolight 指定
ManipurationEvents で ユーザー操作の開始終了、ハンドオフ（e.g. 右→左）などに応じた応答を実装可能（サウンド再生）- カスタムサウンド再生は、
manipulationComponent.audioConfiguration = .none で無効化し、イベントサブクライブ内部で自前実装
15:35 – SwiftUI components
- SwiftUI を RealityKit エンティティに統合するための３つのコンポーネント
ViewAttachmentComponent：SwiftUIビューをエンティティに直接追加GestureComponent：エンティティに通常の SwiftUI ジェスチャをアタッチ、ジェスチャー値はエンティティの座標空間で報告
- ジェスチャー対象のエンティティに、
InputTargetComponent, CollisionComponent 両方を追加
PresentationComponent：RealityKit シーン内から SwiftUI ビューを popover のように表示
19:08 – Information flow
- visionOS 26 で
Entity が Observable になり、SwiftUI との双方向データ連携が可能
Entity の位置、拡大縮小、回転など状態変化を SwiftUI View で監視し、UI に反映できる（withObservationTracking ブロック or SwiftUI 組み込みの監視）- SwiftUI と RealityKit の双方向連携
- 従来：SwiftUI →
update クロージャ → RealityKit
- 逆方向も可能：RealityKit →
Observable → SwiftUI
update クロージャの無限ループ回避策や、状態管理のベストプラクティス：
update クロージャで 監視対象のステートを更新しないこと- 更新する必要がある場合は、同値チェックを挟むこと
- システムの更新関数（SwiftUIビュー本体評価外）から更新すること：e.g.
gesture クロージャ
- などなど
- そもそも
update クロージャを使わなければ避けられる
24:56 – Unified coordinate conversion
- 新しい
CoordinateSpace3D プロトコルで SwiftUI, RealityKit 間の座標変換が容易に（抽象座標空間）
GeometryProxy3D, Entity, Scene などが CoordinateSpace3D に準拠し、異なる空間間での距離計算や位置変換が可能- これにより 3D UI と 3D オブジェクトの連携がより直感的に
27:01 – Animation
- SwiftUI のアニメーション API で RealityKit のコンポーネント（
Transform, Audio, Model, Light など）を暗黙的にアニメーション可能
realityViewContent.animate() や Entity.animate() で状態変化に応じたアニメーションを実装- Object Manipulation API と組み合わせてカスタムリリース挙動やバウンス効果も実現
- 例：
manipulation.releaseBehavior = .stay で無効化し、ManipulationEvents のイベント捕捉でアニメーションを自前実装
