タグ: visionOS

昨日感想を投稿した visionOS TC 2025 の、手元でガーっとメモしたものを備忘録がてら整理してみた。聴くのに集中してメモしていないものもあり。アーカイブ動画配信いただけるようなので楽しみ。

イベントページ：https://visionos-tc.com

Transform your iOS app into an Immersive Experience

Masakaz Ozaki さん

• iOSの既存アプリをどうイマーシブに落とし込んでいくか？
• visionOS 開発では既存コードベースをほぼそのまま利用できる、せっかくvisionOS に対応するならイマーシブな体験を追加しよう
• イマーシブとは？
  • Part of the content
  • Makes you want to reach out instinctively
  • Seamless transition
  • Experience that moves you
• 東京「舞浜」
  • 流動的な体験フロー：京王線のドアが開いて、アトラクションに向かうまでの体験
• どのように iOS アプリをいまー支部な体験に落とし込むか
  • iOSの複雑な画面遷移の構造を乗り越える：シーンの概念を使う
    • コアな機能だけを持って行って、そこから広げていくことも可能
  • Step 1：iPhoneのスクリーンを7台並べる（マルチウインドウ）
    • 横に並べるだけではなく、扇形に。眼精疲労を防止
  • Step 2：iPhone のかたちにとらわれないものを並べる（紙面をグリッド状に並べる）
    • iOS で使っている技術、SwiftUI の modifier だけで実現できる、RealityKit 使わなくて良い
  • Step 3：（震源地図）
  • Step 4：Metal を使ったビジュアライゼーション（衛星のリアルタイムレンダリング）
    • イマーシブっぽく見せる工夫、ウィンドウを斜めに表示する
• ウィンドウの工夫、手を上げて操作する（ゴリラ腕問題）を解消するために、自動スクロールさせる
• コンテンツの文字部分と大きな背景画像は分離、いっぱい動かすと画面酔いを引き起こすため

様々なジャンルの Apple Vision Pro 専用ゲームタイトル制作で直面した技術的課題と解決方法の紹介

Graffity株式会社 cova さん

国内初の visionOS テックカンファレンス、visionOS TC がこの土日で開催されたので参加した。過去にプロポーザル提出したと書いたが採択にはならず、純粋にオーディエンスとして二日間楽しんだ。

イベントページ：https://visionos-tc.com

会場はアベマタワー。個人的に昼開始というのがとてもありがたく、休日午前のルーチンを崩さず余裕を持って会場に向かうことができた。

ビル入り口や会場フロアに、visionOS TC のパネルが掲げられていてテンションが上がった。ノベルティに肩掛けポーチをいただき、Vision Pro のバッテリー入れ説が会場では囁かれていた。

セッションのトークテーマのラインナップが素晴らしく、Vision Pro 向けのプロダクト開発から得られた超実践的な知見から、空間ビデオ撮影の心動かされるエピソードまで幅広く、加えて海外のゲストスピーカーからは体験設計のノウハウ、空間体験制作のワークフローにAIをフル活用するナレッジがそれぞれ講演された。さらに8人による LT では、開発にとどまらなない変化球的側面からも visionOS が考察され、こう列挙するだけでも半日とは思えないほど、死角なしの充実さだった。

クロージングトークでは、主催服部さんから「Apple Vision Proに未来はあるのか？」というドキッとする投げかけがありながらも、こうしたきっかけを起点に、日本から空間コンピューティングの面白い事例が創出されているという未来を作りたいというカンファレンスに掛ける想いを語られ、強く感銘を受けた。そしてその未来に向けて、微力ながらも加勢したいと刺激を受けたのだった。

懇親会では豪華な食事も。visionOS アプリのデモを見せていただいたり、空間ビデオの活用方法から日常業務の悩みにいたるまで、たくさんのトピックで会話できた。

また Day 2 は Apple Japan での開催で、パネルトークとネットワーキングが中心。visionOS の2025年を総括したり、2026年の展望を語ったり、会場からのQ&A含めてさまざまな切り口から国内外屈指のトップクリエイターたちの声が聞けたのは非常に貴重だった。

ネットワーキングでは、昨日に続いて、空間ビデオの意義や現状の性能限界についてや、3Dプリンタを用いた Vision Pro アクセサリーの制作について実体験を聞いたりし、つい先日購入した3Dプリンタの活用を見出す良い機会となった。

実はこのカンファレンスでは visionOS アプリ開発のモチベーションを超えて、手元にある GoPro で撮りためた180°/360°動画をどう活用していくかであったり、3Dプリンタの活用や、そのためのモデリングをどう学んでいこうか、といった新たな興味関心を、他の参加者の方々と話す中で掘り起こされたのが面白かった。こうした、思ってもみなかった方向に発見があるのは、リアルな場こそのセレンディピティだと実感した。

またゲストスピーカーで来日されたTomさん、Oliverさんに話しかけるチャンスがあり、直接 Day 1 のセッションについて質問できたり、今自分がやっていることの展望をシェアすることができたのも嬉しいできごとだった。

この二日間で、たくさんの知見や発見、出会い、そして未来に向けた創造のモチベーションが得られたことはひとえに、素晴らしく設計運営された場があってのもの、、会場オペレーションは死角なしに素晴らしく、学びに交流にその時その時を楽しめた。主催の服部さんはじめ運営、スタッフ、サポーター、全ての関係者のみなさまに感謝！

来年開催を信じ、登壇か、サポーターか、あるいはスタッフか、どんな形であっても、国内 visionOS コミュニティを盛り上げる一助になりたいと、すでにワクワクが止まらない。

Vision Pro 装着時の頭部が、水平に対して何度上下に向いているか（仰／伏角、ピッチ）を知るには、頭部（カメラ）方向のベクトルについて、XZ平面に射影したベクトル長とY軸方向の成分とで atan を計算すれば、その角度（ラジアン）が求まる。

カメラ方向ベクトルの求め方は、SATOSHI さんのサンプルコードを参照。

let worldTracking = WorldTrackingProvider()

fun headPitchRadian() -> CGFloat {
    let matrix = worldTracking.deviceOriginFromAnchorTransform!
    // カメラ前方方向
    let cameraForward = simd_act(matrix.rotation, simd_float3(0, 0, -1))
    let front = SIMD3<Float>(x: cameraForward.x, y: cameraForward.y, z: cameraForward.z)
    // XZ平面に射影したベクトル長
    let horizontalLen = simd_length(SIMD2<Float>(front.x, front.z))
    return CGFloat(atan2(front.y, horizontalLen))
}

ここで、worldTracking.deviceOriginFromAnchorTransform に対して [0, 0, 1] によりZ軸方向に反転させているのは、もともとデバイス正面がZ軸の負方向を向いているため。

カメラ方向ベクトルの算出は以下でもOK。

// columns.2 がデバイスZ軸方向のワールド座標系におけるベクトル
let zAxis = SIMD3<Float>(
    matrix.columns.2.x,
    matrix.columns.2.y,
    matrix.columns.2.z
)
let cameraForward = simd_normalize(-zAxis) // 反転

以下実装のために、デバイス座標系における Entity の座標を求める必要があった。

trackingMode = .continuous とした AnchorEntity(.head) の座標系に変換すれば簡単にできるかと思ったが、デバイス位置にアンカーがうまく追従されず、原因は分からなかったが先に進めたかったので、座標変換して求めることにした。

デバイス→ワールド座標系の変換行列 の逆行列をとれば、ワールド→ワールド座標系の変換行列となり、ワールド座標系における任意の座標をデバイス座標系に変換することができる。

let worldTracking = WorldTrackingProvider()

func positionInDeviceSpace(of entity: Entity) -> SIMD3<Float> {
    guard let deviceAnchor = worldTracking.queryDeviceAnchor(atTimestamp: CACurrentMediaTime()) else { return .zero }
    let worldFromDevice = deviceAnchor.originFromAnchorTransform
    let deviceFromWorld = worldFromDevice.inverse
    let worldFromEntity = entity.transformMatrix(relativeTo: nil)
    let deviceFromEntity = deviceFromWorld * worldFromEntity
    return SIMD3<Float>(
        deviceFromEntity.columns.3.x,
        deviceFromEntity.columns.3.y,
        deviceFromEntity.columns.3.z
    )
}

HandTrackingProvider を用いたトラッキングで、どこまで広域に検出可能なのか実験してみた。

デバイスに対して水平(X軸)方向を0度とし、正面(Z軸)方向を90度とした時、試してみると-10度強くらいまでは継続的・安定的にトラッキングできた。デバイスに対してやや後ろまでの検出はあてにして良さそうだ。

数値上は-20度近くまで到達できたが、ここまでくるとトラッキングが一時的に失われることもあった。

検証環境：Vision Pro (2024) / visionOS 26.0.1