日: 2025年12月9日

聴講メモ：LODGE XR “Tech” Talk #2 – visionOS

先日の visionOS TC でお話しくださった方がXで登壇を宣言されており、存在を知った本イベント。これは行かねばと突発的に参加してきた。初手からシホさんの「喋る胸像」プレゼンが面白すぎた。visionOS TC でも感じたことだが、映像系の発表が充実していたり、ハッカソン成果物の体験づくりや、作りかけの進捗報告もあり、幅があって楽しかった。

懇親会で、例の喋る胸像を実際に動かしているところを見させていただいたが、アイデアが個人的に刺さりまくった。物理オブジェクトのツインを作ってまるっきり重ねることで、現実と仮想を行き来しても、オブジェクトを起点に連続性が担保されたり、オブジェクトに魂が吹き込まれるような感覚があって、色々と考えさせらる作品だった。

LODGE XR でも特に Tech に焦点を当て、非定期に開催しているとのこと。比較的小規模で（visionOS TC 参加者に限らずXR界隈の常連が集っている感じ）和気藹々とし、次回は筆者も登壇してみたいと思った。

イベントページ：https://vrtokyo.connpass.com/event/376905/

喋る胸像体験「AlbusTalk」の作り方

@41h01 さん

  • アルバートくん
  • 現実の鏡像が動き出して会話を始めるMRタイプ
  • Unity 6.2 + Polyspatial
  • ObjectTrackingで3Dプリント胸像に3D鏡像モデルを被せる
    • 公開モデルをBlenderで編集
    • FlashPrint にデータ取り込み、プリント中に崩壊しないよう支柱を設定
    • Avatar maker Pro 利用してリップシンク対応モデル作成
      • BlendShape が自動で作られる
    • 瞳孔用テクスチャを当てて目を作成
      • BlendShape でランダムに瞬き
    • uLipSync + BlenderShape で口パク
  • トラッキング
    • KiriEngine で胸像3Dスキャン、Core ML で学習、Refarence Object Library に設定
    • ARTrackedObjectManager 経由で、認識タイミング、位置、角度が取得可能
      • 動きに対してはトラッキング遅延あり
  • OpenAI Realtime API (gpt-realtime)
    • 入力音声をbase64stringに変換、API連携
      • uLipSync 月の AudioSource に流して口パク
    • Instruction で人格定義
  • 体験の流れ
    • タイトルロゴ〜目覚め〜会話〜就寝〜エンドクレジット
    • しゃべりっぱなしでない
    • 胸像を触り目覚めをトリガー
      • 現実の鏡像位置に3Dモデルを配置しているので、コライダー設定して接触判定
    • ユーザー起因でないスクリプトは固定テクストプロンプトを OpenAI に流す
      • 流れを指定することで、そのままでなくとも守ったセリフを喋ってくれる

360°動画をVision Proで没入再生する新フォーマット実装 — Good Sleeperアプリの移行事例

@tochi_jp さん

“聴講メモ：LODGE XR “Tech” Talk #2 – visionOS” の続きを読む