Vision Pro 用にオーディオを扱うアプリを開発しているのでチェック。実はオーディオ周りはほぼ体系的な理解なしに、つぎはぎで作ってきた経緯あり、ちゃんと勉強しようと思っている。
オーディオの記録とその編集や視覚化を同時に行えるのは魅力的。これまでオーディオファイルをローカルに保存し、その後ファイルを読み込んで波形表示するよう実装していた。このため、録音→UI反映に時間差が発生してしまっていた。ここで紹介されたアップデートで解決できるのかも。
0:00 – Introduction
- iOS 26 で追加された音声録音機能の強化について紹介
- 入力デバイス選択、音声キャプチャ、再生の API 更新を説明
1:02 – Input route selection
- iOS 26 で
AVInputPickerInteractionが追加され、アプリ内から音声入力デバイスを選択可能に - システム設定を開かずに、アプリ内で直接デバイス切り替えができる
3:06 – Recording with AirPods
- iOS 26 で AirPods の高品質録音モード（
bluetoothHighQualityRecording）が追加 - コンテンツクリエイター向けのメディアチューニングで、音声と背景音のバランスを最適化
AVAudioSessionとAVCaptureSessionの両方でサポート- AirPods のステムボタンで録音開始・停止も可能
5:11 – Spatial Audio capturing
- Spatial Audio の仕組み
- マイク配列から3Dシーンを録音
- ambisonics と呼ぶ形式に変換
- 1次 ambisonics（FOB: First Order Ambisonics）として保存
- 4つの9面調和関数コンポーネント（omni-component, x/y/z方向の垂直双極子）
- 空間オーディオ再生だけでなく、オーディオミックスエフェクト用のAPIにより前景背景のバランス調整が容易に
- iOS 26 で
AVAssetWriterを使った Spatial Audio 録音が可能に - 新しい QuickTime Audio（.qta）形式で音声のみの Spatial Audio ファイルを保存可能
- 複数のオーディオトラックをサポート
- 2 つの音声トラック（ステレオ + Spatial Audio）と再生用情報のメタデータトラックで構成
- ステレオは空間非対応デバイスでの互換性担保のため
MovieFileOutputでない独自ファイルをAVAssetWriterで構築する方法AVCaptureSessionでMovieFileOutputとAudioDataOutputの同時動作もサポートAudioDataOutputはサンプルバッファへのアクセスを提供、エフェクトや波形描画が可能- 同時動作をサポートすることで、ファイル書き込みとサンプルへの処理や視覚化を同時に行える
11:04 – Audio Mix
- iOS 26 と macOS 26 で Cinematic Framework に Audio Mix 効果の制御機能が追加
- 前景音（音声）と背景音（環境音）のバランスを調整可能
- ミックスモードは Cinematic, Studio, In-Frame の 3 つの基本モードと 6 つの追加モードを提供
AVPlayerではCNAssetSpatialAudioInfoとAVAudioMixで実装AVPlayerを使わずAUAudioMixで直接処理も可能（AU: Audio Unit）- e.g. 話し声と環境音の分離
- AU を使用し多くの設定が自動で行われる
AUAudioMixの使い方、SpatialAudioMixMetadata- 録音停止時に自動生成されるメタデータでチューニングパラメータを適用