タグ: Siri

App Schema によって Siri と自然言語でアプリコンテンツとのインタラクションを実現する方法のコードベース解説。前回前々回の良い復習になった。

• WWDC26：Explore advanced App Intents features for Siri and Apple Intelligence
• WWDC26：Build intelligent Siri experiences with App Schemas

Code-along: Make your app available to Siri

---

0:00 – Introduction

• ピクニックシナリオを通じた実演：イベント検索、時間の更新、参加者へのテキスト送信、会話形式での質問応答
• 既存アプリを Siri 対応にする流れをコードアロング形式で体験

1:43 – App Schemas and the plan

• App Intents によるシステム連携の仕組みと App Schemas の役割を整理
  • App Schemas はコンテンツとアクションを Siri が理解できる形で記述する
  • トレーニングフレーズ不要で Siri との連携が成立する
• サンプルアプリ CometCal で calendar ドメインを採用する 2 つの目標
  • コンテンツの理解（エンティティ）
  • アクションの実行（インテント）

3:44 – Build the CalendarEntity

• @AppEntity(schema: .calendar.calendar) マクロでスキーマ準拠の AppEntity を作成
• id は UUID 型で指定
• IndexedEntity に準拠して Spotlight へのインデックスを有効化
• @Dependency でデータアクセスを注入
  • App Intent が共有リソースをインテントやクエリに注入する仕組み
  • インスタンスの再生成をせず、既に登録したオブジェクトを提供　
• EnumerableEntityQuery を採用してすべてのカレンダー allEntities を列挙可能に
• displayRepresentation でタイトルや画像を設定して Siri や Shortcuts での表示名を定義
• IndexedEntity はインデックスされるコンテンツの形状を定義、コンテンツ更新に従って再インデックスが必要
  • CSSearchableIndex.indexAppEntities(_:) でエンティティを提供
  • 同様に updateAppEntities, deleteAppEntities

8:00 – Build the AttendeeEntity

• @AppEntity(schema: .calendar.attendee) から構築
• TransientAppEntity に準拠（IndexedEntity ではなく）
  • 参加者はイベントを通じてのみアクセスされ、一時的なエンティティであるため、識別子・クエリ・インデックスが不要
  • 同じ人が複数イベントへの参加を表明する場合、仮に参加ごとにインデックスを作成すると Spotlight で重複した結果が生じる
• IntentPerson 型（システム標準の人物表現）と参加者のステータス・種別用の @AppEnum を導入

10:30 – Build the EventEntity

• @AppEntity(schema: .calendar.event) から構築する中心的な IndexedEntity
• タイトルやメモの質問に対応するセマンティックインデックスをサポート
• CalendarEntity と [AttendeeEntity] を合成して構造化
  • Siri は AppSchema 二よりこれらの構造を理解
• Calendar.RecurrenceRule によりイベントの繰り返しルールを定義
• 場所・アラームのユニオン値 EventLocation、イベントステータス EventEntityStatux, スパン EventSpan

14:34 – Open events with OpenIntent

• Siri からアプリのメイン画面が開くだけでなく、対象のイベントを開いて欲しい
• system.open スキーマに準拠した OpenEventIntent を実装
  • EventEntity を受け取り NavigationManager でイベント詳細画面へ遷移
• Spotlight や Siri でイベントをタップすると直接詳細画面が開くようになる

15:30 – Onscreen awareness

• 2 つのビューモディファイアでオンスクリーン認識を有効化
  • .appEntityIdentifier：イベントリストの各行に付与
  • .userActivity（EntityIdentifier 付き）：詳細ビューに付与
• 「このイベント」「3 番目のイベント」のようなタイトルを言わない参照が解決できるようになる

17:18 – Create events with Siri

• calendar.createEvent スキーマに準拠した createEventIntent を実装
  • パラメータ型を設定し @MainActor @Dependency を追加
  • perform() 内でスキーマのパラメータ（場所のユニオン値、繰り返しルール）を解決して EventEntity を返す
• 自然言語の解釈・確認・曖昧さの解消は Siri が担当

19:24 – Update events

• UpdateEventIntent は CreateEventIntent と対称的な構造で、パラメータはオプショナル
• IntentParameter の valueState が重要なポイント
  • .set（値あり）：変更を意図
  • .set（nil）：クリアを意図
  • .unset：リクエストに含まれていない（変更しない）

21:30 – Custom snippet views

• インテントの戻り値型に ShowsSnippetView を追加し、カスタム SwiftUI ビューを返す
  • EventSnippetView を返すことで Siri のデフォルトカードをアプリ独自のデザインに置き換え

22:30 – Delete events

• DeleteEventIntent は最もシンプル（イベント＋繰り返し用のオプショナルなスパン）
• 確認や曖昧さの解消は Siri が自動的に処理する

前回の内容をコードベースでより掘り下げながら、App Schema への準拠によってアプリ固有アクションを Siri に理解させ自然言語でも実行可能にする方法れていた。App Entity、App Intent、App Schema、色々出てきてこんがらがってきた。
WWDC26：Explore advanced App Intents features for Siri and Apple Intelligence

Build intelligent Siri experiences with App Schemas

---

0:00 – Introduction

• App Intents によってアプリを Siri に対応させる仕組みを解説
• Apple Intelligence により Siri がより有能・文脈理解・パーソナルに進化

1:06 – What’s new in Siri

• Siri が新たに得た 3 つの能力
  • アプリのエンティティへのアクセス（コンテンツの把握）
  • インテントを通じたアクションの実行
  • オンスクリーンコンテキストの理解

4:06 – Contributing content with App Entities

• アプリのコンテンツを AppEntity としてモデル化する
• AppEntities が表現するもの
  1. 何であるか（nouns）
     1. 識別方法
     2. 重要なプロパティ（タイトルなど）
• これらを Siri が理解できるようにするために AppSchema に準拠する
• スキーマは @AppEntity(schema: .messages.message) のように指定

6:21 – Entity resolution and IndexedEntity

• エンティティを特定するにおいても、人は必ずしも正確に話すわけではない（概念や説明を話す）＝完全一致ではない
• IndexedEntity に準拠し、セマンティック検索やコンテンツ Q&A を実現する
  • @Property(indexingKey: \.textContent) でインデックス対象プロパティを指定
• データセットが巨大など、事前インデックスが難しいデータには EntityStringQuery を使用
  • entities(matching:) で文字列に基づくリアルタイム検索を実装

9:49 – Making actions available

• App Intents を定義すると、システムにアプリのアクションが公開される
  • Shortcuts、Spotlight、Widgets 様ざな場所に表示され、必ずしも Siri がなくともアクションを実行できるようになる
• エンティティを App Schema に準拠させることで、そのアクションを Siri が理解できるようになり、自然言語で実行可能になる（App Schema = App Intent の特化版）
• 複数のインテントを App Schema ドメインにグループ化することで Siri が関連アクションを把握

12:03 – Adopting a schema domain in UnicornChat

• Messages ドメインの sendMessage スキーマを採用するエンドツーエンドの実装デモ
• スキーマドメイン採用により Siri との会話が自然に成立する

15:39 – Moving content across apps

• エンティティに Transferable を採用することで他アプリがそのコンテンツを操作可能になる
• IntentValueRepresentation を使って他のアプリへの書き出し・書き込みを制御

16:00 – Working across apps: onscreen awareness

• NSUserActivity またはビューアノテーションでビューをエンティティに紐付ける
  • NSUserActivity：単一のプライマリエンティティをビュー全体に関連付け
  • .appEntityIdentifier モディファイア：リスト内の各行など個々のビューに紐付け
• Siri が「これ」「あれ」などの参照を解決できるようになる
• IntentValueQuery でクロスアプリのコンテンツマッチングを実装
  • values(for:) で IntentPerson などのシステム型から、既存のアプリ内エンティティへマッピング
• IntentValueRepresentation に importing: クロージャを追加すると、一致するコンテンツが存在しない場合に新規作成も可能

21:09 – Best practices

• スキーマセットを完全に採用することで Siri との会話が完結するように設計する
• Xcode がビルド時に不足している関連スキーマを指摘してくれる

24:18 – Testing your integration

• 段階的な検証アプローチ
  • AppIntentsTesting フレームワークによって、Siri 不要でプログラマティックにロジックのテストが可能
  • Shortcuts アプリでパラメタや入力の調整をしながら、アクションのユーザーへの見え方（インテントの形）を検証
  • Spotlight でエンティティのインデックスされていて発見可能かを確認
  • 最後に Siri でエンドツーエンドテスト