Foundation Models のツール呼び出しに使う RAG に Spotlight を利用する試みが絶たれたので、自前で RAG 実装することにした。（本記事の作業は↓のワークショップで取り組んだもの）
経緯：参加メモ：新しいFoundation Modelフレームワークのアプリへの導入（ワークショップ）@Apple Japan
このブログでは繰り返し何度も貼っているが、Apple 武石さんのこのポストを頼みの綱に頑張る。もはやバイブル。
といってもちんぷんかんぷんなので ChatGPT に聞いてみた。
NLContextualEmbedding を使ってRAGを構築するにはどう言った実装が必要になりますか？
NLContextualEmbedding を使った “自前RAG” の実装は、だいたい次の4層で考えると設計しやすいです。
- 前処理（分割・メタデータ付与）
- 埋め込み生成（NLContextualEmbedding）
- ベクタ格納と近傍検索（SQLite + BLOB / CoreData / なんでも）
- 検索→再ランキング→プロンプト組み立て→生成（Foundation Models）
いったん前処理は省いて、まずは短い文字列を元にした埋め込み生成（コンテキストベクトル化）を試みた。ChatGPT の実装をもとに動くよう修正し、最終的にそれっぽくベクトルを得ることができた。（コメントは筆者理解の補足なので間違いあるかも）（2025/10/5 実装修正）
import Accelerate
import NaturalLanguage
let embedding: NLContextualEmbedding
/// 文字列をコンテキストベクトル化（平均プーリング+L2正規化）
func encode(text: String) throws -> [Float] {
let result = try embedding.embeddingResult(for: text, language: overrideLanguage)
let dim = embedding.dimension
var sum = [Float](repeating: 0, count: dim)
var count = 0 // トークン数
result.enumerateTokenVectors(in: text.startIndex..<text.endIndex) { vec_double, range in
var vec_float = [Float](repeating: 0, count: dim)
// double → float 変換
vDSP_vdpsp(vec_double, 1, &vec_float, 1, vDSP_Length(dim))
// vec_float を sum に足し合わせ
vDSP_vadd(sum, 1, vec_float, 1, &sum, 1, vDSP_Length(dim))
// トークン数をインクリメント
count += 1
return true
}
guard count > 0 else { return [Float](repeating: 0, count: dim) }
// 平均プーリング（トークンベクトルの総和をトークン数で平均して畳み込み）
var inv_n = 1.0 / Float(count)
vDSP_vsmul(sum, 1, &inv_n, &sum, 1, vDSP_Length(dim))
return l2Normalize(sum) // L2 normalization
}
// L2 正規化（ベクトル全体を二乗和平方根で割って正規化）
private func l2Normalize(_ v: [Float]) -> [Float] {
var vec = v
var norm: Float = 0
vDSP_svesq(vec, 1, &norm, vDSP_Length(vec.count))
norm = sqrtf(norm) + 1e-12
vDSP_vsdiv(vec, 1, &norm, &vec, 1, vDSP_Length(vec.count))
return vec
}
print(encode(text: "Hello, world.")
[-0.028537132, -0.014218736, -0.033890422, -0.024530113, 0.009770119, -0.01361734, 0.0034657633, 0.029605899, 0.013323085, -0.005046577, ..., 0.018509272, -0.026693422, -0.6423329, -0.03437927, 0.005926335, -0.022124525, 0.03561643, -0.056179043, 0.025543895, -0.00908023, 0.0050482955, 0.028503625]
ちなみに、今回 “Hello, world.” は Hello,, , world. の3トークンに分割された。
埋め込み生成の処理をおさらいすると
- 文字列をもとにベクトル埋め込みを生成（
NaturalLanguage.NLContextualEmbedding.embeddingResult(for:language:)）
- 文字列をトークン(サブテキスト単位)に分割
- トークンごとに、トークンベクトルを抽出（
NaturalLanguage.NLContextualEmbeddingResult.tokenVector(at:)）
- すべてのトークンベクトルの平均を計算 → コンテクストベクトル
- コンテクストベクトルを二乗和平方根で割って正規化
これ書きながら、2-3 のステップで頑張ってループ回しているところは enumerateTokenVectors(in:using:) 使ったほう良いかも、と思った。
参考：
埋め込み層 (Embedding Layer) [自然言語処理の文脈で] | CVMLエキスパートガイド
平均プーリング(Average Pooling) | CVMLエキスパートガイド
[iOS 17] 多言語BERT埋め込みモデルのサポート
Accelerate framework に馴染みがないので、ここで使われている関数を調べてみた。
vDSP_vdpsp: 倍精度のベクトルを単精度のベクトルに変換vDSP_vadd: ベクトル同士の和 (stride 指定可能)
- stride: 足し合わせ時の要素飛び石数 通常は1だが、オーディオバッファからLRチャンネルを分離して取得する時(stride=2)や、イメージバッファからRGBチャンネルを分離して取得する(stride=3)時に指定
vDSP_vsmul: ベクトル * スカラ値 の積算 (stride 指定可能)vDSP_vsdiv: ベクトル / スカラ値 の除算 (stride 指定可能)vDSP_svesq: ベクトルの二乗和 sum(a^2) 、結果はスカラ値
