SwiftでRAG実装 Part 1：テキストをコンテキストベクトル化

Foundation Models のツール呼び出しに使う RAG に Spotlight を利用する試みが絶たれたので、自前で RAG 実装することにした。（本記事の作業は↓のワークショップで取り組んだもの）

経緯：参加メモ：新しいFoundation Modelフレームワークのアプリへの導入（ワークショップ）@Apple Japan

このブログでは繰り返し何度も貼っているが、Apple 武石さんのこのポストを頼みの綱に頑張る。もはやバイブル。

といってもちんぷんかんぷんなので ChatGPT に聞いてみた。

NLContextualEmbedding を使ってRAGを構築するにはどう言った実装が必要になりますか？

NLContextualEmbedding を使った “自前RAG” の実装は、だいたい次の4層で考えると設計しやすいです。

1. 前処理（分割・メタデータ付与）
2. 埋め込み生成（NLContextualEmbedding）
3. ベクタ格納と近傍検索（SQLite + BLOB / CoreData / なんでも）
4. 検索→再ランキング→プロンプト組み立て→生成（Foundation Models）

いったん前処理は省いて、まずは短い文字列を元にした埋め込み生成（コンテキストベクトル化）を試みた。ChatGPT の実装をもとに動くよう修正し、最終的にそれっぽくベクトルを得ることができた。（コメントは筆者理解の補足なので間違いあるかも）（2025/10/5 実装修正）

import Accelerate
import NaturalLanguage

let embedding: NLContextualEmbedding

/// 文字列をコンテキストベクトル化（平均プーリング+L2正規化）
func encode(text: String) throws -> [Float] {
    let result = try embedding.embeddingResult(for: text, language: overrideLanguage)

    let dim = embedding.dimension
    var sum = [Float](repeating: 0, count: dim)
    var count = 0 // トークン数

    result.enumerateTokenVectors(in: text.startIndex..<text.endIndex) { vec_double, range in
        var vec_float = [Float](repeating: 0, count: dim)
        // double → float 変換
        vDSP_vdpsp(vec_double, 1, &vec_float, 1, vDSP_Length(dim))
        // vec_float を sum に足し合わせ
        vDSP_vadd(sum, 1, vec_float, 1, &sum, 1, vDSP_Length(dim))
        // トークン数をインクリメント
        count += 1
        return true
    }

    guard count > 0 else { return [Float](repeating: 0, count: dim) }

    // 平均プーリング（トークンベクトルの総和をトークン数で平均して畳み込み）
    var inv_n = 1.0 / Float(count)
    vDSP_vsmul(sum, 1, &inv_n, &sum, 1, vDSP_Length(dim))

    return l2Normalize(sum) // L2 normalization
}

// L2 正規化（ベクトル全体を二乗和平方根で割って正規化）
private func l2Normalize(_ v: [Float]) -> [Float] {
    var vec = v
    var norm: Float = 0
    vDSP_svesq(vec, 1, &norm, vDSP_Length(vec.count))
    norm = sqrtf(norm) + 1e-12
    vDSP_vsdiv(vec, 1, &norm, &vec, 1, vDSP_Length(vec.count))
    return vec
}

print(encode(text: "Hello, world.")

[-0.028537132, -0.014218736, -0.033890422, -0.024530113, 0.009770119, -0.01361734, 0.0034657633, 0.029605899, 0.013323085, -0.005046577, ..., 0.018509272, -0.026693422, -0.6423329, -0.03437927, 0.005926335, -0.022124525, 0.03561643, -0.056179043, 0.025543895, -0.00908023, 0.0050482955, 0.028503625]

ちなみに、今回 “Hello, world.” は Hello,, , world. の3トークンに分割された。

埋め込み生成の処理をおさらいすると

1. 文字列をもとにベクトル埋め込みを生成（NaturalLanguage.NLContextualEmbedding.embeddingResult(for:language:)）
2. 文字列をトークン(サブテキスト単位)に分割
3. トークンごとに、トークンベクトルを抽出（NaturalLanguage.NLContextualEmbeddingResult.tokenVector(at:)）
4. すべてのトークンベクトルの平均を計算 → コンテクストベクトル
5. コンテクストベクトルを二乗和平方根で割って正規化

これ書きながら、2-3 のステップで頑張ってループ回しているところは enumerateTokenVectors(in:using:) 使ったほう良いかも、と思った。

参考：
埋め込み層 (Embedding Layer) [自然言語処理の文脈で] | CVMLエキスパートガイド
平均プーリング(Average Pooling) | CVMLエキスパートガイド
[iOS 17] 多言語BERT埋め込みモデルのサポート

Accelerate framework に馴染みがないので、ここで使われている関数を調べてみた。

• vDSP_vdpsp: 倍精度のベクトルを単精度のベクトルに変換
• vDSP_vadd: ベクトル同士の和 (stride 指定可能)
  • stride: 足し合わせ時の要素飛び石数 通常は1だが、オーディオバッファからLRチャンネルを分離して取得する時(stride=2)や、イメージバッファからRGBチャンネルを分離して取得する(stride=3)時に指定
• vDSP_vsmul: ベクトル * スカラ値 の積算 (stride 指定可能)
• vDSP_vsdiv: ベクトル / スカラ値 の除算 (stride 指定可能)
• vDSP_svesq: ベクトルの二乗和 sum(a^2) 、結果はスカラ値