fix 意味的検索の高速化と精度向上

Author: usuyuki

backend/infrastructure/database/diary_embeddings.go

@@ -4,7 +4,6 @@ import (
 	"context"
 	"database/sql"
 	"fmt"
-	"strconv"
 	"strings"
 	"time"
 
@@ -52,19 +51,17 @@ type DiaryEmbeddingStatus struct {
 	ChunkModelVersion string
 	CreatedAt         time.Time
 	UpdatedAt         time.Time
-	// 最初のチャンクのベクトル値（デバッグ用）
-	EmbeddingValues []float32
 	// チャンク総数
 	ChunkCount int
 	// 各チャンクの概要（chunk_index順）
 	ChunkSummaries []string
 }
 
 // GetDiaryEmbeddingStatus は指定された日記のRAGインデックス状態を返す
-// 全チャンクのsummaryとchunk_index=0のベクトル値を返す
+// 全チャンクのsummaryを返す（ベクトル値は返さない）
 func GetDiaryEmbeddingStatus(ctx context.Context, db DB, diaryID, userID uuid.UUID) (*DiaryEmbeddingStatus, error) {
 	query := `
-		SELECT model_version, chunk_model_version, created_at, updated_at, embedding::text, chunk_summary
+		SELECT model_version, chunk_model_version, created_at, updated_at, chunk_summary
 		FROM diary_embeddings
 		WHERE diary_id = $1 AND user_id = $2
 		ORDER BY chunk_index ASC
@@ -81,24 +78,22 @@ func GetDiaryEmbeddingStatus(ctx context.Context, db DB, diaryID, userID uuid.UU
 	var (
 		modelVersion, chunkModelVersion string
 		createdAt, updatedAt            time.Time
-		embeddingValues                 []float32
 		chunkSummaries                  []string
 	)
 	first := true
 
 	for rows.Next() {
-		var embStr, chunkSummary string
+		var chunkSummary string
 		var mv, cmv string
 		var cat, uat time.Time
-		if err := rows.Scan(&mv, &cmv, &cat, &uat, &embStr, &chunkSummary); err != nil {
+		if err := rows.Scan(&mv, &cmv, &cat, &uat, &chunkSummary); err != nil {
 			return nil, fmt.Errorf("failed to scan diary embedding status: %w", err)
 		}
 		if first {
 			modelVersion = mv
 			chunkModelVersion = cmv
 			createdAt = cat
 			updatedAt = uat
-			embeddingValues = parseEmbeddingString(embStr)
 			first = false
 		}
 		chunkSummaries = append(chunkSummaries, chunkSummary)
@@ -118,32 +113,11 @@ func GetDiaryEmbeddingStatus(ctx context.Context, db DB, diaryID, userID uuid.UU
 		ChunkModelVersion: chunkModelVersion,
 		CreatedAt:         createdAt,
 		UpdatedAt:         updatedAt,
-		EmbeddingValues:   embeddingValues,
 		ChunkCount:        len(chunkSummaries),
 		ChunkSummaries:    chunkSummaries,
 	}, nil
 }
 
-// parseEmbeddingString はpgvectorの文字列表現をfloat32スライスに変換する
-// pgvectorは "[v1,v2,...,vn]" 形式で返す（科学表記も含む）
-func parseEmbeddingString(s string) []float32 {
-	s = strings.TrimPrefix(s, "[")
-	s = strings.TrimSuffix(s, "]")
-	if s == "" {
-		return nil
-	}
-	parts := strings.Split(s, ",")
-	values := make([]float32, 0, len(parts))
-	for _, p := range parts {
-		p = strings.TrimSpace(p)
-		f, err := strconv.ParseFloat(p, 32)
-		if err == nil {
-			values = append(values, float32(f))
-		}
-	}
-	return values
-}
-
 // embeddingToSQL はfloat32スライスをpgvector形式の文字列に変換する
 func embeddingToSQL(v []float32) string {
 	parts := make([]string, len(v))

backend/infrastructure/grpc/diary.pb.go

@@ -312,17 +312,19 @@ func (g *GeminiClient) GenerateEmbedding(ctx context.Context, text string, isDoc
 // 各チャンクは意味的に自己完結したテキストで、ベクトル検索の精度向上に使用する
 // LLMの呼び出しに失敗した場合はエラーを返す（呼び出し元でフォールバック処理を行う）
 func (g *GeminiClient) SplitDiaryIntoChunks(ctx context.Context, content string) ([]DiaryChunkData, error) {
-	prompt := fmt.Sprintf(`以下の日記を、話題・場面の切れ目で分割してください。
+	prompt := fmt.Sprintf(`以下の日記を、話題・場面ごとのチャンクに分割してください。
+チャンク数はできるだけ少なくすることが重要です。
 
 【分割ルール（必ず守ること）】
-1. 段落（空行で区切られた段落）を基本単位とする
-2. 同じ段落が複数の話題を含む場合のみ、文単位でさらに分割する
-3. 連続する段落が同じ話題・場面を扱っている場合は、1つのチャンクにまとめる
-4. 日記全体が1つの話題・場面のみの場合は、必ず1チャンクにまとめる
-5. チャンク数の目安: 段落数と同数か、それより少ない数になるはず
-6. contentは元の日記の文章をそのまま使う（要約・改変・省略禁止）
-7. チャンク間で内容が重複しないようにする
-8. summaryはそのチャンクの内容を1文で簡潔にまとめた日本語（句点「。」で終わる）
+1. 同じ話題・場面・出来事に関する文章は、段落をまたいでも必ず1つのチャンクにまとめる
+2. 例：「朝の出来事」が複数の段落にわたって書かれていれば、すべて1チャンクにする
+3. 明らかに異なる話題・場面に切り替わった場合のみ、新しいチャンクを作る
+4. 日記全体が1〜2の話題のみの場合は、1チャンクにまとめる
+5. チャンク数の上限目安: 明確に異なる話題の数（通常1〜3個）
+6. 細かく分割しすぎない: 「朝食を食べた」「仕事をした」「夜に映画を見た」は3チャンクではなく、関連性があれば1〜2チャンクにまとめる
+7. contentは元の日記の文章をそのまま使う（要約・改変・省略禁止）
+8. チャンク間で内容が重複しないようにする
+9. summaryはそのチャンクの内容を1文で簡潔にまとめた日本語（句点「。」で終わる）
 
 日記:
 %s`, content)

backend/infrastructure/llm/gemini.go

@@ -1110,19 +1110,31 @@ func (s *DiaryEntry) SearchDiaryEntriesSemantic(
 		return nil, status.Errorf(codes.Internal, "Failed to set hnsw.ef_search: %v", err)
 	}
 
-	// pgvectorでコサイン類似度ANN検索
+	// ベクトル検索とキーワード検索を並列実行してレイテンシを削減
+	// キーワード検索はef_searchを必要としないため別コネクション(s.DB)で並列化できる
+	type keywordSearchResult struct {
+		diaries []*database.Diary
+		err     error
+	}
+	kwResultCh := make(chan keywordSearchResult, 1)
+	go func() {
+		ds, err := database.DiariesByUserIDAndContent(ctx, s.DB, userID.String(), req.Query)
+		kwResultCh <- keywordSearchResult{diaries: ds, err: err}
+	}()
+
+	// pgvectorでコサイン類似度ANN検索（txのef_search設定を使用）
 	searchResults, err := database.SearchDiaryEntriesByEmbedding(ctx, tx, userID, queryEmbedding, limit, semanticSimilarityThreshold)
 	if err != nil {
 		return nil, status.Errorf(codes.Internal, "Failed to search diary entries: %v", err)
 	}
 
-	// ハイブリッド検索: キーワード LIKE 検索で補完（ベクトル検索が拾えない固有名詞・専門語をカバー）
+	// ハイブリッド検索: キーワード検索結果で補完（ベクトル検索が拾えない固有名詞・専門語をカバー）
+	kwResult := <-kwResultCh
 	vectorIDs := make(map[uuid.UUID]bool, len(searchResults))
 	for _, sr := range searchResults {
 		vectorIDs[sr.DiaryID] = true
 	}
-	keywordResults, _ := database.DiariesByUserIDAndContent(ctx, tx, userID.String(), req.Query)
-	for _, d := range keywordResults {
+	for _, d := range kwResult.diaries {
 		if !vectorIDs[d.ID] {
 			searchResults = append(searchResults, &database.DiaryEmbeddingSearchResult{
 				DiaryID:    d.ID,
@@ -1302,10 +1314,6 @@ func (s *DiaryEntry) GetDiaryEmbeddingStatus(
 		resp.ChunkModelVersion = embeddingStatus.ChunkModelVersion
 		resp.CreatedAt = embeddingStatus.CreatedAt.Unix()
 		resp.UpdatedAt = embeddingStatus.UpdatedAt.Unix()
-		// レスポンスサイズ削減のため先頭10件のみ返す（フロントエンドはプレビュー表示のみ）
-		resp.EmbeddingDimensions = int32(len(embeddingStatus.EmbeddingValues))
-		previewLen := min(10, len(embeddingStatus.EmbeddingValues))
-		resp.EmbeddingValues = embeddingStatus.EmbeddingValues[:previewLen]
 		resp.ChunkCount = int32(embeddingStatus.ChunkCount)
 		resp.ChunkSummaries = embeddingStatus.ChunkSummaries
 	}