向量数据库：从 SQL 到语义搜索

🤔 MySQL 为什么搜不到"好吃的麻辣菜"？

-- 文档里写的是"麻辣"，用户搜的是"好吃的"，字面完全没有交集
SELECT * FROM documents WHERE content LIKE '%好吃的麻辣菜%';
-- 返回：0 行

-- 就算精确搜"麻辣"，也只能匹配到恰好包含这两个字的文档
-- "香辣""酸辣""辛辣"——都不会被匹配到

🧬 一句话理解向量数据库

🏗️ ChromaDB 层级结构

🧭 真实语义空间（bert-base-chinese + PCA 降维到 2D）

所有文档和查询都用 bert-base-chinese 生成了真实的 768 维向量，然后 PCA 降到 2 维可视化。 可以清晰看到同类文档自然聚集，查询向量靠近相关文档簇。

📊 六种数据库/引擎对比总览

🗺️ 选型决策树

要选向量数据库？
├─ 只是学习/Demo/原型？
│   └─ → ChromaDB（pip install 即可）
├─ 已有 PostgreSQL？
│   └─ 数据量 < 百万 → pgvector（零迁移成本）
├─ 需要全文 + 语义混合搜索？
│   └─ → Elasticsearch
├─ 生产环境、大规模、低延迟？
│   └─ → Milvus（分布式、十亿级）
├─ 离线分析、学术研究？
│   └─ → FAISS（需自建持久化）
└─ 纯结构化查询、不需要语义？
    └─ → MySQL / PostgreSQL（传统的就够了）

💻 Demo 代码核心片段讲解

1. 自定义 Embedding 函数（中文适配）

class ChineseBertEmbedding(EmbeddingFunction):
    """用 bert-base-chinese 生成句向量"""
    def __call__(self, texts):
        for text in texts:
            inputs = self.tokenizer(text, return_tensors="pt")
            with torch.no_grad():
                outputs = self.model(**inputs)
            # Mean Pooling：所有 token 向量取平均 → 句向量
            pooled = mean_pooling(outputs, inputs["attention_mask"])
            # L2 归一化：让所有向量长度=1，余弦相似度等价于点积
            pooled = F.normalize(pooled, p=2, dim=1)
            embeddings.append(pooled[0].tolist())
        return embeddings

2. 创建 Collection 并导入文档

# 创建客户端（内存模式）
client = chromadb.Client()
collection = client.create_collection(
    name="knowledge_base",
    embedding_function=ChineseBertEmbedding(),
    metadata={"hnsw:space": "cosine"},  # 用余弦距离
)

# add() 自动调用 embedding_function 把 text → 向量 → HNSW 索引
collection.add(
    documents=["麻婆豆腐是一道经典的四川名菜..."],
    metadatas=[{"category": "food"}],
    ids=["doc_4"],
)

3. 语义查询 + 元数据过滤

# 纯语义搜索
results = collection.query(
    query_texts=["适合拍照的手机"],
    n_results=3,
)

# 混合查询：先过滤 category='tech'，再在过滤结果中做向量检索
results = collection.query(
    query_texts=["和 AI 相关的技术"],
    n_results=3,
    where={"category": "tech"},
)

4. 关键词搜索对比（为什么不够用）

def simulate_keyword_search(query):
    # 按字符出现次数打分
    query_chars = set(query) - stop_chars
    for text in documents:
        score = sum(1 for c in query_chars if c in text)
    # → "辣的菜"搜不到"麻婆豆腐"

⚠️ 6 个常见坑