RAG 检索增强生成入门

为什么需要 RAG

LLM 的知识有限：

• 训练数据截止日期之前的知识
• 不知道你的私有数据（公司文档、代码库）
• 无法实时更新

RAG 解决方案：把相关文档检索出来，放入提示词，让 LLM 基于文档回答。

RAG 工作流程

用户提问
  ↓
将问题转为向量（Embedding）
  ↓
在向量数据库中检索相似文档
  ↓
将检索到的文档 + 问题发给 LLM
  ↓
LLM 基于文档生成回答

向量数据库选型

文档切分策略

文档太长无法全部放入提示词，需要切分成小块（Chunk）。

Embedding 模型选择

简单 RAG 示例（Python）

import chromadb
from openai import OpenAI

# 初始化
chroma_client = chromadb.Client()
collection = chroma_client.create_collection("docs")
openai_client = OpenAI()

# 1. 索引文档
documents = [
    "Inkess 是一个 AI API 代理服务，支持 Claude、GPT 等模型。",
    "Inkess 的价格低于官方定价，按量计费。",
    "Inkess 支持 Anthropic SDK 和 OpenAI SDK。"
]

collection.add(
    documents=documents,
    ids=[f"doc{i}" for i in range(len(documents))]
)

# 2. 检索 + 生成
def rag_query(question: str) -> str:
    # 检索相关文档
    results = collection.query(
        query_texts=[question],
        n_results=2
    )

    context = "\n".join(results["documents"][0])

    # 生成回答
    response = openai_client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {"role": "system", "content": "根据以下文档回答问题。"},
            {"role": "user", "content": f"文档：\n{context}\n\n问题：{question}"}
        ]
    )

    return response.choices[0].message.content

# 使用
print(rag_query("Inkess 支持哪些 SDK？"))

检索优化

1. Hybrid Search（混合检索）

结合关键词检索（BM25）和向量检索：

最终得分 = 0.7 × 向量相似度 + 0.3 × BM25 得分

2. Reranking（重排序）

检索出 Top 20，用更强的模型重新排序，取 Top 5。

3. Query Expansion（查询扩展）

用 LLM 生成问题的多个变体，分别检索后合并结果。

评估指标