部署实录：一个企业 RAG 系统从零到上线的 14 天

项目背景

一家中型金融科技公司需要为其内部知识库构建智能问答系统。数百份合规文档、产品手册和内部流程指南散落在不同系统中，员工查找信息效率极低。

技术选型

• 大模型：通过 API 调用，兼顾效果与成本
• 向量数据库：选型对比 Chroma、Milvus、Pinecone 后的决策
• 嵌入模型：中文语义理解能力优先
• 分块策略：针对金融文档结构的定制化方案

部署过程

第 1-3 天：数据准备与分块

文档清洗、格式统一、语义分块——这是整个项目最耗时但最关键的阶段。

第 4-7 天：向量库搭建与索引

导入向量、构建索引、调优检索参数。

第 8-12 天：查询引擎与效果优化

提示词设计、上下文窗口管理、多轮对话支持。

第 13-14 天：交付验收

A/B 测试、用户培训、上线监控。

核心教训

1. 分块策略决定了 RAG 系统的天花板
2. 客户数据不能出内网时，全套工具链需本地化部署
3. 用户期望管理比技术调优更难