想让 AI 用上自己的资料,最常见的两条路是检索增强(RAG)和微调。很多人一到选型就开始纠结:是不是必须训练一个自己的模型?其实先退一步看,这两条路解决的是不同的问题——一个是让模型「看得到」资料,一个是让模型「学会」一种答法。把需求对号入座,选择往往就清楚了。
两条路解决的是两种「不会」
检索增强像一场开卷考试:模型本身不变,回答之前先去资料库里搜出相关段落,拼进提示词再作答。知识存在外部库里,随时可以增删改,答案还能附带出处方便核对。适合知识频繁更新、要求可追溯的场景,比如产品文档问答、法规条款查询。
微调则像把教材背下来:用成对的问答或示例数据去改模型参数,让它在特定的语气、格式、领域任务上稳定发挥。知识变化慢、但对「怎么答」有严格要求的事情,交给微调更合适,比如固定格式的报告生成、统一话术的客服开场。
一个简单的判断口诀:答案会过期的,用检索;答法要固定的,用微调。两个需求都有,就两条一起用。
成本与维护差多少
RAG 起步成本低:把文档切块、做向量化、接一个检索组件就能跑,资料更新只是重新入库,模型本身不动。微调则要先准备几百到几千条高质量样本,训练、评估、发布每一环都有费用和时间,样本质量不够还会把模型带偏。
维护侧的差异更明显:RAG 出问题通常是检索没搜准,改分块策略或换向量模型就能改善,当天见效;微调效果不理想则要回到数据端——补样本、调训练轮数、防过拟合,一轮排查下来往往以周计。
更多时候,两条路一起走
两者并不互斥。常见的组合是先用微调把「怎么说」固定下来——统一语气、格式和领域术语,再用 RAG 解决「说什么」——挂上实时更新的知识库。企业知识助手、行业客服大多是这个结构:模型负责表达,检索负责事实。
落地顺序建议从 RAG 开始:先用最小成本验证检索质量,把问题从「模型不行」里剥离出来;确认确实需要定制风格或格式时,再考虑微调。接口走 https://api.aigcbreeze.cn/v1,向量环节选 qwen3.7-text-embedding-flash 这类 embedding 模型,对话环节按任务挑 glm-5.3 等主力模型即可起步。
常见问题
资料量很小,还有必要上 RAG 吗?
不一定。几十页以内的资料,可以直接放进长上下文模型的窗口里,让模型通读后再提问,省掉整条检索链路。等资料规模大到放不下、或者更新频繁时,再升级成 RAG 也不迟。
微调能把新知识灌进模型吗?
能记住一部分,但不可靠,还容易把原有能力带偏。凡是要求事实准确、需要跟着资料更新的知识,检索远比微调稳;微调更适合改「行为」,而不是灌「知识」。
怎么判断 RAG 效果差是检索的锅还是模型的锅?
先单独看检索:把召回的段落原样打印出来人工核对。召回的内容相关,说明检索没问题,瓶颈在生成端,换更强的对话模型试试;召回不相关,就先调分块大小和向量模型,别急着怪模型。