大模型面试：RAG项目的拷问（文字版）

关于原因

• 问：为什么需要去看别人的面试？
• 答：不用花钱就能让一个总监、主管陪你聊1小时。还能让你知道这样行业、你的工作他们都在关注什么。

面试问题的整理如下，供大家参考。包含RAG的各方各面，供大家参考。

沟通内容

问题1:

• 面试官：看到你之前参与过RAG得项目，能否分享一下RAG的合作流程？
• 候选人：当然可以。RAG首先涉及文本分块。将文本分割成若干块，使用特定的模型将这些块嵌入到向量空间中。接下来，建立索引，创建提示来告诉模型，根据检索找到的上下文回答用户的查询。在运行时，会使用相同的向量来对用户的查询进行处理，然后执行向量搜索，在向量数据库中检索到最匹配的结果，并将这些结果作为上下文输入到大模型的提示词中，以生成总结性的答案。

问题2：

• 面试官：您提到的是RAG的标准流程，那么在实际项目中，你还采用了哪些优化技巧？
• 候选人：在实际应用中，我们会考虑多路召回策略，包括稀疏召回、语义召回和字面召回等。处理召回过程中的截断和召回分数对齐问题，通过在召回后加入重排序来精简召回数量、提升召回质量。此外，还会根据系统问答的指标，对嵌入模型、重排序模型和生成模型进行进一步的优化。

问题3

• 面试官：明白了。你刚才提到了评价指标，那么您能描述一下RAG是如何进行效果评分的吗？
• 候选人：RAG的效果评估主要针对检索和生成环节。我们可以使用平均倒排率，排序指标来进行评估。

问题4

• 面试官：那么在生成环节，你是如何进行评估的呢？
• 候选人：在生成环节，首先会使用量化指标，如ROUGE-L分数和文本相似度、关键词重合度等。其次评估生成答案的多样性，查看模型是否能够生成多种合理的答案。此外，引入人工评估，进行反向测试，主要评估模型的复杂性和质量。

问题5:

• 面试官：好的，你觉得RAG在处理问题时有哪些挑战？
• 候选人：RAG面临的挑战主要有两个：一是生成结果与数据源不一致，二是问题超出了模型的认知范围。对于第一种，可能是训练数据与源数据不一致，或者是编码理解能力不足。对于第二种情况，可能是用户的问题超出了模型的处理范围。

问题6

• 面试官：针对模型幻觉，你有哪些解决思路？
• 候选人：解决这些问题，可以考虑引入更精确的数据源，消除虚假数据，并加入纠偏规则，比如采用re-act方法，让大模型对输出结果进行反思。另一种思路是集成知识库，不仅仅考虑向量匹配，还要考虑知识图谱中的三元组，将结构化的相关点数据集成到RAG系统中，以增强系统的推理能力。

问题7

• 面试官：在实际项目中，您如何处理各种边界的case，意外的情况？
• 候选人：这需要具体情况具体分析。对于无效问题，即知识库中没有答案的问题，需要进行准入判断，通常使用二分类模型加提示来处理。对于随时间变化的问题，我们可以在推理模块中添加规则和提示词，使模型在不确定时能够给出合适的回答。对于格式错误的问题，比如模型生成了无法解析的答案，我们可以使用备份的代理大模型，在解析失败时直接生成答案。

另外推荐一款融合多模态的rag产品chat2manal（AI说明书），推荐个大家。主要技术如下的知识库产品：chat2manal（AI说明书）：

• 多模态
• 文档解析处理
• 向量数据库
• re-Act的Agent

基本的效果：相对复杂的文案都能处理，能在无需训练的情况下准确率做到90%+、产品操作简单些、易用性很高。

 大模型&AI产品经理如何学习

求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方图片前往获取

3.技术文档和电子书 

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集***

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓