我的工作周记——第十七周

本文用一个可离线运行的 Node.js RAG 项目说明检索增强生成（RAG）的完整数据流，覆盖文档解析、切块、Embedding、LanceDB 向量检索、上下文拼接和本地 LLM 回答，适合没有云端 API 的个人开发者学习。 ## 核心链路 ```text 原始文档 -> 解析清洗 -> 文本切块 -> Embedding -> LanceDB | 用户问题 -> 问题 Embedding -> Top-K 检索 -> 上下文拼接 -> 本地 LLM ``` ### 1. 文档解析与切块 原始文件先复制到 `data/raw`，解析结果写入 `data/parsed`，切块结果写入 `data/chunks`。当前文本切块默认窗口为 800 字符、重叠 120 字符，并优先在句末或换行处断开，减少语义被截断的概率。 ### 2. 向量化与存储 每个文本块通过本地 `multilingual-e5-small` 生成向量，记录正文、来源文档、顺序、字符位置和向量值。LanceDB 表默认位于 `data/indexes`，可按 chunk ID 重复写入而不会产生重复记录。 ### 3. 检索与生成 问题使用同一 Embedding 模型转为向量后执行 Top-K 相似度检索。系统在 `RAG_MAX_CONTEXT_CHARS` 限制内拼接命中文本，并将来源 ID、块 ID、距离和正文作为引用返回给前端。 ## 本地复现 ```powershell npm install Copy-Item .env.example .env npm --workspace apps/server run pipeline:test npm --workspace apps/server

内容概要：本文提出了一种结合在线鲁棒主成分分析（RPCA）模型与长短期记忆（LSTM）循环网络的商品需求预测方法，并提供了完整的Python代码实现。该方法首先利用RPCA模型对原始商品需求时间序列进行分解，分离出低秩的潜在趋势成分与稀疏的异常波动成分，有效实现数据去噪与异常值修正，提升输入数据的鲁棒性；随后将净化后的数据输入LSTM网络，充分挖掘时间序列中的长期依赖关系与时序模式，从而提高对未来需求的预测精度。整个模型设计针对实际商业场景中普遍存在的数据噪声大、波动剧烈、突发性事件干扰等问题，展现出较强的稳定性与预测能力。文中通过实验验证了该混合模型在多个指标上优于传统统计模型及单一LSTM模型，体现了其在复杂环境下的优越性能。; 适合人群：具备一定Python编程能力和机器学习基础知识，从事数据分析、供应链管理、电商运营、零售优化及相关领域研究的研发人员或研究生；特别适合关注时间序列预测、深度学习建模以及鲁棒数据处理技术的技术人员。; 使用场景及目标：①应用于电商平台、零售企业或制造行业中的销量预测，以支持库存优化、生产计划制定与物流调度决策；②为科研工作者提供一种融合鲁棒统计与深度学习的预测建模范例，推动高噪声环境下预测算法的创新与复现研究；③帮助开发者深入理解RPCA与LSTM的集成机制，掌握复杂预测模型的构建、训练与调优流程。; 阅读建议：建议读者结合所提供的Python代码逐步实现模型，重点理解RPCA在数据预处理阶段的作用机制以及LSTM网络的结构设计与超参数配置。学习过程中应在真实或模拟数据集上复现实验结果，对比不同参数设置下的模型表现，以深化对模型内在工作原理的理解。同时可进一步探索其他深度学习模型（如GRU、Transformer）与鲁棒分解方法（如VMD、STL）的融合可能性，拓展应用场景。

打开链接下载源码： https://pan.quark.cn/s/a4b39357ea24 !!! IMPORTANT !!! The Generated subdirectory contains source that is generated by a tool. Any changes to this source will be lost the next time the tool is run. The script to generate the source can be found at %SDXROOT%\Windows\Wcp\Mil\CodeGen\GenerateFiles.cmd. Documentation for the tool is located at http://wiki/default.aspx/Microsoft.Projects.Avalon.MilCodeGen.