强化学习入门这一篇就够了！！！01-06

《强化学习入门专栏》系统性地介绍了强化学习从基础到应用的全过程。专栏分为五大部分：基础概念篇讲解MDP、值函数等核心概念；核心算法篇涵盖Q-Learning、DQN、PPO等主流算法；环境实战篇提供Gym等环境的实践指导；工具库使用篇介绍Stable-Baselines3等工具；进阶与应用篇探讨多智能体、金融等前沿领域。专栏采用理论→算法→实战→应用的学习路径，帮助读者建立完整的知识体系。

强化学习基于奖励最大化假设，所有的算法都是建立在得到一个最大的期望奖励的基础上。首先来明晰两个概念：On-Policy：训练数据由需要训练的策略本身通过与环境的互动产生，用自己产生的数据来进行训练（可以理解为需要实时互动）Off-Policy：训练数据预先收集好（人工或者其它策略产生），策略直接通过这些数据进行学习。PPO，GRPO，DAPO 都是 On-Policy 的策略。这些 On-Policy 的策略一般由四个关键组件组成训练的 pipeline：Actor：产生动作的策略。

文章目录一、环境简介1.1 Gym环境介绍1.2 导入必要的库（代码片01）二、策略网络2.1 策略网络参数定义（代码片02）2.2 策略网络结构定义（代码片03）三、损失函数3.1 获取可训练参数（代码片04）3.2 定义虚拟Label及损失函数（代码片05）四、优化器选择与参数更新4.1 选择模型优化器（代码片06）4.2 定义使用优化器的参数更新操作（代码片07）五、强化学习控制参数5.1 ...

**今天你必须知道的 3 件事：** > ① 智谱 GLM-5.2 正式上线开源，Code Arena 全球可用模型排名第一 > ② 科创板上市标准扩围至 AI 大模型行业，未盈利 AI 公司上市通道打开 > ③ A 股沪指收复 4100 点，科创 50 暴涨 4.69%，半导体全面爆发

本文系统介绍了智能体脂秤的产品概况、硬件架构设计、软件架构设计、关键技术挑战及解决方案。产品方面，概述了主流型号、目标用户和市场定位；硬件设计重点分析了芯片选型、BOM成本及PCB布局；软件架构详述了FreeRTOS系统选型及分层协议设计；技术挑战部分提出了Wi-Fi/BLE共存、阻抗测量精度等解决方案；最后展望了市场前景和2025年趋势。全文为体脂秤开发提供了全面的技术指导，特别适合IoT硬件开发者参考。

美团智能创作团队围绕海报生成 AIGC 构建了完整技术体系，打造「生成-编辑-评判」技术闭环，目前已在美团外卖、品牌 IP 等场景落地，已全部开源。

摘要： MCP（Model Context Protocol）与Function Call在工业级AI-Agent架构中存在本质差异。Function Call是模型调用工具的具体动作（如结构化指令执行），而MCP是管理工具调用与上下文的协议层，相当于AI Agent的“操作系统”。 核心区别： 抽象层级：Function Call关注单次工具调用（动作层），MCP管理多轮调度、状态、权限等（协议层）。 能力范围：MCP涵盖上下文治理、工具路由、记忆管理等，Function Call仅解决“调用哪个函数”。

论文：本文是我的精读笔记，梳理它的诊断、方法与实验，并谈谈个人看法。

本周 AI 领域迎来历史性转折——Claude Fable 5 短暂登顶后被叫停，智谱 GLM-5.2 开源破局逼近闭源前沿，全球大模型竞争进入"能力天花板"与"监管天花板"双轨博弈新阶段。

酒店 AI 已从“提供建议”进化到“自主执行”。核心变化是：AI 不再只是辅助决策，而是直接完成端到端任务（如调价、回复问询、处理会计流程），人类只介入例外和风险判断。

知识库只能回答简单问题，企业需构建认知体系，实现业务理解与智能决策。

2025年（收稿日期 2024-05-20；录用日期 2025-01-04；正式发表日期 2025-05-07；当前版本日期 2025-09-24）：Xiaoxing Guo, Ming Yang, Gui-Fu Lu（通讯作者：Gui-Fu Lu）：安徽工程大学计算机与信息学院；哈尔滨工程大学数学科学学院。

格式说明：

2024年（Manuscript received 24 October 2022；：Jie Chen, Yingke Chen, Zhu Wang, Haixian Zhang, Xi Peng（四川大学计算机学院；英国 Northumbria University 计算机与信息科学系；四川大学法学院）

自编码器不需要标签（用数据自身作监督信号，目标是重构 x），产出有用表示 h，能利用无标注的海量数据。非线性自编码器能找弯曲的流形（曲面），是 PCA 的强大推广，能捕捉更复杂的数据结构。上图展示自编码器的两个组件：编码器 f（x→h）和解码器 g（h→r），目标是 r 近似 x。上图展示欠完备自编码器的沙漏结构：编码维度（瓶颈，如 2 维）小于输入维度（如 8 维）。也有更具生物学意义的**再循环（recirculation）**算法（比较原始输入与重构输入的激活），但很少用于实际。

Embedding 是 RAG 语义检索的数学基础。本文用工程视角讲清文本如何变成向量，为什么语义相近会表现为距离相近，Top-K 检索如何工作，以及在模型选择、同模型约束、精确匹配和召回评估上的常见坑。

SKU图是商品规格对应的细节图片，是电商运营中最重要的素材类型之一。类型说明淘宝示例颜色图不同颜色的商品展示红色款、蓝色款、黑色款尺码图不同尺码的细节展示S码、M码、L码型号图不同型号的配置展示标准版、Pro版、Max版平台测试商品数识别成功识别率平均耗时淘宝20019296.0%1.2秒京东20018492.0%1.1秒拼多多20018291.0%1.3秒168820019095.0%1.2秒容器定位：多选择器策略兼容不同平台属性提取。

⚠️— 本项目为独立社区创建，与 Anthropic PBC 无任何关联。

显存爆炸（OOM）是深度学习训练中的高频痛点，而梯度累积（Gradient Accumulation）作为最核心的显存优化手段之一，却常被误用或理解不深。本文按照“是什么-为什么-怎么做”的结构化逻辑，系统梳理梯度累积技术的完整知识体系：从数学本质出发，推导reduction='sum'/'mean'对梯度的影响及Loss缩放的必要性；深入剖析PyTorch标准实现范式、BatchNorm层在累积步数下的行为陷阱，以及TensorFlow/PyTorch混合训练中Loss对齐的工程细节；最后结合大模型训练场