Training Large Language Models for Reasoning through Reverse Curriculum Reinforcement Learning

Uniapp-APP后台保活插件（安卓后台保活）亲测有效！

注：本系列不包括基础的知识点讲解，为笔记/大纲性质而非教程，用于论文知识点和思想和快速记忆和回顾，更多细节建议阅读论文原文。CoT-retry 策略的效果：仅在初始尝试失败时才引入额外的推理提示，既节约了计算资源，又显著提升了多轮生成性能。将多轮代码生成与 CoT 结合，实现 Reason prompt + Instruct prompt 的。prompts 搜索。

之前我们常说的 scaling law 一般指的是 pre-train 阶段通过算力、数据、模型参数量的提升来不断提升模型智能水平。不过最近一年来看，碰到了不少瓶颈：算力上我们受限于超大规模训练集群的各种工程挑战，例如 LLaMA 3 的 paper 里就提到他们的万卡集群每两小时就会有坏卡问题出现，所以进一步拓展到 10 万卡规模的集群目前看起来难度很大。数据方面，文本数据达到 10-20T token 量级后，需要进一步在数量级上提升目前也比较困难了。

可能是去年写或讲的关于ChatGPT原理的文章和课程，影响力太大了导致​​自从OpenAI o1出来后，每过两天，就有朋友问，“校长 o1啥时候出解读或课程”，实在是各个大模型项目上的事情太多，加之近期一直在抠机器人(比如本博客内连发了五篇机器人相关的文章，再不刻意强插一下比如o1，真的很难停下来)但，今天又有朋友来问，故，准备并行开写o1了一开始，我主要是看的这几个资料但随着本文越写越深，挖出来的相关资料也越来越多，我会竭尽所能，确保本文具备以下两大特征。

PointWorld: Scaling 3D World Models for In-The-Wild Robotic Manipulation

单样本性能媲美全量数据：筛选出的单个样本（如π1\pi_1π1​）用于1-shot RLVR时，能使Qwen2.5-Math-1.5B模型在MATH500上的性能从36.0%提升至73.6%，在6个数学推理基准上的平均性能从17.6%提升至35.7%，与包含该样本的1209个样本的DeepScaleR子集（DSR-sub）训练效果几乎持平；且这些有效单样本对基础模型而言难度较低，无需训练即可高概率解决。

稀疏矩阵 实际上 agent进行学习的时候，多数的时候 是没有办法得到 reward 的。那在没有办法得到 reward 的情况下，训练 agent 是非常困难的。举例来说，假设你要训练一个机器手臂使用螺丝起子把螺丝钉栓进去，因为你知道一开始 agent 是什么都不知道的，它唯一能够做不同的 action 的原因是 exploration。只有随机到，它把螺丝起子捡起来，再把螺丝栓进去，然后就会得到 reward 1，但是这件事情很难发生。所以，不管你的 actor 做了什么事情，它得到 reward 永远

Keys 1. reward shaping： 在我们的agent与environment进行交互时，我们人为的设计一些reward，从而“指挥”agent，告诉其采取哪一个action是最优的，而这个reward并不是environment对应的reward，这样可以提高我们estimate Q-function时的准确性。 2. ICM（intrinsic curiosity module）： 其代表着curiosity driven这个技术中的增加新的reward function以后的reward

【摘要】针对大型语言模型（LLMs）与多样化人类偏好对齐的挑战，本文提出梯度自适应策略优化（GAPO）方法。传统强化学习人类反馈（RLHF）在处理冲突偏好时存在局限，GAPO将问题建模为多目标优化，通过多梯度下降算法自适应调整各目标梯度权重，实现帕累托最优。扩展版本P-GAPO进一步融入用户偏好权重，生成定制化解决方案。理论证明GAPO具有收敛性，在Mistral-7B上的实验显示，其在有用性和无害性平衡上超越现有方法。该研究为复杂偏好对齐提供了新思路，相关成果由中科院计算所与浙江大学团队联合完成。

24年12月来自Meta和UC San diego的论文“Training Large Language Models to Reason in a Continuous Latent Space”。 大语言模型 (LLM) 仅限于在“语言空间”中进行推理，它们通常使用思维链 (CoT) 来表达推理过程，以解决复杂的推理问题。然而，认为语言空间可能并不总是推理的最佳空间。例如，大多数单词tokens主要用于文本连贯性，对推理来说并不是必不可少的，而一些关键tokens需要复杂的规划，对 LLM 构成了巨大

上下文工程优先：维护（页面结构、账号、业务规则），AI 输出质量立竿见影；AI 生成 + 人审 + 入库：测试代码是资产，必须 code review，禁止「AI 跑完就当真」；定位器纪律：全程getByRolegetByLabel，从源头减少失效；分层使用：单元/接口测试用传统框架，UI 探索性测试用 Agent，回归用固化脚本；成本控制：批量生成用便宜模型（DeepSeek / 本地 Ollama），关键修复用强模型；安全红线：测试 Agent 只能连测试环境；

文章摘要 FormStruct-Bench论文提出了一个针对表单类文档结构识别的新型分层评测基准，解决了传统方法在结构化评估上的不足。研究团队通过"导演-美术-质检"的合成流程构建了7,000个带精确标注的表单实例，并设计了分层评估指标，包括内容读取(Value-nED)、结构重建(Schema-nED)和路径正确率(TSR-path)等。实验结果显示，当前最佳系统在内容读取上达到83.85%，但结构路径正确率仅17.91%，区域检测和关系识别指标更低。研究表明，视觉退化主要影响结构绑定而非内容识别，且合成

在世界人工智能大会（WAIC）2026上，网易智企举办了"用可信AI构建企业新智生产力"专题论坛。会上，网易智企副总经理段毓铮带来了题为《从能聊、到能干、到越干越好：企业AI的上岗之路》的演讲，抛出了一个核心观点：不把AI当工具，而是当作"AI员工"来看待。

AF 568 PSA是将Alexa Fluor568橙红荧光基团与豌豆凝集素（Pisum sativum agglutinin，PSA）定向偶联制备的糖链靶向特异性荧光探针，完整保留豌豆凝集素对α-甘露糖、α-葡萄糖的高亲和力识别特性，依托Alexa Fluor568染料优异的光学性能，在578nm处呈现明亮的橙红特征发射荧光，荧光亮度高、抗光漂白性能优异，是多色荧光标记体系中橙红通道靶向标记α-甘露糖/α-葡萄糖糖链的经典科研工具。（上述信息均由陕西新研博美生物科技小编木木所整理）性能参数与核心优势‌。

阿尔西在全球布局的三大制造基地为工业级温控机组的产能协同提供了坚实保障，各基地在工业冷水机、医疗制冷、3D打印技术、组装、钣金、焊接等环节形成专业化分工与技术互补。阿尔西集团凭借近三十年的技术积累，将工业级温控机组的应用边界从传统制造业拓展至超大规模数据中心、电信基础设施及边缘计算场景，为全球ICT行业提供从芯片级到系统级的全方位温控解决方案。包括针对边缘计算场景的水平式整装空调型工业级温控机组，以及适用于中大型数据中心的远程温控型工业级温控机组，制冷能力覆盖多种规格，在保证可靠性的同时实现高效运行。

Hugging Face报告显示，2026年以来中国开源模型参数规模达7540亿至2.78万亿，远超美国同期的1300亿以下。Qwen已成为开源生态重要基础模型，衍生模型数量超15万个。阿里千问团队宣布Qwen3.8-27B正式开源，可在高端手机和消费级显卡流畅运行；同时首次开放Max级别旗舰模型Qwen3.8-2.4T-A95B权重，总参数2.4万亿，采用稀疏MoE架构。

API网关转发请求，不关心内容。AI网关处理消费，不只转发。这是两类网关的根本区别。调用方不需要知道服务在哪，网关负责路由。请求体内容在网关层透传，网关不碰。企业要知道AI调用的内容安不安全、花了多少钱、归谁的部门、模型说了什么。请求体内容在网关层被检查、脱敏、计费、记录。差异的根源在于：大模型调用是按次消费，每次调用花钱；传统API调用是基础设施服务，部署了就能用。

自建语音转写，门槛不高，但要做得稳，坑都在细节里。我实测下来的结论：环境坑比模型坑多，官方标了"生产验证"的路径可以放心走，但认证、限流、监控这三件事，官方明确留给你自己补，别指望示例代码替你解决。再说句心里话：自建最值钱的不是省下的服务费，是我想要什么能力都能自己加，不用求人。转写量大、音频敏感的朋友，值得自己搭一套；偶尔用几回的，云 API 更省心。觉得有用的话，顺手点个关注，后面我会继续写本地 AI 服务落地的实测。【欢迎访问我的个人博客主页，这里有我的精选文章和AI大模型日报专栏。👇）本文用到。

Android14-Framework-Binder