【清华代码熊】字节Mixture-Of-Depths Attention论文解析

该平台针对行业痛点提出三大创新解决方案：1）异构算力解耦，通过容器化技术实现X86/ARM架构及GPU/NPU芯片的跨平台适配，硬件抽象层设计使算法迁移效率提升95%；2）多协议流媒体融合引擎，支持GB28181/RTSP等主流协议及H.265/4K视频解析，实现品牌设备统一接入；3）闭环AI生态，集成算法商城、数据标注、可视化大屏及全渠道告警系统，提供从标注到推理的完整工作流。平台采用微服务架构，支持源码交付和OEM定制，显著降低二次开发成本，适用于智慧城市、工业视觉等场景的私有化部署需求。

论文：本文是我的精读笔记，梳理它的诊断、方法与实验，并谈谈个人看法。

本周 AI 领域迎来历史性转折——Claude Fable 5 短暂登顶后被叫停，智谱 GLM-5.2 开源破局逼近闭源前沿，全球大模型竞争进入"能力天花板"与"监管天花板"双轨博弈新阶段。

酒店 AI 已从“提供建议”进化到“自主执行”。核心变化是：AI 不再只是辅助决策，而是直接完成端到端任务（如调价、回复问询、处理会计流程），人类只介入例外和风险判断。

2025年（收稿日期 2024-05-20；录用日期 2025-01-04；正式发表日期 2025-05-07；当前版本日期 2025-09-24）：Xiaoxing Guo, Ming Yang, Gui-Fu Lu（通讯作者：Gui-Fu Lu）：安徽工程大学计算机与信息学院；哈尔滨工程大学数学科学学院。

读者应理解，工具选择不是越复杂越好，而是要贴合当前能力和任务阶段；同时，回测、模拟和实盘验证的问题不同，工具也应服务于这些不同判断。

格式说明：

2024年（Manuscript received 24 October 2022；：Jie Chen, Yingke Chen, Zhu Wang, Haixian Zhang, Xi Peng（四川大学计算机学院；英国 Northumbria University 计算机与信息科学系；四川大学法学院）

自编码器不需要标签（用数据自身作监督信号，目标是重构 x），产出有用表示 h，能利用无标注的海量数据。非线性自编码器能找弯曲的流形（曲面），是 PCA 的强大推广，能捕捉更复杂的数据结构。上图展示自编码器的两个组件：编码器 f（x→h）和解码器 g（h→r），目标是 r 近似 x。上图展示欠完备自编码器的沙漏结构：编码维度（瓶颈，如 2 维）小于输入维度（如 8 维）。也有更具生物学意义的**再循环（recirculation）**算法（比较原始输入与重构输入的激活），但很少用于实际。

Embedding 是 RAG 语义检索的数学基础。本文用工程视角讲清文本如何变成向量，为什么语义相近会表现为距离相近，Top-K 检索如何工作，以及在模型选择、同模型约束、精确匹配和召回评估上的常见坑。

SKU图是商品规格对应的细节图片，是电商运营中最重要的素材类型之一。类型说明淘宝示例颜色图不同颜色的商品展示红色款、蓝色款、黑色款尺码图不同尺码的细节展示S码、M码、L码型号图不同型号的配置展示标准版、Pro版、Max版平台测试商品数识别成功识别率平均耗时淘宝20019296.0%1.2秒京东20018492.0%1.1秒拼多多20018291.0%1.3秒168820019095.0%1.2秒容器定位：多选择器策略兼容不同平台属性提取。

⚠️— 本项目为独立社区创建，与 Anthropic PBC 无任何关联。

显存爆炸（OOM）是深度学习训练中的高频痛点，而梯度累积（Gradient Accumulation）作为最核心的显存优化手段之一，却常被误用或理解不深。本文按照“是什么-为什么-怎么做”的结构化逻辑，系统梳理梯度累积技术的完整知识体系：从数学本质出发，推导reduction='sum'/'mean'对梯度的影响及Loss缩放的必要性；深入剖析PyTorch标准实现范式、BatchNorm层在累积步数下的行为陷阱，以及TensorFlow/PyTorch混合训练中Loss对齐的工程细节；最后结合大模型训练场

时间：2021 发表场所：IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)作者：Xinwang Liu（国防科技大学，计算机学院）DOI：10.1109/TPAMI.2021.3116948现有的多核对齐（MKA, Multiple Kernel Alignment）最大化聚类算法（如 SimpleMKKM）均假设预先计算好的多个基础核矩阵 KpK_pKp​ 都是完整的。然而在阿尔茨海默病预测、心脏病鉴别、癌症生物学

摘要：2026年6月，AI编程领域迎来范式革命——LoopEngineering（循环工程），由ClaudeCode之父Boris Cherny等人提出。该理念主张从"提示词编写"转向"循环设计"，将AI编程分为六大组件：自动化触发、工作树隔离、技能沉淀、连接器集成、子Agent协作和外部记忆层。文章详细阐述了完整循环的工作流程、14步构建路线图，并警示三大陷阱：验证债务、理解债务和认知投降。LoopEngineering不是否定提示词，而是将人的角色升级为AI系统架

• 研发型企业普遍面临图纸、BOM、订单和质量数据分散在不同系统与文件中的“信息孤岛”问题，AI智能体是打通这些断点的关键工具。 • 通用聊天机器人无法适配研发场景的权限审计、内网部署和业务系统集成需求，场景化AI智能体是更务实的选择。 • 场景化AI智能体解决方案，通过可信数据底座和业务系统集成，能有效提升研发协同效率并降低重复工作。 • 从数据治理到智能体部署，需要分阶段推进，避免一次性“大而全”的盲目投入。

如果说过去直播电商是靠着“全网最低价”来吸引观众们，那么近年来，很多头部主播都在围绕“综艺化”和“陪伴化”来聚拢流量，比如东方甄选们的双语带货，比如老罗的脱口秀式直播，又比如遥望科技的明星聊天带货……所以接下来，李佳琦、遥望科技们可能就需要化被动为主动了，将真人直播的不可替代性，转化为可被量化的商业叙事，将“人”的价值从成本项重新定义为核心资产，从而开启下一个增长十年……：也许AI数字人可以把效率推向极致，但直播电商的底色从来不是效率，而是人与人的相逢、话语与话语的交织、信任与信任的传递。

本文介绍了ESP-WHO边缘机器视觉框架在ESP32-S3芯片上的部署与移植方案。主要内容包括：1. ESP-WHO框架概述及示例编译流程，支持人脸识别、物体检测等功能；2. 第三方ESP32-S3开发板与官方ESP32-S3-EYE的硬件差异分析；3. 详细移植步骤：修改LCD引脚配置（SPI模式改为0、背光GPIO调整）、OV3660摄像头驱动适配、关键menuconfig配置（PSRAM设置、模型存储位置等）；4. 最小化应用代码示例及常见问题解决方法。