【机器学习系列】一文搞懂 零知识机器学习（zkML）

该技术基于安全多方计算（MPC）与零知识证明的深度融合，实现了两方或多方在不泄露各自私有输入的前提下联合生成证明的能力。同时，通过适配不同的验证器运行时，EZKL 同样支持 Solana、StarkNet 等非 EVM 生态，这种跨链兼容性源于其底层证明系统的通用性——Halo2 生成的证明可通过不同的验证器接口进行验证，而无需重新生成证明。具体而言，证明大小仅取决于安全参数与承诺方案的配置，而非输入维度或网络层数，从而确保了即使在处理复杂深度学习模型时，链上验证的 Gas 成本仍可控制在合理范围内。

跨层安全性依托StarkNet的L1-L2消息传递机制，L2生成的预测结果以消息形式传递至L1，经证明验证后触发Uniswap交易执行，确保资金操作与模型输出严格绑定。递归证明技术进一步压缩成本，使用Cairo编写的STARK验证器在CairoVM中验证上游证明，生成递归证明，最终L1仅需验证顶层递归证明，实现指数级成本降低。多项式插值阶段，每列执行轨迹被视为有限域F 上的点值表示，通过快速数论变换(NTT)转换为多项式形式Pi​(x) ，满足Pi​(ωj)=Ti,j​ ，其中ω 为域的生成元。

深入定义状态 (State, S)、动作 (Action, A)、奖励 (Reward, R) 以及状态转移概率 (Transition Probability, P)，构建一个完整的决策模型。强化学习是关于“决策”的科学，它让智能体（Agent）在与环境的持续互动中，通过试错和回报，学习一套能获得最大长期利益的最优行为策略。学习它，就是学习如何驱动机器的“想象力”。：一个迷宫地图，智能体（小机器人）在每个交叉口（状态）选择方向（动作），根据路径上的宝藏（奖励）或陷阱，更新自己的寻宝地图（策略）。

但一个“全连接网络”如果不包含隐藏层（比如只有输入直接映射到输出的单层感知机），或者结构上不满足多层非线性变换的条件，那它。这 m 个数据必须要有 m 个输入神经元来“接住”它们，然后分别通过 m 条独立的连接线（权重），传递给下一层（第一个隐藏层）的每一个神经元。假设你的数据集是一个表格，有 m 列（比如：年龄、工资、身高），那么你的输入特征维度就是 m。这种层与层之间的“两两相连”就是“全连接”名称的由来。3.多层感知机的第一层的神经元的数目等于输入特征向量的维度。1.全连接网络是指神经网络中的。

项目使用的是0 → 喜悦1 → 愤怒2 → 厌恶3 → 低落每条数据由两部分组成：第一列为标签（0-3的数字），第二列为微博文本内容。数据集为字符级处理，无需分词，直接按汉字拆分即可。为什么使用字符级而非词语级？对于中文短文本（如微博），字符级处理可以规避分词错误带来的误差，且词表规模更小，模型训练更快，非常适合入门级情感分类任务。函数定义与文档字符串函数接收三个参数：语料文件路径、词表最大尺寸、最低词频。文档字符串清晰说明了函数功能和参数含义，这是工程化代码的好习惯。

模块功能LSTM 预判预警分析历史通量/应力序列，预测未来失稳风险（如裂纹萌生）Speed-Gated 自愈实时监测通量变化率（速度），当超过阈值时自动增强修复强度双重触发机制满足任一条件（预判高风险 或 实际失稳）即启动自愈动态调节自愈强度随风险等级与速度同步变化。

Abstract: With the intelligent development of modern agriculture, traditional manual tomato ripeness detection methods suffer from low efficiency, strong subjectivity, and high labor costs. To improve the accuracy and efficiency of tomato ripeness detectio

本文总结了线性因子模型的两个重要主题：稀疏编码和PCA的流形解释。稀疏编码通过L1范数约束实现因子稀疏性，其编码器是非参数的优化过程，虽能获得更优重构但计算效率较低。PCA可视为学习数据所在的低维线性流形（"薄饼"几何），通过保留方差最大的主成分实现降维，并可从线性自编码器角度理解其编码-解码过程。这些线性模型为后续自编码器等深度表示学习模型奠定了基础，同时也揭示了线性方法的局限性，如稀疏编码生成样本质量不佳的问题。文章通过几何动画和对比表格直观展示了关键概念的技术原理与优劣。

多头注意力机制。语言是极其复杂的。当我们看到一句话里的某个词时，我们往往需要同时关注很多不同的维度。比如看这句话：“那只巨大的猫懒洋洋地躺在垫子上，它刚刚吃了鱼。当我们盯着“猫”我们的左眼可能需要关注它的修饰语（什么猫？——巨大的猫）；我们的右眼可能需要追踪它的代词指代（谁吃了鱼？——“它”指的是猫）。如果我们只有“一双眼睛”（单头注意力机制），网络在同一时间只能计算出一组α\alphaα。它如果去看了“巨大的”，就没办法同时去死死盯着“它”。

自编码器不需要标签（用数据自身作监督信号，目标是重构 x），产出有用表示 h，能利用无标注的海量数据。非线性自编码器能找弯曲的流形（曲面），是 PCA 的强大推广，能捕捉更复杂的数据结构。上图展示自编码器的两个组件：编码器 f（x→h）和解码器 g（h→r），目标是 r 近似 x。上图展示欠完备自编码器的沙漏结构：编码维度（瓶颈，如 2 维）小于输入维度（如 8 维）。也有更具生物学意义的**再循环（recirculation）**算法（比较原始输入与重构输入的激活），但很少用于实际。

为什么说记住了h1，因为即使到后面100个时刻，a100仍然大于0，说明输入h1>0，a100>0，当然h1<0，a100<0，这个可以自行计算，这就是过去的信息仍然存在于当前状态。之后如果没有输入，RNN持续输出0.957左右，根据上的计算可可以知道，隐藏值a一直在1.9左右，处于tanh的饱和区，所以输出经过tanh后，输出在0.957左右。这是只有1个神经元的RNN，我们通过举例子，来说明下RNN的内部具体是怎么操作的，以及其特点，假设w =2, a0 = 0，给予的输入是正值。

上图总结自编码器的概率视角三层次：确定函数（h=f(x), r=g(h)，传统自编码器）→ 概率分布（p(h|x), p(x|h)，随机自编码器）→ 生成模型（近似后验+似然+先验，VAE）。上图展示流形的经典例子：把一张 MNIST 图像垂直平移，所有平移版本在 784 维空间中构成一条 1 维流形（弯曲路径），平移量就是沿流形的坐标。把编码器/解码器从函数推广为分布，再加上对隐变量先验的建模和变分下界，就得到了 VAE——一个真正的深度生成模型。前两篇讲了自编码器的结构（82）和正则化（83）。

迁移学习和域适应指的是利用一个情景（如分布P1P_1P1​）中已经学到的内容，去改善另一个情景（如分布P2P_2P2​）中的泛化情况。在迁移学习中，学习器必须执行两个或更多个不同的任务，但我们假设能够解释P1P_1P1​变化的许多因素和学习P2P_2P2​需要抓住的变化相关。在域适应的相关情况下，每个情景之间任务（和最优的输入到输出映射）都是相同的，但输入分布稍有不同。迁移学习：任务不同域适应：任务相同，输入分布不同。

本文系统介绍了2026年大模型评估体系的最新发展与实践方法，主要内容包括： 系统化评估的必要性 指出仅监控训练Loss的局限性 提出三层评估架构：实时训练监控、定期基准测试、最终全面评估 训练监控系统搭建 详细演示Weights & Biases(W&B)的实战应用 提供完整的Python实现代码 介绍MLflow自托管方案作为替代选择 评估体系创新 强调多维度标准化评估的重要性 涵盖16+核心Benchmark指标 提出Multi-Score综合评分框架 文章通过具体代码示例和系统架构图，展示了如何构建完

摘要：通用表格识别技术通过深度学习与计算机视觉，实现了复杂表格的高精度数字化解析。该技术采用CNN+Transformer融合架构，支持有线/无线表格检测、结构还原与文字识别同步处理，具备多级表头识别、跨页续接等能力，在金融、政务、医疗等领域广泛应用。相比传统OCR，其突破性在于保留表格行列关系与合并单元格结构，将静态图像转化为可计算数据，解决了低质量文档识别难题，显著提升了企业数据自动化处理效率，成为数字化转型的关键基础设施。

98 年 Yann LeCun 团队提出的 LeNet-5 是首个完整的卷积神经网络架构，奠定了现代 CNN 的基本范式（卷积-池化-全连接）。本文通过 PyTorch 复现该网络，以一张 32×32 的猫咪灰度图为例，逐步展示数据在各层的变换过程。 实验从输入预处理开始，详细记录了卷积层 C1（6个5×5卷积核）的特征图生成过程，包括手动验证卷积计算、可视化6个28×28特征图，并分析 tanh 激活后的数值分布。随后数据经过 S2 池化层下采样为 6 个14×14特征图，展示了 2×2 最大池化的压缩效

title: 深入浅出 RNN 反向传播与梯度消失tags: Agent开发, 深度学习, 算法基础excerpt: 详细解析 RNN 的随时间反向传播（BPTT）过程。从底层的前向信息流，到严谨的微积分链式法则，直击全导数展开与连乘导致梯度消失的数学本质。循环神经网络（RNN）的核心优势在于处理带有序列依赖的数据。在训练阶段，这种处理时间序列的“记忆”特性，使得其反向传播算法（Backpropagation Through Time, BPTT）比传统的前馈神经网络多了一个关键的时间维度。

easy12306不仅是一个实用的验证码识别工具，更是一个优秀的深度学习入门教材。它展示了如何将复杂的现实问题（验证码识别）转化为计算机可以理解的数学模型。对于开发者而言，掌握该项目不仅能解决具体的抢票难题，更能深入理解卷积神经网络在图像分类领域的强大威力。随着AI技术的对抗升级，虽然12306的验证码机制在不断变化，但easy12306所代表的技术思路依然具有极高的参考价值。

结构化概率模型通过图结构描述高维数据变量间的直接相互作用，解决维度灾难问题。有向图模型（贝叶斯网络）适用于明确因果关系的场景（如接力赛），通过局部条件分布分解联合概率。无向图模型（马尔可夫随机场）适用于双向交互场景（如感冒传染），通过团因子乘积表示未归一化概率。两者均显著减少参数规模，但无向模型需额外计算配分函数进行归一化。选择模型类型取决于变量间作用是否具有方向性，图结构编码的条件独立性是概率分解的数学基础。** （字数：150） 核心要点： 维度灾难：朴素查表法不可行，需结构化建模 图模型价值：边