为什么注意力公式中要进行scaling

transformer中的attention为什么scaled 简单的说是为了上attention得到的权值更加均匀一点。在数量级较大时，softmax将几乎全部的概率分布都分配给了最大值对应的标签。 详见 transformer中的attention为什么scaled 如果本身就想获得差距较大的attention值，可以不用scaled。例如在这个ner任务里面 ...

前言 说起Transformer的self-attention，很容易想到下面的公式： Attention(Q,K,V)=softmax(QKT/dk)VAttention(Q,K,V) = softmax(QK^T/\sqrt{d_k})VAttention(Q,K,V)=softmax(QKT/dk​​)V 假设X是输入，分别经过WQW_QWQ​、WKW_KWK​和WVW_VWV​映射得到QQQ、KKK和VVV，【dkd_kdk​=Q.size(-1)=K.size(-1)】，通过QQQ和KKK的dot

1. Platt scaling Platt scaling本质上是对模型sigmoid输出的分数做概率变化。在此基础上引入了两个参数a， b，假设输入样本为$X_i$，模型输出分数为$f(X_i)$，则最终输出概率计算公式变为 a, b参数优化通过最大化似然函数（最小化对数损失函数）的方法可以求得 2. histogram binning 对于所有输出未校准预测概率$p_i$，将其划分成$M$个bin，对于每个bin设置一个校准分数$theta_m$，如果预测概率$p_i$若如区间$.

想要深入了解Transformer模型的计算成本和参数规模吗？🤔 在Google DeepMind团队的开源项目Scaling Book中，你会发现一个关于Transformer数学、参数计算和FLOPs分析的完整指南。这本"如何扩展你的模型"的教科书式博客，专门讲解在TPU和GPU上扩展大语言模型（LLM）的系统视角，其中Transformer数学分析是理解模型扩展成本的关键。 ## 🎯

DiT的演进仍在继续，从Sora到Stable Diffusion 3，DiT正在重新定义生成模型的未来。**Latent Diffusion Transformer (LDT)**：在潜变量空间应用DiT，进一步提升效率。DiT展现了超越U-Net的Scaling特性，这是其被Sora等大规模模型选用的核心原因。：Sora证明了DiT在视频生成中的Scaling能力，参数量达到30B+仍持续提升性能。：对于视频生成（如Sora），DiT能够直接建模时空长程依赖，这是U-Net难以实现的。

RopeScaling技术通过频率缩放扩展Transformer模型上下文长度，其中Dynamic NTK-Aware Scaling和YaRN是主流方法。Dynamic NTK基于神经切核理论动态调整RoPE频率参数

机器学习到底在学什么？ 监督学习、无监督学习、强化学习有什么区别？ 为什么要划分训练集、验证集、测试集？ 什么是过拟合、欠拟合、泛化能力？ 回归、分类、聚类分别解决什么问题？ 怎么选择常见算法？ 为什么不能只看准确率？ 这篇文章会尽量用图、例子和实战代码，把机器学习的基础框架讲清楚。

简要介绍ML的分类方法以及神经网络

数据准备（ation数据处理（Mergings——特征工程（Featureengineering:lagfeaturestatic feature——建模（Modeling:Bin-class, regression,multi-class）——训练、仿真（Training,Simulation——决策（Decision++Binaryc。

抑郁症作为一种常见的精神障碍，严重影响着全球数亿人的身心健康和社会功能。传统的抑郁症诊断主要依赖临床访谈和量表评估，存在主观性强、效率低等问题。本文设计并实现了一个基于机器学习的中文文本抑郁症风险检测系统，该系统通过对心理咨询文本的多维特征提取与融合，结合多种机器学习算法，实现对正常、疑似、明确三种风险等级的自动分类。系统采用Flask框架构建Web应用，集成了用户管理、单条预测、批量分析、数据可视化及管理员后台等完整功能。在特征工程方面，系统实现了包括情感词频、LIWC心理语言学特征、词性分布、句子结构等

模型学的不是数据本身，而是特征和标签之间的映射关系。数据是原料，特征是加工后的食材，模型是厨师。同样的数据，特征工程做得好，模型就能化腐朽为神奇；做得差，再好的算法也是巧妇难为无米之炊。

你有没有这种感觉——刷抖音的时候，它好像比你自己还懂你？点开一条短视频，下一条居然刚好也是你想看的。这背后藏着一门让计算机学会"思考"的技术。今天就来聊聊它。

英 /ˌɪntəˈsept/ 美 /ˌɪntərˈsept/

本文系统对比了四种主流功率半导体器件（SiMOSFET、IGBT、SiCMOSFET、GaNHEMT）的技术特性与应用场景。从基础概念入手，分析了禁带宽度对器件性能的影响，区分了单极与双极器件导电机制差异。通过工作原理阐释和参数对比表，详细比较了四类器件在耐压范围、开关速度、导通特性等方面的差异。重点解析了各器件的优劣势：硅器件成熟低价但性能受限，SiC器件适合高压高温场景，GaN擅长高频应用但耐压不足。最后提出选型决策树，指出不同应用场景的最优选择，并展望了宽禁带半导体的发展趋势。

说到底，数据划分是为了解决一个问题：模型到底是真的学到了规律，还是只是记住了训练数据？验证集和测试集，就是用来回答这个问题的"探路石"。

2. 为什么神经网络需要多个输入？ 为了处理多个特征。例如预测房价：结合面积、卧室数、地段等多个因素，比只看面积准确得多。随机（通常是很小的随机数）。事先设定的超参数，不能直接知道设大还是设小合适。通常做法：从常见值开始试（如0.01或0.001），观察loss变化：有些问题太复杂，一层（输入→输出）学不会。每个隐藏层的神经元，把上一层的多个输出加权求和再激活 → 相当于把小特征拼成更大的特征。以识别手写数字为例：单个神经元识别的特征通常很难直接理解，往往需要多个神经元的输出组合，才能形成人类能理解的特征（

本周阅读了和高斯泼溅人体重建的三篇论文的方法部分，并且对每个方法的优缺点进行总结，为下一步研究指明方向。本周阅读了这三篇人体重建的论文，关于GauHuman在上个星期已经进行了复现，下一步工作是复现3DGA的实验。

机制MMM满足ϵ\epsilonϵ-差分隐私，若对相邻数据集DD′D, D'DD′PMD∈SPMD′∈S≤eϵPMD′∈SPMD∈S​≤eϵ→ 一条记录的有无，对输出概率影响很小。

论文来源：Scientific Reports（2026, 16:16382）研究主题：结合数值模拟 (CFD)、实验测试与机器学习 (ML)，探究不同浓度Al2O3（氧化铝）- 乙二醇 (EG) 纳米流体对汽车散热器冷却性能的提升效果，并建立性能快速预测模型。该研究补齐了乙二醇基氧化铝纳米流体在汽车散热器领域的研究短板，通过 “仿真 - 实验 - 机器学习” 融合方案，完整验证了纳米流体的热、水力性能，明确 5%Al2O3为最佳使用浓度，同时搭建了低成本、高效率的性能预测模型。冷却液入口温度：80 ℃；