深度学习中常见的数学符号

实现神经网络的时候，一个好的符号约定能够对繁多的样本数据和网络参数，神经网络的复杂计算等进行有条理地 组织 和 表示。 数据标记与上下标 xxx：表示输入数据，维度为 nxn_xnx​； yyy：表示输出结果，维度（或者说类别数）为nyn_yny​； 上标 (i)^{(i)}(i)（小括号）：代表第 iii 个训练样本，x(i)x^{(i)}x(i) 和 xix_ixi​ 存在混用的情况，注...

深度学习中的数学概念符号用于系统化和简化复杂的数学和计算过程。它们通过明确的符号表示，如向量、矩阵、张量等，以及相关的函数和运算符，为神经网络模型的定义、训练和应用提供了标准化的数学语言，使得深度学习算法更加易于理解和实现。

在 LaTeX 中，

本文介绍了本专栏的符号定义，常见的优化算法等

数学符号。 数和数组。????，标量(整数或实数)。????，向量。????，矩阵。????，张量。????????，????行????列单位矩阵。????，维度蕴含上下文单位矩阵。????⁽ⁿ⁾，标准基向量[0,…,0,10,…,0]，其中索引n处值为1。diag(????)，对象方阵，其中对象元素由????给定。a，标量随机变量。????，向量随机变量。????，矩阵随机变量。 集合和图。????，集合。ℝ，实数集。{0,1}，包含0和1集合。{0,1,…,????}，包含...

本文系统梳理了Transformer模型中常见的数学符号与激活函数。详细介绍了求和符号Σ、偏导数∂、梯度∇等数学符号的读音和含义，并解释了sigmoid、softmax、ReLU、GELU等核心激活函数的特性与应用场景。特别对GELU函数进行了深入分析，包括其数学公式、近似计算方法以及在Transformer中的重要作用。此外还补充介绍了tanh、LeakyReLU、Swish等衍生函数的特性。这些数学工具是理解Transformer注意力机制和前馈网络的关键基础。

在撰写深度学习相关论文或技术文档时，符号的正体与斜体使用不仅影响内容的专业性，也关系到读者对公式和术语的准确理解。以下是结合学术规范和实践经验总结的注意事项，供研究者参考。

# note - 这里记录个人博客中常用的数学符号数学格式和对应含义 @[toc] # 数与数组 $$ \begin{array}{ll} \boldsymbol{\alpha} & \text { 标量 } \\ \boldsymbol{\alpha} & \text { 向量 } \\ \boldsymbol{A} & \text { 矩阵 } \\ \mathbf{A} & \text { 张量 } \\ \boldsymbol{I}_n & n \text { 行 } n \text { 列单

最近受到疫情影响，学校不能开学，而且在家学习效率也不高，所以这几天就开始试着写博客，然后写博客就需要用到Markdown。之后我就整理了两篇文章，前一篇文章是入门的，另一篇就是这一篇，也可以叫做Markdown进阶篇。

​​​​​​​ ​​​​​​​

主要是在jupyter-notebook和CSDN等基本多支持markdown，因此做这个公式输入的整理还是方便日后自己查找使用。单字符向量(固定长度箭头短)，多字符向量（箭头长度随着字符数量的增多变化），单均值，多字符均值。多行环境:\代表换行，默认右对其，可以在等号前加&实现等号对齐，具体是&后一对齐。\dfrac是显示类型(display)，可以显示的更大一点，作用一样。大括号，左侧上取整，右侧上取整，左侧下取整，右侧下取整，绝对值，求和，求积，积分，多重积分，回路积分，双重回路积分。

Part. 0 前置知识 扩展欧几里得算法； 模运算相关知识。 Part. 1 中国剩余定理 中国剩余定理是用于求解形如： {x≡a1(mod  m1)x≡a2(mod  m2)…x≡an(mod  mn) \begin{cases} x\equiv a_1(\mod m_1)\\ x\equiv a_2(\mod m_2)\\ \ldots\\ x\equiv a_n(\mod m_n) \...

数学模式 在LaTeX数学模式中，公式有两种形式——行内公式和行间公式。前者公式嵌入在行内，适用于简单短小的公式；后者居中独占一行，适用于比较长或重要的公式。公式中的空格均会被忽略，可以使用命令\quad或\qquad实现 在行间公式中，命令\tag{n}可以进行手动编号 行内公式 $ f(x) = a+b $ >> 行间公式 $$ f(x) = a+b $$ >> 手动编号 $$ f(x) = a+b\tag{1.1} $$ >> .

在数学中，∏符号表示乘积运算符，它可以用于计算一系列数的乘积。在使用∏符号时，我们通常会指定它的上下标来表示乘积的范围和形式。具体来说：上标：通常用于表示乘积的上限或截止点，表示从某个初始值开始一直乘到上限或截止点为止。例如，i1∏n​i表示从i1开始一直乘到in为止，即1⋅2⋅3⋯⋅n。下标：通常用于表示乘积的形式或范围，表示哪些数需要进行乘积运算。例如，i∈S∏​ai​表示对于集合S中的每个元素i，都需要将对应的数ai​。

1、符号定义 对于每个neuron输出定义为a，其中a有上标和下标，上标l表示是第l层的neuron的输出，i表示是第l层的第i个neuron输出。

flyfish

从程序中学习知识点 1.算术运算符 #运算符（Operator）：完成不同类型的常量、变量之间的运算 #除法运算 / 结果是一个浮点型的精确数的值，与java等其他语言的不同之处 print(7/2,7.0/2,-7/2) #整除运算 print(7//2,-7//2) print(7.0//2,-7//2.0) #取余运算 print(7%2,-7%2) 算术运算符图例 2.赋值运算符 #连续赋值 a=b=c=1 print(a,b,c) #多元赋值 (x,y,z)=(1,2,"p

个人常用Markdown数学符号汇总，便于随时查阅。 $\leq$：≤\leq≤ $\geq$：≥\geq≥ $\leqslant$：⩽\leqslant⩽ $\geqslant$：⩾\geqslant⩾ $\ne$：≠\ne​= $\approx$：≈\approx≈ $\sdot$：⋅\sdot⋅ $\perp$：⊥\perp⊥ $\int$：∫\int∫ $\infin$：∞\infin∞ $\infty$：∞\infty∞ $\in$：∈\in∈ $\cap$：∩\cap∩ $\cup$：∪\c