基础数学：数值分析与离散数学

原创已于 2025-04-12 14:14:00 修改 · 1.2k 阅读

8 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

于 2025-04-12 14:11:40 首次发布

微积分与概率论由此进：基础数学：微积分和概率与统计-CSDN博客

线代与优化理论由此进：基础数学：线性代数与优化理论-CSDN博客

图论与信息论由此进：基础数学：图论与信息论-CSDN博客

6.数值分析

1.数值稳定性

(1)条件数：

定义：衡量函数 $f(x)$ 对输入扰动的敏感度

绝对条件数：

$\kappa _{abs}=\underset{\epsilon \rightarrow 0}{lim}\underset{\left \| \delta x \right \|\leq \epsilon }{sup}\frac{\left \| f(x+\delta x)-f(x) \right \|}{\epsilon }$

相对条件数（更常用）：

$\kappa _{rel}=\underset{\epsilon \rightarrow 0}{lim}\underset{\left \| \delta x \right \|\leq \epsilon }{sup}\frac{\left \| f(x+\delta x)-f(x)\left \| / \right \| f(x)\right \|}{\left \| \delta x \right \| /\left \| x \right \|}$

矩阵条件数：对于矩阵 $A$ ，定义为 $\kappa (A)=\left \| A |||| A^{-1}\right \|$

应用：

矩阵求逆中，高条件数可能导致解的不稳定（梯度爆炸）

Softmax函数中，输入范围过大时条件数高，需数值稳定化处理

(2)Softmax的数值稳定实现

问题：直接计算 $softmax(x_i)=\frac{e^{x_i}}{\sum_{j}^{}e^{x_j}}$
稳定化技巧：减去最大值：

$softmax(x_i)=\frac{e^{x_i-max(x)}}{\sum_{j}^{}e^{x_j-max(x)}}$

2.误差分析

(1)误差类型

舍入误差：浮点数表示精度有限导致的误差。例如，0.10.1 在二进制浮点数中无法精确表示

IEEE 754误差上界：单精度浮点数的机器精度 $\epsilon _{machine}\approx 1.19 \times 10^{-7}$

截断误差：由近似算法（如泰勒展开截断）引入的误差。例如，用 $sinx\approx x-x^{3}/6$ 的截断误差为 $O(x^{5})$

(2)误差传播

一阶误差传播公式：

设 $y=f(x)$ ，输入误差 $\delta x$ ，输出误差近似为：

$\delta y\approx |f'(x)|\cdot \delta x$

多变量链式法则：

对 $y=f(x_1,x_2)$ ，误差传播为：

$\delta y\approx \sqrt{(\frac{\partial f}{\partial x_1}\delta x_1)^{2}+(\frac{\partial f}{\partial x_2}\delta x_2)^{2}}$

应用示例（量化误差）：

设量化缩放因子为 $s$ ，反量化误差为 $\delta x=\frac{\delta q}{s}$

在矩阵乘法 $Y=WX$ 中，误差传播为：

$\delta Y_{ij}=\sum_{k}^{}(\delta W_{ik}X_{kj}+W_{ik}\delta X_{kj})$

3.插值与逼近

(1)多项式插值

拉格朗日插值：

给定 $n+1$ 个点 $(x_i,y_j)$ ，构造多项式：

$P(x)=\sum_{i=0}^{n}y_i\prod_{j\neq i}^{}\frac{x-x_j}{x_i-x_j}$

缺点：高次多项式易出现龙格现象（边缘震荡）

牛顿插值：

使用差商递归构造多项式：

$P(x)=f[x_0]+f[x_0,x_1](x-x_0)+...+f[x_0,...,x_n]\prod_{i=0}^{n-1}(x-x_i)$

(2)样条插值

三次样条：

分段三次多项式，保证节点处一阶和二阶导数连续

方程组形式：

对每个区间 $[x_i,x_{i+1}]$ ，设 $S_i(x)=a_i+b_i(x-x_i)+c_i(x-x_i)^{2}+d_i(x-x_i)^{3}$

约束条件包括函数值、一阶导数、二阶导数连续，以及边界条件（如自然样条 $S''(x_0)=S''(x_n)=0$ ）

4.数值积分与微分

(1)牛顿-柯特斯公式

梯形法则：

近似积分 $\int_{a}^{b}f(x)dx\approx \frac{b-a}{2}[f(a)+f(b)]$

误差： $O((b-a)^{3})$

辛普森法则：用二次多项式近似函数：

$\int_{a}^{b}f(x)dx\approx \frac{b-a}{6}[f(a)+4f(\frac{a+b}{2})+f(b)]$

误差： $O((b-a)^{5})$

(2)有限差分法

一阶导数近似：

前向差分： $f'(x)\approx \frac{f(x+h)-f(x)}{h}$

中心差分： $f'(x)\approx \frac{f(x+h)-f(x-h)}{2h}$

误差：前向差分 $O(h)$ ，中心差分 $O(h^{2})$

二阶导数近似：

$f''(x)\approx \frac{f(x+h)-2f(x)+f(x-h)}{h^{2}}$

误差： $O(h^{2})$

5.核心公式

相对条件数： $\kappa _{rel}=\underset{\epsilon \rightarrow 0}{lim}\underset{\left \| \delta x \right \|\leq \epsilon }{sup}\frac{\left \| f(x+\delta x)-f(x)\left \| / \right \| f(x)\right \|}{\left \| \delta x \right \| /\left \| x \right \|}$

一阶误差传播： $\delta y\approx |f'(x)|\cdot \delta x$

多变量链式法则： $\delta y\approx \sqrt{(\frac{\partial f}{\partial x_1}\delta x_1)^{2}+(\frac{\partial f}{\partial x_2}\delta x_2)^{2}}$

梯形法则： $\int_{a}^{b}f(x)dx\approx \frac{b-a}{2}[f(a)+f(b)]$

一阶导数近似(中心差分)： $f'(x)\approx \frac{f(x+h)-f(x-h)}{2h}$

二阶导数近似： $f''(x)\approx \frac{f(x+h)-2f(x)+f(x-h)}{h^{2}}$