神经网络与深度学习（第二章习题）

最新推荐文章于 2023-09-26 23:17:34 发布

原创最新推荐文章于 2023-09-26 23:17:34 发布 · 3.2k 阅读

24 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#神经网络 #深度学习 #机器学习

2-1：分析为什么平方损失函数不适用于分类问题？

在使用One-Hot编码表示分类问题的真实标签的情况下，我们使用平方损失函数计算模型的预测损失时会计算预测标签中每一个类别的可能性与真实标签之间的差距。若我们想要得到更小的损失则需要模型预测得到的预测标签整体与One-Hot编码的真实标签相近，这对于模型来说计算精度要求过高，在分类上我们往往只关注模型对数据的真实类别的预测概率而不关注对其他类别的预测概率。所以对分类问题来说，平方损失函数不太适用。

2-2：

分析：局部线性回归可以实现对临近点的精确拟合同时忽略那些距离较远的点的贡献，即近点的权值大，远点的权值小。越小越精确并且太小可能出现过拟合的问题。但局部线性回归不会得到一条适合于全局的函数模型，在每一次预测新样本时都会重新的确定参数，从而达到更好的预测效果。
1、r(n)的作用是改变采样数据的概率分布，达到基于先验的效果
2、r(n)用来修改噪声点的损失权重，是线性模型的拟合效果提高

2-3：证明在线性回归中，如果样本数量𝑁小于特征数量𝐷+1，则 $XX^T$ 的秩最大为𝑁。

因为X为(𝐷+1, 𝑁)形状的矩阵，所以其秩rank(X)<+min(𝐷+1, 𝑁)

由题意可知rank(X) ≤ 𝑁,所以rank( $X^{T}$ ) ≤ 𝑁
由定理得 rank( $X$ $X^{T}$ ) ≤ min{rank(𝑿), rank( $X^{T}$ )} = 𝑁
所以 $XX^{T}$ 的秩最大为𝑁

2-4：在线性回归中，验证岭回归的解为结构风险最小化准则下的最小二乘法估计。

2-5：在线性回归中，若假设标签 𝑦 ∼ 𝒩( $W^{T}$ 𝒙, 𝛽)，并用最大似然估计来优化参数，验证最优参数为公式(2.52)的解。

2-6：

假设有 𝑁 个样本 𝑥(1), 𝑥(2), ⋯ , 𝑥(𝑁) 服从正态分布 𝒩(𝜇, 𝜎2)，其中 𝜇 未知．
1）使用最大似然估计来求解最优参数𝜇𝑀𝐿
2）若参数𝜇为随机变量，并服从正态分布𝒩(𝜇0, $\sigma _{_{0}^{}}^{2}$ )，使用最大后验估计来求解最优参数 $\mu ^{MAP}$ 。

2-7：在习题2-6中，证明当𝑁 → ∞时，最大后验估计趋向于最大似然估计。

2-8：验证公式(2.61)。

2-9：试分析什么因素会导致模型出现图2.6所示的高偏差和高方差情况

一般来说，当一个模型在训练集上的错误率比较高时，说明模型的拟合能力不够，偏差比较高．这种情况可以通过增加数据特征、提高模型复杂度、减小正则化系数等操作来改进．当模型在训练集上的错误率比较低，但验证集上的错误率比较高时，说明模型过拟合，方差比较高．这种情况可以通过降低模型复杂度、加大正则化系数、引入先验等方法来缓解．此外，还有一种有效降低方差的方法为集成模型，即通过多个高方差模型的平均来降低方差．
2-10：验证公式(2.66)