59、逻辑回归（LR）基础与应用：概率模型参数化教程

逻辑回归（LR）基础与应用：概率模型参数化教程

1. 逻辑回归基础

逻辑回归是一种强大的统计方法，可将线性模型表示为对数几率（log-odds），并通过S形函数将其转换为概率。其特别之处在于能够处理分类数据，即取值有限的变量，且不要求这些取值具有顺序性。

在处理分类数据时，每个分类变量会被转换为一组所谓的“哑变量”。例如，假设一个变量 $y_i$ 的可能取值集合为 $\Omega_Y = {A, B, C, D, E}$，那么在模型中，它会以5个“副本”的形式出现，每个副本对应一个类别，如下表所示：
| $y_i$ | $y_{iA}$ | $y_{iB}$ | $y_{iC}$ | $y_{iD}$ | $y_{iE}$ |
| — | — | — | — | — | — |
| A | 1 | 0 | 0 | 0 | 0 |
| A | 1 | 0 | 0 | 0 | 0 |
| B | 0 | 1 | 0 | 0 | 0 |
| C | 0 | 0 | 1 | 0 | 0 |
| D | 0 | 0 | 0 | 1 | 0 |
| D | 0 | 0 | 0 | 1 | 0 |
| E | 0 | 0 | 0 | 0 | 1 |

这些哑变量使得在模型中处理分类数据变得容易，且不要求对分类水平进行排序。

2. 处理缺失值

数据中的缺失值可以通过以下三种常见方法处理：
1. 截肢法（Amputation） ：从数据库中删除不完整的记录，且不进行替换。但这种方法只有在不严重限制可用数据的情况下才有意义