11、AI系统的故障检测、恢复与性能优化

AI系统的故障检测、恢复与性能优化

1. 故障检测

在故障发生到导致系统失效的这段时间里，系统处于错误模式。架构设计需要包含能够可靠识别问题的组件，这些组件要能识别组件的完全故障、组件或模型计算中的细微故障。

1.1 完全故障

在分布式系统中，组件的完全故障表现为不响应或不发送消息。识别完全故障的基本方法是健康检查，主要有两种形式：
- Ping/echo ：由监控组件发起，向被监控组件发送消息，被监控组件需在规定时间内响应。若未响应，监控组件会多次尝试后判定其故障。
- Heartbeat ：由被监控组件主动发起，定期向监控组件发送消息表明自身仍在运行。监控组件在错过多次心跳后判定其故障。

1.2 可疑输出

组件或模型的可疑输出更难检测。在设计阶段就需考虑输出可疑的可能性，像传感器数据和模型预测都可能存在不确定性。可采用冗余和投票机制、护栏机制来检测和管理可疑输出。

1.3 运行时错误检测

持续监控输入数据和输出，检测异常和分布外的数据能发现运行时错误。具体技术如下：
- 监控指标 ：如准确率、精确率、召回率、F1分数或自定义指标，还应包含基础设施健康指标。
- 设置警报 ：当指标偏离基线时触发，可用于检测效率和准确性问题。
- 理解模型决策过程 ：使用LIME或SHAP等技术，找出导致不可靠预测的特征。
- 跟踪数据分布统