24、社交机器人的自适应行为生成与动作选择

社交机器人的自适应行为生成与动作选择

1. 用户姿态特征与行为分类

用户姿态特征方面，每个用户姿态可表示为 $P = [k_1, k_2, …, k_9]$，其中 $k_i = (x_i, y_i, z_i)$ 是第 $i$ 个关键点相对于相机的 3D 位置。用于行为识别的九个身体关键点包括：
1. 躯干
2. 脊柱肩部
3. 头部
4. 左肩部
5. 左肘部
6. 左手腕
7. 右肩部
8. 右肘部
9. 右手腕

为促进模型收敛，从每个用户姿态中提取特征向量 $\overline{P} = [d, k_2^1, k_3^2, k_4^2, k_5^4, k_6^5, k_7^2, k_8^7, k_9^8]$，其中 $d = |k_1|$ 是相机到躯干的距离，$k_n^m = (k_n - k_m) / |(k_n - k_m)|$ 是从第 $m$ 个身体关键点到第 $n$ 个身体关键点的方向向量，归一化为单位向量。每个用户姿态特征向量的维度为 25，并且特征向量的每个值在 -1 和 1 之间。

用户行为类别上，参考 AIR - Act2Act 数据集的交互场景，定义了 16 种用户行为：
| 编号 | 用户行为 |
| ---- | ---- |
| u0 | 站立 |
| u1 | 开门 |
| u2 | 手放在墙上 |
| u3 | 不在场 |
| u4 | 右手打电话 |
| u5 | 左手打电话 |
| u6 | 双手打电话 |
| u7 | 放下双手 |
| u8 |