LLM-MPC混合架构:车载大语言模型用来增强自动驾驶系统

1. 概述

2025年，苏黎世研究团队在RSS2025会议上正式提出「LLM-MPC混合架构」，标志着大语言模型（LLM）在自动驾驶系统中的实用化迈出关键一步。该方案旨在解决传统深度学习模型在极端交通场景中泛化能力不足的问题。通过在车载终端边缘部署LLM，并融合模型预测控制（MPC）技术，系统在保持实时性与安全性的同时，推理速度提升10.5倍，为复杂环境中的高鲁棒决策提供全新范式。

2. 核心技术：边缘部署与混合控制架构

2.1 双模块协同框架

• DecisionxLLM（决策模块）：
  • 分析车载传感器数据（如位置、速度、与障碍物距离），基于自然语言指令（如 “平稳驾驶”）判断当前行为是否符合预期。
  • 引入检索增强生成（RAG），结合机器人特定知识（如安全速度范围、车道边界阈值）增强推理准确性，避免纯文本 LLM 的泛化不足。
• MPCxLLM（控制模块）：
  • 基于模型预测控制（MPC）的底层控制器，接收 LLM 指令动态调整成本函数参数（如横向加速度权重、速度约束）。
  • 通过低秩适应（LoRA）微调，使 LLM 学习如何将自然语言映射至 MPC 参数（如 “远离墙壁” 对应增大横向偏差权重qn），平衡控制灵活性与安全性。

2.2 边缘部署优化技术

• 模型压缩：
  • 量化（Quantization）：将 LLM 参数从 FP16 压缩至 Q5_k_m 格式，显存占用减少 40% 以上，推理速度提升 10.5 倍（如 Qwen2.5-7b 在 Jetson Orin 上从