Large Language Model Data Generation for Enhanced Intent Recognition in German Speech

论文核心内容总结与翻译

一、文章主要内容

该研究聚焦德语老年人群语音指令意图识别（IR），旨在解决现有方法多局限于短指令且以英语为主的问题。

数据与模型基础

• 数据集：采用德国老年语音指令数据集（SVC-de），含30名50-99岁德语母语者录音，共3小时9分钟语音数据，涵盖“help”“light_on”“light_off”“roll_up”“roll_down”“no_command”6类意图；同时利用LeoLM、Llama3、ChatGPT三个大语言模型（LLM）各生成约2500条文本样本，构建意图识别数据集，并通过XTTS-v2文本转语音模型生成合成语音用于评估。
• 核心模型架构：将经SVC-de数据集微调适配老年德语语音的Whisper自动语音识别（ASR）模型，与基于Transformer的语言模型（BERT、DistilBERT、Electra）结合。Whisper模型负责语音转文字，Transformer语言模型则基于LLM生成的合成文本数据集训练，用于对转录文本进行意图分类；同时以Whisper编码器输出训练双层分类网络作为基线模型。

实验设计与结果

• 实验设置：对BERT、DistilBERT、Electra模型在不同LLM生成的文本数据集上训练（训练、验证、测试集比例7:2:1，学习率3e-4，dropout 0.1，训练5轮），进行跨数据集评估及合成语音评估，