论文阅读 2024 COLING CCFB Humanizing Machine-Generated Content: Evading AI-Text Detection through Advers

总目录 大模型安全相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328

Humanizing Machine-Generated Content: Evading AI-Text Detection through Adversarial Attack

https://arxiv.org/abs/2404.01907

https://www.doubao.com/chat/1903863757755650

Abstract（摘要）

随着大语言模型（LLMs）的发展，在应对虚假信息传播、知识产权保护、学术剽窃预防等恶意使用场景时，判断一段文本是否由机器生成变得越来越困难。虽然训练良好的文本检测器在未知测试数据上表现出不错的性能，但近期研究发现，当遇到像释义改写这样的对抗攻击时，这些检测器存在漏洞。

本文提出了一个更广泛的对抗攻击框架，目的是对机器生成的内容进行微小改动，使其能逃避检测。作者考虑了白盒和黑盒两种攻击场景，并在动态场景中采用对抗学习的方法，来评估当前检测模型抵御此类攻击的鲁棒性是否能得到提升。

实验结果显示，当前的检测模型最短在10秒内就可能被攻破，导致将机器生成的文本误判为人写的内容。此外，作者还探索了通过迭代对抗学习提高模型鲁棒性的可能性。虽然观察到模型的鲁棒性有所提高，但在实际应用中仍面临重大挑战。这些研究结果为AI文本检测器的未来发展提供了思路，强调需要更精确、