MHSNet:An MoE-based Hierarchical Semantic Representation Network for Accurate Duplicate Resume De...

MHSNet论文总结与核心部分翻译

一、文章主要内容

该文章聚焦企业招聘中第三方简历与内部人才库简历的重复检测问题，针对简历文本存在的语义复杂性、结构异质性和信息不完整性三大挑战，提出了基于混合专家（MoE）的分层语义表示网络MHSNet，具体内容如下：

1. 研究背景与问题

• 现实痛点：招聘人员从LinkedIn、Indeed等第三方平台获取的简历常存在信息不完整（如6000份随机样本中，99%存在姓名不准确、1.5%缺失教育信息、13%工作经历不完整）和不一致问题，需与企业内部人才库简历匹配去重，以完善人才库并节省招聘成本（企业每年招聘需大量人力物力，有效去重可节约数百万运营成本）。
• 现有方案不足：现有自然语言处理技术多聚焦简历与岗位需求匹配，无法解决简历去重问题；传统相似度计算方法（如Jaccard、SimHash）和普通大语言模型（如mGTE、ME5）难以应对简历的结构异质性（含结构化、半结构化、非结构化内容）和信息缺失问题。

2. MHSNet模型设计

MHSNet通过分层处理和MoE架构，实现精准简历去重，核心流程分为四步：

1. BGE-M3模型微调：采用元素掩码策略生成正负样本（正样本通过隐藏原始简历部分信息生成，负样本选取含相似结构/半结构化信息的不同个体简历），结合对比学习（损失函数含正样本损失