超级会员免费看
跨语言分类、交叉验证与累积学习技术解析
1. 跨语言分类方法
在处理跨语言文档分类时，有两种主要方法。
1.1 基于翻译的方法
可以将原本用语言B撰写的文档（通常以词袋形式表示）翻译成语言A，然后使用单语言A系统对翻译后的文档进行分类。
1.2 潜在语义方法
利用现有的平行语料库来确定语言A和B共有的抽象向量空间。将手动分类的语言A文档在这个空间中进行表示，并学习一个直接在这种潜在语义表示上运行的模型。当需要对语言B的文档进行分类时，先将其投影到这个共同的语义空间，再使用相同的模型进行分类。
这些方法同样适用于跨语言聚类任务，即根据某种标准识别多语言文档集合中相互相似的文档子集。该任务可以通过将所有文档翻译成单一语言，或者学习一个共同的语义空间并在其中执行聚类任务来有效解决。不过，研究界对跨语言分类（CLCat）和聚类的投入可能比对跨语言信息检索（CLIR）和跨语言问答（CLQA）的投入要少。
2. 交叉验证
2.1 定义
交叉验证是一种从单个数据集创建训练集和测试集对分布的过程。在交叉验证中，数据被划分为k个子集，记为S1…Sk，每个子集称为一个折叠（fold），这些折叠的大小通常大致相同。学习算法会应用k次，对于i从1到k，每次使用除Si之外的所有子集的并集作为训练集，使用Si作为测试集。
2.2 流程
以下是交叉验证的流程：
1. 将数据集划分为k个大小大致相同的子集。
2. 对于i = 1到k：
- 使用除Si之外的所有子集的并集作为训练集。
- 使用Si
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
