题目：点向门控玻尔兹曼机学习和选择特征
摘要：无监督特征学习已经成为一种很有前途的学习未标记数据表示的工具。然而，当数据包含大量不相关的模式时，学习有用的高级特性仍然具有挑战性。虽然特征选择可以用于这样复杂的数据，但当我们必须从头开始构建一个学习系统（即，从缺乏有用的原始特征开始）时，它可能会失败。为了解决这个问题，我们提出了一个点向门控玻尔兹曼机器(point-wise gated Boltzmann machine)，一个结合了特征学习和特征选择的统一生成模型。我们的模型不仅对学习到的高级特征（即隐藏单元）进行特征选择，而且还通过门控机制对原始特征（即可见单元）进行动态特征选择。对于每个示例，模型可以自适应地关注与任务相关模式对应的可见节点的可变子集，而忽略与任务无关模式对应的可见单元。在实验中，我们的方法在几个视觉识别基准中取得了超过最先进的性能。
目录
3.1. Point-wise Gated Boltzmann machines
3.2. Generative feature selection with supervised PGBMs
5.1. Recognizing handwritten digits in the presence of irrelevant background noise
5.1.1. Generative feature selection
5.1.2. Semi-supervised learning
5.2. Weakly supervised object segmentation with an application to object recognition
5.2.1. Weakly supervised object segmentation
1. Introduction
在构建能够从复杂的真实数据中稳健地学习的算法时，一个基本的困难是处理显著的噪声和不相关的模式。特别地，让我们考虑一个从头开始学习的问题，假设缺乏有用的原始特性。这里的挑战是如何学习得到一个强烈表达可以将重要的模式（例如，与任务相关的）与大量分散注意力的模式（例如，与任务无关的）区分开来。
对于构建有用的特征，无监督特征学习（Hinton等人，2006；Bengio等人，2007；Ranzato等人，2007；Bengio，2009）已经成为从未标记数据中学习表示的强大工具。然而，在许多现实世界的问题中，数据并没有被清理干净，并且包含了大量不相关的感知模式。换句话说，并不是所有的模式都同样重要(not all patterns are equally important)。在这种情况下，无监督的学习方法可能会盲目地使用大多数学习到的高级特征来表示不相关的模式，并且学习与任务相关的高级特征（例如，通过堆叠）变得更加不同。尽管有一些方法可以合并监督（例如，监督微调），但当数据包含许多不相关的模式时，学习仍然具有挑战性，如（Larochelle et al.，2007）所示。
为了处理这样复杂的数据，人们可以设想使用特征选择。事实上，特征选择（Jain & Zongker，1997；杨和彼得森，1997；韦斯顿等人，2001；Guyon &埃里塞夫，2003）是一种区分有用的原始特征和不相关的原始特征的有效方法。但是，如果没有好的原始特性，特性选择可能会失败。
为了解决这个问题，我们提出将特征学习和特征选择结合在一个统一的框架中。直观地说，由于无监督特征学习可以找到部分有用的高级抽象，因此对学习的高级特征进行特征选择，可以更轻松地区分任务相关的特征和任务无关的特征。然后，可以使用与任务相关的高级特征来追溯这些重要模式发生的位置。这些信息可以帮助学习算法专注于这些与任务相关的原始特征（即，与任务相关的模式对应的可见单元），而忽略其余的。
在本文中，我们建立了一个生成式特征学习算法，称为点向门控玻尔兹曼机（PGBM）。我们的模型不仅对学习到的高级特征（即隐藏单元）进行特征选择，而且还通过使用随机“开关单元”的门控机制对原始特征（即可见单元）进行特征选择。开关单元允许我们的模型来估计与任务相关的模式发生的位置，并只使那些可见的单元通过乘法交互来促进最终的预测。该模型忽略了原始特征中与任务无关的部分，因此它执行动态特征选择(dynamic feature selection)（即根据单个示例的语义解释，选择原始特征的变量子集）。
我们通过两种方式来评估我们的模型： 1)识别不相关背景中的手写数字，2)对自然场景中的对象进行定位和分类。在第一个实验中，我们的方法在学习特征和区分任务相关特征与任务无关特征方面表现出了较强的性能。在第二个实验中，我们的模型在区分前景对象与背景场景和弱监督定位目标边界框方面显示出了良好的效果，从而提高了目标识别性能。
我们总结了我们的主要贡献如下：
①提出了在一个统一的框架下联合执行特征学习和特征选择的PGBM。
②提出了半监督PGBM，并证明了它在给定少量标记数据和大量未标记数据时的有效性。
③证明了PGBM是构建深度网络的有效构建块。
④提出了一个PGBM的卷积扩展。我们进一步证明，这可以用于弱监督的目标定位。通过使用对象边界框的方式，我们在Caltech 101数据集上展示了最先进的对象识别性能。
⑤在MNIST数据集的变化方面取得了显著的改进。
2. Preliminaries
我们的模型可以看作是受限玻尔兹曼机（RBM）的高阶扩展，我们将在本节中简要回顾它。RBM是一个无向图形模型，它使用二进制隐藏单元来定义可见单元的分布。二进制可见单位和二进制隐藏单位的联合分布表示为：
其中v∈0,1}(D)是可见（即输入）单元，h∈0,1} K是隐藏（即潜在）单元。Z为归一化常数，W∈R(D×K)，b∈R(K)，c∈R(D)分别为权值矩阵、隐藏偏置向量和可见偏置向量。由于同一层的单元之间没有连接，可见单元对隐藏单元是有条件独立的，反之亦然。RBM的条件概率可以写成如下：
其中，σ(x) = 1+exp（1−x）。训练RBM对应于最大化数据对参数{W，b，c}的对数似然值。虽然梯度很难计算，但对比散度（Hinton，2002）可以用来近似它。
3. Proposed Models
在本节中，我们提出了点向门控玻尔兹曼机及其扩展。在第3.1节中，我们描述了基本的无监督PGBM，它学习并将特征分组为语义上不同的组件。在第3.2节中，我们提出了监督PGBM，它使用类标签作为自上而下的反馈，将隐藏单元划分为与任务相关和与任务无关的组件。在第3.3节中，我们提出了一种半监督的PGBM，当只有少量有标记的训练示例时，它使用未标记的数据作为正则化器。此外，我们使用PGBM构建一个深度网络，其中我们将神经网络层(s)堆叠在PGBM的任务相关隐藏单元上。最后，我们提出了能够有效处理空间相关高维数据的PGBM的卷积扩展。
3.1. Point-wise Gated Boltzmann machines
当我们处理复杂的数据时，我们需要使用一个学习算法来区分语义上不同的模式。例如，如果一个目标识别算法可以从背景杂乱中分离出前景对象模式，那么它可以提高其性能。为了建立这个模型，我们建议，当其中每一组隐藏单元都可以生成相应的混合成分的条件下，将每个可见的单位表示为一个混合模型。
在详细讨论之前，我们将描述PGBM的生成过程如下： (1)隐藏单元被划分为组件(components)，每个组件定义了可见单元上的不同分布。(2)以隐藏单元为条件，我们对开关单元(switch units)进行采样。(3)开关单元决定由哪个组件(component)生成相应的可见单元。图1(a)所示为一个无向图形模型。
图1.(a)PGBM和(b)两组隐藏单元的监督PGBM。伯努利开关单元zi指定了两个组件中的可见单元vi。换句话说，当zi = 1时，vi由第一组隐藏单元生成（红色）；当zi = 2时，vi由第二组隐藏单元生成（绿色）。
扫一扫
257
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
