时时彩计划软件,时时彩玩法技巧,北京赛车规律数字高手,购彩平台 凤凰彩票

提出对比预测编码通过预测将来进修高级表征天津时时彩开奖记录学界DeepMind

时间:2018-09-07 16:48来源:未知 作者:admin 点击:
北京赛车pk10提拔表征进修不太需要特地用于处理单个监视使命的特征。例如,正在预锻炼一个模子用于图像分类时,所发生的特征可以或许很好地迁徙到其他图像分类域中,可是贫乏取

  北京赛车pk10提拔表征进修不太需要特地用于处理单个监视使命的特征。例如,正在预锻炼一个模子用于图像分类时,所发生的特征可以或许很好地迁徙到其他图像分类域中,可是贫乏取颜色或者计数能力相关的消息,天津时时彩开奖记录这些消息取分类无关,提出对比预测编码通过预测将来进修高级表可是取图像描述等使命相关 [4]。雷同地,对转录人类语音有用的特征可能不太合用于措辞人身份验证或者七匹狼娱乐城门户预测。所以,无监视进修是实现鲁棒和通用表征进修的主要跳板。

  表 1: LibriSpeech 数据集上的音素分类和措辞人分类成果。音素分类共有 41 个可能的类别,说线 个可能的类别。所有的模子都利用不异的布局和不异的音频输入大小。

  表 4: ImageNet 无监视分类的 top-5 成果。之前利用 MS、Ex、RP、Col 获得的成果来历于 [35],是这项使命上的最佳报乐成果。

  无监视进修中的一个常见策略就是预测将来的、缺失的或者上下文中的消息。这种预测编码 [5,6] 的思惟是用于数据压缩的最陈旧的信号处置手艺之一。正在神经科学中,预测编码理论认为大脑正在分歧的笼统程度预测察看 [7,8]。无监视进修范畴的最新研究曾经成功地操纵这种思惟通过预测临近词来进修词表征 [9]。天津时时彩开奖记录对图像而言,从灰度值或者图像块的相对位置来预测颜色也被证明是有用的 [10,11]。我们假设这些方式是无效果的,部门缘由是我们从中预测相关值的上下文经常是有前提地依赖于不异的高级别潜正在消息。通过将此做为一种预测问题,我们从动地推理这些表征进修感乐趣的特征。

  正在这篇论文中,我们提出了以下内容:起首,我们将高维数据压缩到愈加慎密的潜正在嵌入空间,这个空间中前提预测更容易建模。接下来,我们正在这个潜正在空间中利用强大的自回归模子来做多步将来预测。最初,对丧失函数,我们依托噪声对比估量 [12],这是取天然言语模子顶用于进修词嵌入雷同的体例,需要整个模子以端到端的形式进行锻炼。征天津时时彩开奖记录学界DeepMind我们将最终的模子(对比预测编码,CPC)用正在了良多分歧的数据模态中,包罗图像、语音、天然言语和强化进修,成果表白同样的机制正在每一个范畴中都学到了风趣的高级表征,并且优于其他方式。deepmind

  虽然无监视进修很是主要,可是它还没有取得取有监视进修雷同的严沉冲破:从原始数据中对高级表征进行建模仍是很罕见一见。此外,抱负的表征皇家金堡,以及正在没有额外的监视或者没有某个特定的数据模态下的监视时,能否有可能学到这种表征,这些并不老是很是清晰。

  图 6: [49] 中利用的 DeepMind 尝试室中 5 个使命上的强化进修成果。黑色:分批 A2C 基准,红色:辅帮对比丧失

  图 1: 论文提出的表征进修方式——对比预测编码(CPC)概览。虽然此图仅仅展现了利用音频做为输入的环境,deepmind可是我们对图像、文本以及强化进修都做了不异的尝试设置。

  摘要:虽然监视进修正在很多使用中都取得了很猛进展,但无监视进修并没有获得如斯普遍的使用,它仍然是体育彩票的一项主要而富有挑和性的工做。本文提出了一种通用的无监视进修方式,从高维数据中提取有用的表征,我们称之为对比预测编码。论文所述模子的环节思惟是通过利用强大的自回归模子预测潜正在空间的将来,以进修这些表征。天津时时彩开奖记录我们利用一种概率对比丧失,这种概率对比丧失诱导潜正在空间捕捉最有帮于预测将来样本的消息。采用负采样也使模子易于处置。虽然之前的大大都研究都集中正在评估特定模态的表征上,可是我们证明,deepmind我们的方式可以或许进修有用的表征,正在 3D 情况中的语音、图像、文本和强化进修四个分歧的范畴表示出优异的机能。

  本文提出了一种通用的无监视进修方式——对比预测编码,从高维数据中提取有用的表征。该方式的焦点是通过利用强大的自回归模子预测潜正在空间的将来,以进修高级表征。论文证明,该方式可以或许进修有用的表征,正在 3D 情况中的语音、图像、文本和强化进修四个分歧的范畴表示出优异的机能。

  表 5: 5 个常见 NLP 测试基准上的分类精确率。我们遵照取 skip-thought vector 一样的迁徙进修设置 [25],利用 BookCorpus 数据集做为迁徙源。[39] 是进修句子级别表征的一种无监视方式。[25] 是一种可选择的无监视进修方式。[40] 是利用层正则化迭代一百万次锻炼获得的 skip-thought 模子。

  正在端到端的潮水下利用分层可微分模子从有标签的数据中进修高级表征是重庆时时彩骗局目前最大的成功之一。这些手艺使得人工设想的特征很大程度上都显得多余了,而且也提拔了好几个现实使用中的当前最佳手艺程度 [1,2,3]。可是,该范畴仍存正在良多挑和,例如数据的无效性、鲁棒性以及泛化能力。

(责任编辑:admin)
顶一?
(0)
0%
踩一?
(0)
0%
------分隔?----------------------------