恒耀注册

恒耀注册 2019年十大精彩AI学术论文盘点

点击量:105   时间:2020-01-14 09:10

同期还有另一篇来自 Facebook AI 钻研院的论文 Learning Existing Social Conventions via Observationally Augmented Self-Play (arxiv.org/abs/1806.10071)从另一个角度设计了融合机制:在添入一个整体之前,新的智能体要经历不都雅察和重放机制学习这个团地现在的走为模式(人类角度的“风俗民风”),让本身能够融入,幸免添入整体之后它的策略无法得到奖励(即便在无配相符的竞争性环境下能够得到奖励)。不过也许照样前一篇学会固有外交动机更拙劣一点?相比之下它可是明清新白地促进了智能体都变得更融合、更主动疏导啊(乐)。

基于单视角视频,按照活动物体的挪移解算三维空间组织的做法在传统计算机视觉中就有很多钻研,这篇论文里把它和深度学习结相符以后带来了更益的效率,作者们增补的在线学习能力也让这个手段对分别的数据集、分别的场景有更益的相符适性。

On the Variance of the Adaptive Learning Rate and Beyond

SinGAN: Learning a Generative Model from a Single Natural Image

代码开源:https://github.com/google-research/lottery-ticket-hypothesis

大胆的“彩票伪说”立刻引发了强烈商议。作者们做了后续钻研发外了 Stabilizing the Lottery Ticket Hypothesis(arxiv.org/abs/1903.01611);Uber AI 实验室发外了一篇论文 Deconstructing Lottery Tickets: Zeros, Signs, and the Supermask(arxiv.org/abs/1905.01067)介绍了他们对这个形象的深入探索终局,展现了“彩票伪说”在碰幸运之外的相符理性;论文 Sparse Networks from Scratch: Faster Training without Losing Performance(arxiv.org/abs/1907.04840)也紧接着挑出“彩票倘若”之类的稀奇网络生成手段计算代价太高,他们的新手段能够直接从稀奇的网络组织最先训练,对计算资源需求更少、训练更快,并达到和浓重网络相近的外现;FB 田渊栋组也发外了 One ticket to win them all: generalizing lottery ticket initializations across datasets and optimizers(arxiv.org/abs/1906.02773)并被 NeurIPS 2019 授与。

论文地址:http://openaccess.thecvf.com/content_CVPR_2019/html/Xu_Reasoning-RCNN_Unifying_Adaptive_Global_Reasoning_Into_Large-Scale_Object_Detection_CVPR_2019_paper.html

EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

XLNet:用于说话理解的通用自回归预训练

论文地址:https://arxiv.org/abs/1904.11111

详明介绍:https://www.leiphone.com/news/201905/comu6TnFl5ejaAG1.html

弥补神经机器翻译模型训练和推理之间的缺口

论文地址:https://arxiv.org/abs/1810.08647

作者:中科院计算所智能新闻处理重点实验室,中国科学院大学,微信 AI 模式识别中央,伍斯特理工学院,华为诺亚方舟实验室

倘若说“固定网络组织,追求权重”和“固定权重、追求网络组织”别离就像“气宗”与“剑宗”,那么现在两边终于都登场了,吾们能够憧憬异日有更多的益戏上演。

https://arxiv.org/abs/1905.11946

经历多智能体深化学习在星际2中达到“Grandmaster”段位

Towards Artificial General Intelligence with Hybrid Tianjic Chip Architecture

详明介绍:RAdam 和 LookAhead 能够相符二为一 https://www.leiphone.com/news/201908/SAFF4ESD8CCXaCxM.html

Learning the Depths of Moving People by Watching Frozen People ( CVPR 2019 )

选举理由:神经机器翻译模型的训练手段是给定上下文,展望某一些被掩模的词,但推理过程(真实的翻译过程)是必要从零生成整个句子。这栽差错题目其实在序列到序列转换义务中永远普及存在。这篇论文就钻研了这栽差错,并探讨如何弥补这栽差错。

选举理由:这篇论文要解决的义务“从单个摄像头推想活动物体的深度”乍望上往是无法完善的。这篇论文用了很神奇的手段,一方面,作者们把 YouTube 上用户们本身上传的“时间静止”视频行为数据集,它们挑供了海量的、当然的、带有人物的三维空间回放,经过传统手段还原之后就能够行为标注数据,免往了采集之苦。这实际上挑醒吾们,除了用传统多包手段特意搜集数据集之外,网络上还有很多公开数据经过处理以后也能够成为很有价值的训练数据集。

https://arxiv.org/abs/1909.07528v1

作者:CMU,谷歌 AI

2019 年精彩学术论文 Top10(按首字母排序)

作者:DeepMind Oriol Vinyals、Demis Hassabis、Chris Apps & David Silver 等

AI surpasses humans at six-player poker ( Science Magazine)

在多智能体深化学习中把外交影响行为固有动机

作者:UIUC Liyuan Liu、韩家炜,微柔钻研院 高剑峰 等

A Style-Based Generator Architecture for Generative Adversarial Networks ( CVPR 2019 )

这篇论文尝试从单张图像学习 GAN恒耀注册,多栽分别尺度的 GAN 构成的金字塔组织别离学习图像平分别大幼的幼块恒耀注册,整个模型的学习效率得以同时兼顾图像中的全局结议和细节纹理。ICCV 2019 最佳论文

作者:谷歌 AI Adam Gaier 和 David Ha

StyleGAN 在网络上引发了大量商议恒耀注册,它惊人的人脸生收获果不光钦佩了吃瓜群多,也吸引了很多人撰写本身的实现并盛开 demo 供一切人尝试,包括生成人脸(thispersondoesnotexist.com)、生成猫(thiscatsondoesnotexist.com)、生成二次元妹子(thiswaifudoesnotexist.net)、生成房间照片(thisairbnbdoesnotexist.com)的模型。

详明介绍:https://www.leiPhone.com/news/201901/aDDh5MOlOsU22WvK.html

代码开源:https://github.com/NVlabs/stylegan2

https://science.sciencemag.org/content/365/6456/864

选举理由:行为萎缩网络体积、降矮运算资源需求的技术路线,网络稀奇化和知识蒸馏一首得到了越来越多的关注。现在最常用的稀奇化手段是先训练一个大网络然后剪枝,稀奇的网络也能够得到和浓重网络差不多的性能。

“非视线内的物体形状重修”,也就是“如何望到墙角后面的东西”是这篇论文的钻研课题。当然这个义务略显冷门,但这篇论文外明计算机视觉技术有潜力让更多望似不能够的事情变得能够。获得了 CVPR 2019 最佳论文

这篇论文就是一次直接的追求,网络的训练过程不是为了追求权重,而是在相对固定且随机的权重下追求更益的网络组织。对于集成了益的先验的网络组织,即便网络中一切的权重都说相符且随机的也能有益的外现;在此基础上倘若能批准别离优化分别的权重,网络的外现就能够更上一层楼。这栽手段找到的先验知识也会以网络组织的方法直接表现出来,有更益的可注释性。

选举理由:这篇来自韩家炜团队的论文钻研了深度学习中的变差治理。在神经网络的训练中,Adam、RMSProp 等为了挑升效率而添入了自相符适动量的优化器都必要一个预炎阶段,不然在训练刚刚启动的时候就很容易陷入不益的、能够有题目的片面最优,而这篇论文中挑出的 RAdam 能为优化器挑供益的初首值。借助一个动态整流器,RAdam 能够按照变差大幼来调整 Adam 优化器中的自相符适动量,并且能够挑供一个高效的主动预炎过程;这些都能够针对现在的数据集运走,从而为深度神经网络的训练挑供一个踏实的起头。

一个基于风格的GAN生成器架构

作者:NVIDIA 实验室 Tero Karras, Samuli Laine, Timo Aila

作者们挑出的解决方案是,生成条件在“基于参考文本中的词”和“解码器本身的输出中预选择词”两栽之间切换,论文的实验做得特意完善,终局令人钦佩。按照 ACL 2019 论文奖评选委员会的偏见,这栽手段适用于现在的纯学习训练范式,也能为规划采样带来改进;而且,这不光能够影响正本针对的机器翻译义务的异日钻研和行使,也能用来普及地改进其它的序列到序列转换模型。这篇论文也被选为 ACL 2019 最佳论文。

RoBERTa: A Robustly Optimized BERT Pretraining Approach

A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction

代码开源:https://github.com/zihangdai/xlnet

https://arxiv.org/abs/1907.11692

Weight Agnostic Neural Networks

论文地址:https://arxiv.org/abs/1906.02448

The Lottery Ticket Hypothesis:Finding Sparse, Trainable Neural Networks ( ICLR 2019 )

论文地址:https://arxiv.org/abs/1906.08237

https://www.nature.com/articles/s41586-019-1424-8

经历不都雅察静止的人学习展望挪移的人的深度

详明介绍:https://www.leiphone.com/news/201906/wMjVvtWT2fr8PcxP.html

Reasoning-RCNN: Unifying Adaptive Global Reasoning Into Large-Scale Object Detection ( CVPR 2019 )

作者:MIT 计算机科学与人造智能实验室 Jonathan Frankle, Michael Carbin

一方面,在感知模型中添入常识、添入基础的推理能力是构建“视觉智能”的趋势;另一方面,其它钻研者当然在更早的钻研里就挑出过“从图像的现在标识别生成有关图”,但是有关图生成了以后有什么作用呢,这篇论文就展现了,能够用图进一步改善现在标识别义务本身的外现。

除此之外,作者们还做了很多改进,让模型更相符适大周围物体识别、添强阶段之间的有关、优化识别效率。最后,模型的  mAP 在多个数据集上都有大幅挑高。作者们的手段比较轻量,能够用在各栽现在标识别骨干网络上,也能够集成各栽分别的知识来源。

论文地址:https://arxiv.org/abs/1908.03265

经历隐式的课程学习中,在一个具备互动和竞争机制的环境中,分别的智能体之间能够不息地找到新义务,它们也就能够不息地学会新的策略

选举理由:StyleGAN 无疑是 2019 年最炎门的 GAN 网络模型。在 StyleGAN 之前,GAN 的有关钻研已经遇到了条件式生成难得、单纯增补模型大幼的收入有限、无法生成真切的高分辨率图像等等多栽逆境,StyleGAN 就冲破了这个瓶颈,在生成限制的可限制性、分别属性的互相搭配、高分辨率高清亮度(且具备相反性)方面都带来了大幅提高。为此,StyleGAN 获得了 CVPR 2019 最佳论文荣誉挑名奖。

Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning ( ICML 2019 )

选举理由:随着多智能体深化学习钻研越来越多,为智能体设计/让智能体学会走动融合和新闻交换成了一个主要课题。这篇论文中作者们的着力点就是在多智能体环境下,让智能体从其他智能体身上学会固有的外交动机。他们的手段是,倘若一个智能体能影响其他智能体、让它们在协同和疏导方面都有更益的外现,那就奖励它。更具体地,作者们在论文中展现了,倘若一个智能体让其他智能体的走为发生了较大的转折,那奖励它就更有能够勉励分别的智能体之间有更多的共同新闻交换。如许的机制会让智能体形成归纳偏倚,更故意愿学会协同活动,即便这些智能体都是各自自力地训练的。并且影响力的奖励是行使一栽分布式的手段来计算的,能够有效解决突发通信的题目。这篇论文获得了 ICML 2019 最佳论文荣誉挑名。

彩票伪说:找到稀奇、可训练的神经网络

作者:谷歌 AI 钻研院 Zhengqi Li, Tali Dekel, Forrester Cole, Richard Tucker, Noah Snavely, Ce Liu, William T. Freeman

除此之外,以下这 10 篇论文也曾在吾们的候选列外里,它们各特出之处,吾们列举如下:

选举理由:2019 年 1 月,DeepMind 开发的星际 2 AI“AlphaStar”首次亮相就击败了人类做事选手。当然那时的比赛规则清晰对 AI 方有利,但吾们已经感受到了 AI 并不是靠操作速度、而主要是靠特出的策略取得胜利的。后来,在公平规则的、基于星际 2 天梯的大周围人机 1v1 比赛中,AlphaStar 不息发挥出了特出的外现,取得了“Grandmaster”段位,也许为一切活跃玩家的前 0.15%。这也成为了 AlphaStar 论文发外在《Nature》杂志 2019 年 10 月刊所必要的末了一个实验。

简化版 BERT,但不是浅易的萎缩了事,他们用更少的参数获得了更益的外现

说相符时期还有另一篇钻研改进优化过程的论文《LookAhead optimizer: k steps forward, 1 step back》(arxiv.org/abs/1907.08610),它的中央理路是维持两套权重,并在两者之间进走内插,能够说是,它批准更快的那一组权重“向前望”(也就是追求),同时更慢的那一组权重能够留在后面,带来更益的永远安详性。这栽做法带来的效率就是降矮了训练过程中的变差,就“缩短了超参数调节的做事量”,同时“在很多分别的深度学习义务中都有更快的拘谨速度、最幼的计算支付”(按照论文作者本身的介绍)。

Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems ( ACL 2019 )

另一方面,在用深度模型学习空间常识、学习展望深度的同时,作者们还增补了额外的组织让网络能够挑取临近的帧之间的转折新闻,挑高了网络处理活动物体的能力。最后效率是,只必要单个摄像头视角的输入,模型就能够输出安详、高实在率的三维深度展望,对于活动的物体也有很益效率。这篇论文也获得了 CVPR 2019 最佳论文荣誉挑名奖。

详明介绍:https://www.leiphone.com/news/201905/ZwDWnaSGZHDveLiO.html

选举理由:当代的神经网络钻研都有一个固定的模式,固定网络架构,经历优化追求益的连接权重(训练)。这栽通例也引发了一些商议,“倘若吾们把网络组织望作先验,把连接权重望作学到的知识”,那么吾们能在多大水平上把知识以组织(先验)的方法集成在模型中呢?以及如许做是益照样坏呢?

论文地址:https://arxiv.org/abs/1906.04358

Emergent Tool Use From Multi-Agent Autocurricula

作者:华为诺亚方舟实验室,中山大学

https://arxiv.org/abs/1905.01164

Grandmaster Level in StarCraft II Using Multi-agent Reinforcement Learning ( Nature )

论文地址:StyleGAN arxiv.org/abs/1812.04948,StyleGAN2 arxiv.org/abs/1912.04958

论文地址:https://arxiv.org/abs/1803.03635

代码开源:https://github.com/chanyn/Reasoning-RCNN

https://arxiv.org/abs/1909.11942v1

特意钻研 BERT 的预训练过程并挑出一栽新的改进思路,用新的预训练现在标做更足够的训练。也就是说,设计一个大模型容易,但还要想手段确定是否已经训练够了。

清华大学团队设计的天机芯片用融相符架构同时声援来自计算机科学的、基于数值的非线性变换的人造神经网络,以及来自神经科学的、基于信号反答的脉冲神经网络。论文发外在 Nature 杂志。

钻研 CNN 模型的缩放和可拓展性,用更幼的模型得到更高的实在率,而且为分别周围的计算资源挑供了一系列优化过的模型。ICML 2019 Spotlight 论文

https://arxiv.org/abs/1811.06152

Reasoning-RCNN: 在大周围现在标检测中行使说相符的自相符适全局推理

https://arxiv.org/abs/1905.08743

代码开源:https://github.com/LiyuanLucasLiu/RAdam(RAdam),https://github.com/lonePatient/lookahead_pytorch/blob/master/(LookAhead)

作者:MIT,DeepMind,普林斯顿大学

就在近期,包括论文原作者在内的 NVIDIA 实验室钻研人员们发外了 StyleGAN2 论文(Analyzing and Improving the Image Quality of StyleGAN,arxiv.org/abs/1912.04958),针对性地修整了 StyleGAN 生成的图像中的弱点等题目、挑高了图像中元素的相反性,从而把图像生成质量带到了新的高峰。

代码开源:https://weightagnostic.github.io/

Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised Learning from Monocular Videos

既然稀奇的网络能够有和浓重网络差不多的性能,这篇论文里作者们就挑出一个大胆的倘若,望作是想要的稀奇网络正本就在浓重网络里,吾们只必要把它找出来就能够 —— 更具体地,倘若从随机初首化的网络随机做 n 次迭代能够得到训练益的浓重网络,从随机初首化的网络里做相通数现在标迭代也能够找到外现差不多的稀奇网络。只不过,找到谁人稀奇网络特意倚赖益的初首值,而想在随机出益的初首值简直就像抽彩票。这就是论文中央的“彩票伪说”。

XLNet: Generalized Autoregressive Pretraining for Language Understanding

选举理由:基于 BERT 的改进模型很多,XLNet 是其中特意成功的一个。XLNet 的改进重点在于,1,用基于输入挨次置换的新的掩模手段替代 BERT 的掩模 双向展望(这栽机制设计使得 BERT 更像是文本降噪模型,而在生成义务中外现欠安),2,行使了 token 内容和 token 位置别离的双流自仔细力机制,3,采纳了和改进 2 匹配的新的掩模手段。这些设计让 XLNet 兼具了序列生成能力(相通传统说话模型)和上下文新闻参考能力。

作者们设计了算法确认“是否抽到了益的号码”,也用一系列实验验证了伪说、展现了益的初首值的主要性。甚至,从益的初首值起程得到的稀奇网络能够得到比浓重网络更益的外现。这篇论文获得了 ICLR 2019 的最佳论文奖。

Bridging the Gap between Training and Inference for Neural Machine Translation ( ACL 2019 )

XLNet 如许的模型显当代外着 NLP 预训练模型越发成熟,相符适的下游义务越来越多、外现越来越益;也代外着一个说相符的模型架构就有能够解决各栽分别的 NLP 义务。

选举理由:随着现在标识别的周围越来越大、粒度越来越细,类别不屈衡、遮盖、分类暧昧性、物体尺度迥异性等等题目越来越清晰。吾们很容易想到,人类视觉识别能力中的一个主要环节是“基于常识的推理”,比如辨认出了 A 物被 B 物遮盖之后,对这两个物体的识别都能更实在。这篇论文就把这栽思维融入到了 RCNN 模型中,作者们为模型设计了显式的常识知识,并且用基于类别的知识图把图像中物体的语义知识外示出来。

当然,这一年有很多论文都具有隐微的学术价值,下面总结出的只是冰山一角。倘若你觉得还有哪些论文是同样值得被回忆的,迎接在评论区留言和吾们商议。

AI 在游玩中压服人类当然不是第一次了,不过 DeepMind 开发 AlphaStar 并不光仅(和其它游玩 AI 相通)行使了大量的计算能力,他们行使的群体深化学习(群体进化、保留多栽分别策略)等设计也改善了清淡深化学习做法的题目,挑高了智能体在复杂环境中的外现。不十足新闻、高维不息走动空间的长序列建模题目的解决方案日趋成熟。

这两篇论文不光都对神经网络的优化过程挑出了有效改进,而且两者还能够共同行使。这些收获都既添进了吾们对神经网络亏损空间的理解,照样特意有效的工具。

代码开源:https://github.com/google/mannequinchallenge

论文地址:https://www.nature.com/articles/s41586-019-1724-z  (盛开浏览版 https://storage.googleapis.com/deepmind-media/research/alphastar/AlphaStar_unformatted.pdf)

在 6 人德州扑克游玩中压服人类的扑克 AI(这也是 Science 杂志总结的 2019 年 10 大科学突破第 10 名)

权重无关的神经网络

除此之外,吾们还准备了一篇“2019 年十大稀奇论文”,总结了这一年中尤其稀奇兴趣、甚至出格招致指斥的论文。

面向义务的多轮对话编制清淡会为分别的义务设计预定义的模版,但分别模版之间的数据共享、数据迁移是一大难点。这篇论文就挑出了有效的知识追踪、共享、迁移手段

ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

再添上选用更大的训练数据集、用更相符适长序列的 Transformer-XL 行为骨干网络、训练手段对掩模的行使率更高、批准片面展望训练等改进,能够说 XLNet 相对于 BERT 的技术改进是从头到尾的,在作者们测试的一切义务中都取得了比 BERT 更益的外现也是情理之中(当然有一些义务中挑升并不大)。

https://www.ri.cmu.edu/publications/a-theory-of-fermat-paths-for-non-line-of-sight-shape-reconstruction/

关于自相符适学习率的转折以及更多

体育1月5日报道:

昨日,A股全线大涨,上证综指报收3022.42点、深证成指报收10306.03点、创业板指报收1801.62点,涨幅分别为1.27%、1.45%和1.2%。沪深两市的总成交额合计高达7516.1亿元。贡献最大的当属金融股。