本季必追16个社区热议工作及10篇国际

北京著名白癜风医院 https://yyk.39.net/hospital/89ac7_map.html

年一季度的尾声,在这个季度中,你是否担忧自己错过了哪些重要的技术工作?抑或想要检验下自己是不是在这一季度又有了哪些基础知识的增长?

本篇是机器之心「虎卷er行动·春卷er」的第一卷,旨在为老伙计们汇总并逐一盘点年开春以来机器之心编辑部报道发现的社区热议的技术工作,并回顾近期举办的国际AI顶会的最佳论文。

本卷资料收录

春季热议工作:16项

春季国际顶会最佳论文:10篇

春季·机器之心报道社区热议工作

热议工作1:阿里达摩院语音实验室提出了一种具有线性复杂度(O(N))的计算模型PoNet

本文的出发点基于Transformer模型中Self-attention机制相对于句子长度的复杂度是二次的(O(N^2)),因此在计算速度和显存空间方面都制约了它在长序列中的应用。PoNet,使用Pooling网络替代Self-attention机制对句子词汇进行混合,从而捕捉上下文信息。

根据实验表明,PoNet在长文本测试LongRangeArena(LRA)榜上在准确率上比Transformer高2.28个点,在GPU上运行速度是Transformer的9倍,显存占用只有1/10。此外,实验也展示了PoNet的迁移学习能力,PoNet-Base在GLUE基准上达到了BERT-Base的95.7%的准确性。

论文


转载请注明:http://www.shhjfk.com/jbjj/jbjj/15226.html

  • 上一篇文章:
  •   
  • 下一篇文章: 没有了