CogLTX：将BERT应用于长文本

相关推荐

• 哈工大刘挺：如何训练一个更强大的中文语言模型？

  自从Google提出预训练语言模型BERT,关于语言模型的玩法层出不穷. 然而,大部分模型都是在英文场景中提出的,迁移到中文场景效果往往有不同程度的下降. 之前我和朋友参加了CCKS机器阅读理解比赛, ...

• NLP：NLP领域没有最强，只有更强的模型——GPT-3的简介、安装、使用方法之详细攻略

  NLP:NLP领域没有最强,只有更强的模型--GPT-3的简介.安装.使用方法之详细攻略 导读:NLP领域的模型,没有最大,只有更大.博主这几天也仔仔细细看了这篇长达75页的论文,光署名作者都有二三十 ...

• NLP前沿预训练语言模型大赏

  预训练模型可以分为以下三个大类: 自回归模型 自动编码模型 序列到序列模型 什么是自回归模型(auto-regressive model):经典的语言建模任务,根据已读取文本内容预测下一个单词.比如T ...

• 预训练模型最新综述：过去、现在和未来

  ©PaperWeekly 原创 · 作者 | 王馨月 学校 | 四川大学本科生 研究方向 | 自然语言处理 BERT.GPT 等大规模预训练模型(PTM)最近取得了巨大成功,成为人工智能领域的里程碑. ...

• NeurIPS'20 | 通过文本压缩，让BERT支持长文本

  这是今年清华大学及阿里巴巴发表在NIPS 2020上的一篇论文<CogLTX: Applying BERT to Long Texts>,介绍了如何优雅地使用bert处理长文本.作者同时开 ...

• 文本匹配利器：从孪生网络到Sentence-BERT综述

  大家好,我是Giant,这是我的第4篇文章. 文本匹配是自然语言处理领域一个基础且重要的方向,一般研究两段文本之间的关系.文本相似度.自然语言推理.问答系统.信息检索都可以看作针对不同数据和场景的文本 ...

• 概述：各学科和各种任务的最新机器学习算法

  了解NLP,计算机视觉,语音识别和推荐系统的最佳算法 CV Computer Vision, NLP Natural Language Processing, RS Recommender Syste ...

• Bert遇到文本分类：如何用好Bert这把刀

  来自:NLP从入门到放弃 今天分享的论文主要是讲Bert如何在文本分类上获得比较好的效果,比较简单:How to Fine-Tune BERT for Text Classification?:不涉及 ...

• 论文解读：Bert原理深入浅出

  Bert 自 Google 于 2018 年发表至今,一直给人们带来惊喜,期间也陆陆续续因为Bert出现的原因多了不少新的岗位,甚至公司 JD 上都明确表明必须懂 Bert. 它在 11 项自然语言处 ...

• EMNLP2020 Findings论文：网格标注——端到端的细粒度观点抽取方案

  EMNLP2020 Findings论文：网格标注——端到端的细粒度观点抽取方案

• 工作 6 年，谈谈我对“算法岗”的理解

  AI有道 230篇原创内容 公众号 文 | Severus 编 | 小轶 写在前面:本文完全基于我个人的工作经验,没有经过任何形式的行业调研,所以我的理解也有相当浓厚的个人印记,可以认作一家之言.如果 ...