ECCV 2020 | 自监督任务辅助的知识蒸馏 / 四六文摘

AI TIME欢迎每一位AI爱好者的加入! 引言在深度学习时代,神经网络的参数量越来越大,从头开始训练(train from scratch)的成本也越来越大.幸运的是,在计算机视觉.自然语言处理等 ...

专栏<图像分类>正式完结啦!我们从数据集展开讲解,由最基本的多类别图像分类一步步深入到细粒度图像分类.多标签图像分类,再到更加有难度的无监督图像分类,随后我们又对图像分类中面临的各种问题展 ...

关注NLP新进展的读者,想必对四月份发布的SimCSE印象颇深,它通过简单的"Dropout两次"来构造正样本进行对比学习,达到了无监督语义相似度任务的全面SOTA.无独有偶,最近 ...

不同类型的噪声会对模型的分类性能产生什么样的影响呢,让我们一同进行实验,来探索那暗中作祟的标签噪声! 作者&编辑 | 郭冰洋 1 简介在数据集制作过程中,由于主观.客观的原因,会导致标签噪声 ...

深度学习自然语言处理一个热衷于深度学习与NLP前沿技术的平台,期待在知识的殿堂与你相遇~ 154篇原创内容公众号文 | Sherry 来自 | 夕小瑶的卖萌屋一直以来,数据都是推动深度神经网络 ...

作者:戴音培, 黎航宇, 李永彬, 孙健出品:阿里达摩院Conversational AI团队导读:随着科技的不断进步发展,智能对话系统因其巨大的潜力和商业价值将会成为下一代人机交互的风口,不少公 ...

数据是人工智能时代的石油,但是由于监管法规和商业机密等因素限制,'数据孤岛'现象越来越明显.联邦学习(Federated Learning)是一种新的机器学习范式,它让多个参与者可以在不泄露明文数据的 ...

很多实际的项目,我们都难以有充足的数据来完成任务,要保证完美的完成任务,有两件事情需要做好:(1)寻找更多的数据.(2)充分利用已有的数据进行数据增强,今天就来说说数据增强. 作者 | 言有三编辑 ...

机器之心报道机器之心编辑部近日,北京智源人工智能研究院和清华大学研究团队联合发布了以中文为核心的大规模预训练语言模型 CPM-LM,参数规模达 26 亿,预训练中文数据规模 100 GB. 自 2 ...

ECCV 2020 | 自监督任务辅助的知识蒸馏