请选择 进入手机版 | 继续访问电脑版

搜索爱好者

 找回密码
 注册会员

QQ登录

只需一步,快速开始

查看: 1941|回复: 0

百度发布可持续学习的语义理解框架ERNIE 2.0

[复制链接]
发表于 2019-7-31 17:47:23 | 显示全部楼层 |阅读模式
【网易智能讯7月31日消息】今天,百度宣布ERNIE升级到了2.0版本,据介绍,继1.0后,ERNIE英文任务在共计16个中英文任务上超过了BERT和XLNet, 取得了SOTA效果。

据了解,该框架支持增量引入词汇(lexical)、语法 (syntactic) 、语义 (semantic) 等3个层次的自定义预训练任务,能够捕捉训练语料中的词法、语法、语义等潜在信息。这些任务通过多任务学习对模型进行训练更新,每当引入新任务时,该框架可在学习该任务的同时,不遗忘之前学到过的信息。这也意味着,该框架可以通过持续构建训练包含词法、句法、语义等预训练任务,持续提升模型效果。
目前,百度ERNIE 2.0的Fine-tuning代码和英文预训练模型已开源。(定西)
您需要登录后才可以回帖 登录 | 注册会员

本版积分规则

Archiver|手机版|大川乒乓网|中文搜索引擎指南网(搜网) ( 鲁ICP备16006309号

GMT+8, 2019-12-16 15:10 , Processed in 0.158854 second(s), 29 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表