腾讯正式发布混元大语言模型 参数规模超千亿
周毅 2023-09-07 12:21:13 浏览量:153

今日(9月7日),2023腾讯全球数字生态大会在深圳宝安举行。在大会上,腾讯集团高级执行副总裁、腾讯云与智慧产业事业群CEO汤道生宣布,腾讯自主研发的通用大语言模型——混元,正式面向产业亮相。


腾讯混元大模型拥有超千亿参数规模,预训练语料超2万亿tokens,具有强大的中文理解与创作能力、逻辑推理能力,以及可靠的任务执行能力。

据悉,目前混元大模型已经接入腾讯50多个业务并取得初步效果,包括腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ浏览器等业务和产品。

据腾讯集团副总裁蒋杰介绍,腾讯混元大模型从第一个token开始从零训练,掌握了从模型算法到机器学习框架,再到AI基础设施的全链路自研技术。此外,腾讯还自研了机器学习框架Angel,使训练速度相比业界主流框架提升1 倍,推理速度比业界主流框架提升1.3倍。


目前,业界大模型在场景中的应用依然有限,主要集中在容错率高、任务简单的休闲场景。腾讯在算法层面进行了一系列自研创新,提高了模型可靠性和成熟度。例如,例如针对大模型容易“胡言乱语”的问题,腾讯优化了预训练算法及策略,让混元大模型的幻觉相比主流开源大模型降低了30%至50%。

与此同时,通过强化学习的方法,腾讯让模型学会识别陷阱问题;通过位置编码优化,提高了超长文的处理效果和性能;提出思维链的新策略,让大模型能够像人一样结合实际的应用场景进行推理和决策。

汤道生表示,腾讯将迈入“全面拥抱大模型”时代:“以大模型生成技术为核心,人工智能正在成为下一轮数字化发展的关键动力,也为解决产业痛点,带来了全新的思路。腾讯产业互联网将通过智能增强、数据增强、连接增强,持续助力产业增强。”


据了解,混元大模型将成为腾讯云MaaS服务的底座,客户不仅可以直接通过API调用混元,也可以将混元作为基底模型,为不同产业场景构建专属应用。汤道生表示,千行百业也可以通过API调用混元,或者将混元作为基底模型,为不同产业场景构建大模型应用。

汤道生强调,腾讯已经和1万1千家生态伙伴展开紧密合作,推出了覆盖100多个产业场景的行业解决方案,共同服务千行百业。去年,生态伙伴收入占到腾讯云整体收入的三分之一,收入增速是腾讯云增速的4倍。“在探索未来的道路上,腾讯愿与伙伴携手,共同探索大模型等全新行业机遇,持续拓展下沉市场,坚持打磨‘好产品’,拥抱‘被集成’,搭建‘数字化大舞台’,请伙伴当好主角,共建产业智能未来。”

评论
关于我们

数据交易网是围绕数据要素产业进行多边服务的综合性平台,数据要素领域商业信息服务商,专注于围绕数据要素领域展开一系列深度研究与观察。通过媒体资讯+数据服务+产业落地,前中后端“三位一体”线上线下协同的运营模式,发现业内具备创新与机遇的公司与产品,解读并传递市场动态变化,为业内外机构提供高效、精准、专业的服务与决策参考。

联系我们

数据业务合作

张先生 / 15109213331(同微信)

媒体广告合作

岳女士 / 18697333678(同微信)

宁夏市场合作(负责人)

何先生 / 17695012803(同微信)


数据交易网
数商研究所
数据官HR

Copyright 2023 西安数源数据科技有限公司 版权所有 | 工信部备案:陕ICP备2022006051号-1
关键字:数据交易网 数据交易 数据要素