暂无
今日(9月7日),2023腾讯全球数字生态大会在深圳宝安举行。在大会上,腾讯集团高级执行副总裁、腾讯云与智慧产业事业群CEO汤道生宣布,腾讯自主研发的通用大语言模型——混元,正式面向产业亮相。
腾讯混元大模型拥有超千亿参数规模,预训练语料超2万亿tokens,具有强大的中文理解与创作能力、逻辑推理能力,以及可靠的任务执行能力。
据悉,目前混元大模型已经接入腾讯50多个业务并取得初步效果,包括腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ浏览器等业务和产品。
据腾讯集团副总裁蒋杰介绍,腾讯混元大模型从第一个token开始从零训练,掌握了从模型算法到机器学习框架,再到AI基础设施的全链路自研技术。此外,腾讯还自研了机器学习框架Angel,使训练速度相比业界主流框架提升1 倍,推理速度比业界主流框架提升1.3倍。
目前,业界大模型在场景中的应用依然有限,主要集中在容错率高、任务简单的休闲场景。腾讯在算法层面进行了一系列自研创新,提高了模型可靠性和成熟度。例如,例如针对大模型容易“胡言乱语”的问题,腾讯优化了预训练算法及策略,让混元大模型的幻觉相比主流开源大模型降低了30%至50%。
与此同时,通过强化学习的方法,腾讯让模型学会识别陷阱问题;通过位置编码优化,提高了超长文的处理效果和性能;提出思维链的新策略,让大模型能够像人一样结合实际的应用场景进行推理和决策。
汤道生表示,腾讯将迈入“全面拥抱大模型”时代:“以大模型生成技术为核心,人工智能正在成为下一轮数字化发展的关键动力,也为解决产业痛点,带来了全新的思路。腾讯产业互联网将通过智能增强、数据增强、连接增强,持续助力产业增强。”
据了解,混元大模型将成为腾讯云MaaS服务的底座,客户不仅可以直接通过API调用混元,也可以将混元作为基底模型,为不同产业场景构建专属应用。汤道生表示,千行百业也可以通过API调用混元,或者将混元作为基底模型,为不同产业场景构建大模型应用。
汤道生强调,腾讯已经和1万1千家生态伙伴展开紧密合作,推出了覆盖100多个产业场景的行业解决方案,共同服务千行百业。去年,生态伙伴收入占到腾讯云整体收入的三分之一,收入增速是腾讯云增速的4倍。“在探索未来的道路上,腾讯愿与伙伴携手,共同探索大模型等全新行业机遇,持续拓展下沉市场,坚持打磨‘好产品’,拥抱‘被集成’,搭建‘数字化大舞台’,请伙伴当好主角,共建产业智能未来。”