全面转向生成式AI!苹果推出300亿参数多模态大模型
牛占林 2024-03-18 08:12:06 浏览量:104

相较于英伟达、微软等大型科技股,苹果今年的表现令人失望不已,股价年内跌逾 10%,且失去了 " 全球市值最高公司 " 的宝座。

背后原因很简单,苹果在这场人工智能 ( AI ) 竞赛中落伍了。为了摆脱窘境,苹果近期放弃了造车项目,正在全面转向生成式 AI 领域,并且很快有了新动作。

就在近日,苹果公司研发团队发布了一篇论文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》,首次公布了多模态大模型 MM1,展示了该公司在 AI 方面的进展与实力。

据悉,MM1 最高参数量为 300 亿,该模型支持增强的上下文学习和多图像推理,在一些多模态基准测试中有较好表现。

研究人员使用这些模型进行实验,找出影响大模型表现的关键因素。有趣的是,图像分辨率和图像标签数量比视觉语言连接器的影响更大,不同的预训练数据集会显著影响模型的有效性。

MM1 的独特之处在于其庞大的规模和架构创新,包括密集的模型和混合专家模型。这些模型证明了研究人员方法的有效性,将大规模预训练与战略性数据选择相结合,以增强模型的学习能力。

研发团队称,MM1 不仅在预训练指标中是 " 最先进的 ",并且在一系列已建立的多模态基准测试中,经过微调后也保持了 " 有竞争力的 " 性能。

MM1 可以支持增强的上下文学习和多图像推理,使得少数样本的思维链提示成为可能。

然而,目前 MM1 的整体性能还没有完全超过谷歌的 Gemini 和 OpenAI 的 GPT-4,虽然 MM1 可能还不是绝对的领导者,但它仍然是苹果在 AI 方面的一次重大飞跃。

与此同时,苹果公司还出手收购了 AI 初创公司 DarwinAI。DarwinAI 以创建更小、更快的 AI 系统见长,这是实现设备上高效处理的关键因素。收购完成后,DarwinAI 的网站和社交媒体账户已悄然下线。

据悉,数十名 DarwinAI 员工已经加入了苹果的 AI 部门,作为交易的一部分,滑铁卢大学的 AI 研究员 Alexander Wong 已加入苹果,担任 AI 团队的总监。

评论
关于我们

数据交易网是围绕数据要素产业进行多边服务的综合性平台,数据要素领域商业信息服务商,专注于围绕数据要素领域展开一系列深度研究与观察。通过媒体资讯+数据服务+产业落地,前中后端“三位一体”线上线下协同的运营模式,发现业内具备创新与机遇的公司与产品,解读并传递市场动态变化,为业内外机构提供高效、精准、专业的服务与决策参考。

联系我们

数据业务合作

张先生 / 15109213331(同微信)

媒体广告合作

岳女士 / 18697333678(同微信)

宁夏市场合作(负责人)

何先生 / 17695012803(同微信)


数据交易网
数商研究所
数据官HR

Copyright 2023 西安数源数据科技有限公司 版权所有 | 工信部备案:陕ICP备2022006051号-1
关键字:数据交易网 数据交易 数据要素