您现在的位置是：主页 > 品牌 > 百度 >
百度文心大模型4.0将于下周发布，创下万卡训练史上最大参数记录！
发布时间：2023年10月09日 14:15:45 百度 人已围观
简介百度正在加速开发文心大模型4.0，已接近发布阶段。这一版本是文心大模型3.5之后的重要更新，发展进度超出预期，将作为基础模型为未来的应用提供支持。...
新标360快讯10月9日报道，最近有媒体透露，百度正在全力推进文心大模型4.0的训练，已接近发布阶段，这将成为文心大模型3.5版本之后的又一重要更新。
有消息指出，文心大模型4.0的进展速度超出了预期，它将在基础模型上进行大幅升级，其理解、生成、逻辑以及记忆的核心能力都将得到显著提升，尤其是在逻辑推理、代码生成和数学处理等领域的改善尤为突出。
依据我们掌握的信息，上述消息基本上是准确的。目前了解情况显示，文心大模型4.0已经开始了小规模的测试。
根据获得的情报，文心大模型4.0的参数规模将超越所有现有公开发布的LLM，并且为国内首次在万卡集群上进行训练的大型模型。这意味着文心大模型4.0的参数规模有望突破万亿。
万卡集群具体意味着什么？此前国内只有华为和阿里巴巴表示已建成万卡AI集群，但并未推出基于此技术的具体模型。构建万卡集群非常困难，而在此基础上最大化利用则更具挑战性。
分析指出，正是由于与飞桨的紧密合作，才能有效地在万卡集群上训练出如此规模的模型。
不仅训练成本在上升，文心4.0的推理成本相较于3.5也大幅增加，虽然具体的每千token推理成本尚未公开，但传闻大致为之前的8-10倍，这还在高利用率（MFU）情况下。如果利用率更低，预计成本可能会进一步上升。
不得不承认，构建大型模型的费用确实相当昂贵。这也表明，开发顶尖的基础模型将是一场由巨头们主导的竞争。
根据IDC发布的首份大模型评估报告——《AI大模型技术能力评估报告，2023》，百度文心大模型3.5在12个指标中取得了7个满分，综合评分排名第一，算法模型位居首位，行业覆盖面也领先，展现出强大的综合能力。
在全面升级后，文心大模型4.0的训练速度和推理速度等都将进一步提升，它是否能够与GPT-4抗衡甚至超越后者的表现，值得我们期待。
