您现在的位置是：主页 > 品牌 > 百度 >
文心3.5升级至4.0：背后推理成本激增可能超十倍
发布时间：2023年10月14日 19:59:13 百度 人已围观
简介消息人士透露，百度正在加紧训练文心大模型4.0，预计将在10月17日的百度世界大会上发布。文心大模型3.5版本于今年5月发布，4.0的即将上线显示了百度在人工智能领域的快速发展和持续...
在国庆节后的第一天，有知情人士透露，百度正在全力开发文心大模型4.0，预计将于10月17日的百度世界大会上正式亮相。
文心大模型3.5版本于今年5月发布，距今尚不足半年，4.0版本即将推出，并定于百度世界大会这一重要活动上，令外界充满期待。
从文心3.5到文心4.0，尽管版本号仅提高了“0.5”，但在推理成本和模型参数量上却将有显著增加。预计推理成本在综合后将至少增高5倍，甚至可能达到8倍或10倍，而模型的参数量将突破万亿大关，这也就解释了文心大模型4.0推理成本提升的原因。
推理成本究竟是什么？简单来说，就是用户在每次使用时所需的算力成本，这不仅包括硬件投入，还涵盖了运维费用。正如“输入”决定“输出”，推理成本即是模型“思考”并“输出”所要花费的代价。
推理成本受到以下三方面的影响：
1、模型的网络结构及参数规模：大模型的神经网络结构越复杂，成本随之增高，参数规模越大，所需计算量和计算成本也会随之提升。
从某种程度上看，这如同人脑中的神经元网络，神经元越复杂，所学与所思的内容就越多，从而需要更大的成本。
根据透露的消息，文心4.0将在飞桨平台上使用万卡集群进行训练，其参数规模将超过市面上所有已发布的大语言模型，并有可能突破万亿级别。
业界的测算显示，在10天内训练一个包含1000亿参数和1PB训练数据集的模型，大约需要10830个英伟达A100 GPU。
若每个A100 GPU的价格在10000美元左右，那么10830个GPU的总体花费将达到：10830*$10000=$108300000。
因此，通用大模型被视作大厂的游戏，这里门槛轻松就超过10亿美元。
2、模型的推理部署方式，包括单机与并行推理、量化和不同的部署方式。
“优化成本”同样是需要付出代价的。就像我们不同的处理方式一样，如果某种方式耗费的时间和精力更为庞大，那么“思考”成本自然会更高。
如果一个模型在推理阶段需要大量的计算和存储资源，就如同成年人处理问题需要费更多力气一般，那么推理成本就会增加。反之，若使用并行处理或量化技术减少计算和存储需求，推理成本则可以相对降低，犹如孩子用更简单的方法来解决问题。值得注意的是，这些技术手段本身也要花费成本。
3、芯片与集群，涵盖芯片型号、规模及集群架构等方面。
芯片购入后并不能直接使用，需要经过一系列复杂的成本投入。
可以将单个芯片比喻为一块能够发电的砖块，如何通过合理配置使得参数规模、推理方法以及芯片与集群性能达到最大化，并不是一件简单的事情。