本栏推荐

快讯信息

发布时间：2024年05月16日 10:25:56 字节跳动人已围观

简介字节跳动于5月15日发布了豆包大模型，火山引擎总裁谭待表示，降价的核心在于通过技术手段降低成本，同时市场对更加经济的大模型有着迫切需求。...

“我们坚定相信，通过技术手段来降低成本是可行的，同时市场对于大模型的低价需求也很强烈。”

5月15日，字节跳动在火山引擎原动力大会上正式推出了豆包大模型。火山引擎的总裁谭待在接受媒体采访时，分享了关于大模型定价的策略。

豆包大模型的惊人低价引起了行业的高度关注。据了解，该模型的推理输入成本仅为0.0008元/千Tokens，较行业平均水平低99.3%。对此，谭待表示，“降价是通过技术来优化成本的。如果只是单纯的补贴，依靠亏损换取收入，这种方式难以持久，火山引擎不会走这条路。”

据了解，优化大模型推理成本的技术方法多种多样。首先，模型本身在结构和训练方法上可以不断改进，例如业内广受关注的MoE（混合专家模型），就是优化推理成本的有效解决方案。

其次，在工程方面的优化也至关重要。大模型越是获得广泛调用，推理成本的优化空间就会越大。过去的模型通常是单机推理，而大模型则采用了分布式推理，因此如果能够更有效地使用多种底层算力，推理成本将显著降低。

谭待进一步解释道，豆包大模型每天平均处理1200亿Tokens的文本，并生成3000万张图片。通过不同负载的任务混合安排和智能调度，能够显著提高资源利用率，从而实现成本的整体优化。

此外，以字节内部的业务为例，飞书在工作期间的流量峰值较高，而抖音则在休闲时间的使用率更高，这些不同业务的大模型推理可以根据其特性进行错峰，从而实现成本的降低。

对于业界关于“大模型价格战”的论调，谭待认为，目前大模型市场仍处于初始发展阶段，竞争尚未达到白热化。“水塘的面积决定了鱼的数量，目前整个池塘的规模还在扩展中。”

“如果一个创业者需要花费1万元来调用大模型，可能会觉得负担很重。而我们将价格降低到不足1%，仅需100元即可开始使用，这样才会让他的创新想法更易尝试。”谭待表示，企业在进行AI转型时面临许多不确定性，降低试错成本是实现大模型应用落地的关键，这样才能让整个行业受益。