您现在的位置是：主页 > 品牌 > 百度 >
百度大模型技术再创新：文心3.5性能提高50%，推理速度快增30倍
发布时间：2023年07月06日 17:54:57 百度 人已围观
简介2023世界人工智能大会于7月6日在上海世博中心召开，聚集了众多专家、学者及企业代表，共同探讨人工智能对产业发展的新变化及未来技术趋势。百度首席技术官等业内人士分享了深度...
2023年7月6日，世界人工智能大会（WAIC）在上海世博中心隆重启动，众多专家、学者、科技领军人物及企业代表聚集一堂，共同探讨人工智能如何重新塑造产业发展，并展望未来技术趋势。百度的首席技术官王海峰为与会者解析了文心大模型3.5版本的核心技术，介绍了飞桨生态的最新进展，并阐述了人工智能产业的创新模式，发出新的声音。
飞桨平台汇聚了750万开发者，文心3.5的效果提升达50%，推理速度提升了30倍
目前，以大语言模型为核心的人工智能技术正席卷全球，促进科技和产业的深度创新，并推动产业转型升级，经济增长。IT技术栈也发生了根本变革，从芯片、操作系统和应用三层架构，演化为芯片、框架、模型和应用的四层结构。深度学习框架和大模型已成为产业智能化的根基，支撑各行业的智能化改造，助力经济高质量发展。
百度在人工智能的四层技术栈中均有深度布局，特别是在框架层和模型层方面具备领先的自研技术。文心大模型的最新突破得益于飞桨深度学习平台与文心的合作优化。飞桨是中国首个自主研发的产业级深度学习开源平台，过去两年在国内深度学习平台的综合市场份额中稳居第一。王海峰在现场透露，截止目前飞桨已经汇集了750万名开发者，这是百度在2023年首次对外发布的最新数据。
自2019年3月发布文心大模型1.0版以来，经过四年的技术研究和迭代，文心大模型目前已升级至3.5版本。王海峰表示，文心大模型3.5在效果、功能和性能上均有显著提升，完成了基础模型的升级，技术创新、知识点增强及逻辑推理能力的提升，使模型效果提高了50%，训练速度增加了2倍，推理速度则提升了30倍。
核心技术不断突破，效果与效率共同攀升
今年3月份，百度成为全球科技公司中首家发布大语言模型的公司，推出了文心一言。文心一言是结合知识增强的大语言模型，它从数万亿的数据和数千亿的知识中提炼信息，以形成预训练大模型，并结合有监督精调、人类反馈学习等技术，具备知识增强、检索增强和对话增强等优势。
王海峰深入探讨了文心大模型3.5的核心技术创新。在基础模型训练上，采用了飞桨最前沿的自适应混合并行训练技术和混合精度计算策略，经过多种策略优化数据源和分布，加快了模型的迭代速度，显著提升了模型的效果与安全性。同时创新了多类型，有多阶段的有监督精调技术，多层次的奖励模型，多种损失函数混合优化策略，以及双飞轮结合的优化技术，进一步提高了模型性能及场景适配能力。