您现在的位置是：主页 > 科技圈快讯 > 最热 >
中国联通推出开源元景文生图大模型，昇腾AI平台助力中文理解与推理！
发布时间：2024年12月26日 18:00:45 最热 人已围观
简介中国联通宣布其数据智能公司推出的“联通元景文生图模型”正式开源，该模型完全在国产昇腾AI软硬件平台上实现训练和推理。这一中文原生文生图模型取得了多项自主创新突破。...
中国联通宣布，其数据智能公司开发的全新中文原生文生图模型“联通元景文生图模型”，首次在完全国产的昇腾AI软硬件平台上实现了训练与推理，并正式面向公众开源。
该模型取得了多个自主创新的显著突破：
首先是在架构方面，将复合语言编码模块融入SDXL框架，从而实现对中文长文本、多属性的精确语义理解，显著提升了对应图像的生成质量。
其次是在昇腾AI的大规模算力集群上完成了中文原生文生图模型的训练和推理，并将模型及其源代码对外开源，旨在推动文生图领域的国产化进程。
据了解，原版SDXL的语言编码器仅支持英文CLIP模型，面对英文文本输入时长度限制在77个token内。
为此，联通元景文生图模型用中文CLIP模型替代了英文CLIP，并引入了复合语言编码体系，使用基于encoder-decoder结构的语言模型，突破了文本长度的限制。
通过采用复合语言编码模块，元景文生图模型实现了原生的中文语义处理，避免了使用翻译工具调用英文文生图模型时出现的中文信息损失。
同时，通过引入大量中文图文对数据进行预训练，使得模型能够准确理解和生成关于中文专有名词的高质量图像，例如鼠标与老鼠、仙鹤与吊车等英文模型易混淆的项，以及中文菜谱等英文模型难以理解的词汇。
（在英文中均翻译为crane，存在混淆风险）
（包含中文独特词汇）
中国联通在自有的昇腾AI基础软硬件平台上成功实现了元景文生图模型的从微调训练到推理的一整套适配。
在微调训练上，用户能够使用自定义数据集，从其他平台顺利迁移至昇腾；
在模型推理方面，接口与Diffusers保持一致，操作简单，支持单卡和多卡推理，单卡推理还支持UNet缓存加速。
该模型已在联通的多个内外部项目中应用，覆盖文创、时装、工业设计等多个领域，支撑了中华器灵、服装大模型等数十个案例。
联通元景文生图模型助力服装设计
联通元景文生图模型推动文物活化
目前，元景文生图模型已经在GitHub、Hugging Face、魔搭、始智等多个社区全面开源，相关链接如下：
