您现在的位置是：主页 > 品牌 > 阿里巴巴 >
阿里推出新技术，杰克逊舞姿瞬间转化为3D机器人！
发布时间：2024年01月18日 00:22:40 阿里巴巴 人已围观
简介阿里推出的新技术MotionShop可以将视频中的人物角色替换为3D形象，而不影响场景和其他人物。这项技术使得人形机器人能够完美复刻迈克尔·杰克逊的舞蹈，展现出了与原创表演相媲美的...
人形机器人模仿杰克逊的舞蹈，竟然毫不逊色！
这背后到底是怎样的故事呢？
实际上，阿里巴巴又推出了一个新项目——
MotionShop，它能够将视频中的人物换成3D形象，而不影响其他场景和角色。
听到这个消息，许多人已迫不及待。目前功能已在ModelScope社区提供试玩。
还有网友建议在HuggingFace平台上也进行相应的处理，否则不懂中文的用户可怎么办呢~
确实，阿里近年来的创新层出不穷。
试玩全免费
现在MotionShop的三步免费试玩流程为：
上传视频——确认目标角色——选择要替换的虚拟形象。
不过在使用时需注意一些事项。
首先，上传的视频时长不宜超过15秒，确保人物完整，并且不能是剪辑的片段。
换句话说，视频必须是一镜到底，切换镜头的情况不行。
接下来，选择替换的人物时，系统会自动识别一个目标对象，并检查其与您选择的对象是否匹配。
目前可供选择的虚拟角色仅有四个。
最后，用户需面临较长的排队等待时间……看来试用者的数量实在太多了。
实现原理是什么？
阿里技术团队提出了一种利用3D角色替换视频中人物的技术框架。
该框架由两个核心部分构成：
1、用于提取和修复背景视频的处理管道；
2、用于生成3D人物视频的姿态估计与渲染管道。
通过并行两条管线并结合高效的光线追踪渲染器TIDE，整个过程能够以快速的速度完成。
具体操作分为七个步骤。
第一步，角色检测。通过结合文本信息与现有封闭集检测器的Transformer，实现零样本类对象的检测，并通过优先选择法确定最终目标区域。
第二步，分割与追踪。在确认目标后，采用视频对象分割与追踪技术以像素级跟踪目标区域，此技术基于对SAM模型的改进。
第三步，对视频的其余部分进行修补。操作中采取递归流恢复法修复受损流场，并使用双域传播法增强时间一致性，在图像和特征两个领域进行处理。