字节连发两款AI视频工具,一句话完成换脸、编辑,网友直呼Runway不香了!
文|尚恩
编辑|邓咏仪
目前在Github上,两个项目加起来已经拿到1000+星。
不仅如此,还引来大批网友围观,有人就直接表示:“一直想在TikTok火,有了AI这下可好办了”!
目前,字节的这俩项目虽已上传GitHub和arxiv,但还没有公开代码,所以想上手玩还得稍等等了。
对此就有不少网友已经等不及,在线求代码中…
AI捕捉运动信号,一键生成视频比如,输入“一个在火山里踢踏舞的宇航员”就能生成一个相应的虚拟形象。
看过生成效果,不少网友惊呼,Runway的Gen-1、Gen-2不香了!
这里提一嘴,DensePose是一种计算机视觉技术,用于将人体在图像上的姿态信息与一个3D人体模型进行关联。
这样做的好处优势在于降低了学习难度,不同模态之间不仅可以使用独立的数据进行训练,且不需要所有模态都同时存在的数据集。
另外,MagicAvatar还支持用户上传目标人物的图片,来为特定人物生成动画,实现个性化需求。
未来研究团队表示,还将推出音频引导形象生成的功能,到时候用户只用通过音频输入就能创建形象,比如说话、唱歌。
三阶段训练,AI高保真编辑比如,把左边这只小兔子变成一个像兔子的老虎,直接提示Tiger就搞定。
OS:(虽然看着有点怪,不过意思是到了…)
字节海外出品他本科毕业于北京航空航天大学电气工程专业,硕士和PhD都在新加坡国立大学,曾在新加坡海洋人工智能实验室(SeaAILab)实习。
JunHaoLiew是字节跳动新加坡的计算机视觉科学家,他本科毕业于英国伦敦大学学院(UCL)的电子电气工程专业,硕士和PhD则是在新加坡国立大学就读,曾在Adobe实习。据GoogleScholar显示,目前其论文引用量已经有1400多。
其他几位作者,也都是在新加坡读博,并在字节跳动新加坡参与科研。
加速布局AI视频2023年的字节跳动在AI领域的布局,确实可以用加速跑来形容。
从近期大模型云雀获批,到刚刚对外测试AI对话产品的豆包,以及6月字节跳动旗下火山引擎发布大模型服务平台“火山方舟”,面向企业提供模型精调、评测、推理等全方位的平台服务。
长按添加「智涌」小助手入群,备注:公司+职务







