首页 游戏攻略正文内容

字节连发两款AI视频工具,一句话完成换脸、编辑,网友直呼Runway不香了!

admin 2025-04-08 198

文|尚恩

编辑|邓咏仪

目前在Github上,两个项目加起来已经拿到1000+星。

不仅如此,还引来大批网友围观,有人就直接表示:“一直想在TikTok火,有了AI这下可好办了”!

目前,字节的这俩项目虽已上传GitHub和arxiv,但还没有公开代码,所以想上手玩还得稍等等了。

对此就有不少网友已经等不及,在线求代码中…

AI捕捉运动信号,一键生成视频

比如,输入“一个在火山里踢踏舞的宇航员”就能生成一个相应的虚拟形象。

看过生成效果,不少网友惊呼,Runway的Gen-1、Gen-2不香了!

这里提一嘴,DensePose是一种计算机视觉技术,用于将人体在图像上的姿态信息与一个3D人体模型进行关联。

这样做的好处优势在于降低了学习难度,不同模态之间不仅可以使用独立的数据进行训练,且不需要所有模态都同时存在的数据集。

另外,MagicAvatar还支持用户上传目标人物的图片,来为特定人物生成动画,实现个性化需求。

未来研究团队表示,还将推出音频引导形象生成的功能,到时候用户只用通过音频输入就能创建形象,比如说话、唱歌。

三阶段训练,AI高保真编辑

比如,把左边这只小兔子变成一个像兔子的老虎,直接提示Tiger就搞定。

OS:(虽然看着有点怪,不过意思是到了…)

字节海外出品

他本科毕业于北京航空航天大学电气工程专业,硕士和PhD都在新加坡国立大学,曾在新加坡海洋人工智能实验室(SeaAILab)实习。

JunHaoLiew是字节跳动新加坡的计算机视觉科学家,他本科毕业于英国伦敦大学学院(UCL)的电子电气工程专业,硕士和PhD则是在新加坡国立大学就读,曾在Adobe实习。据GoogleScholar显示,目前其论文引用量已经有1400多。

其他几位作者,也都是在新加坡读博,并在字节跳动新加坡参与科研。

加速布局AI视频

2023年的字节跳动在AI领域的布局,确实可以用加速跑来形容。

从近期大模型云雀获批,到刚刚对外测试AI对话产品的豆包,以及6月字节跳动旗下火山引擎发布大模型服务平台“火山方舟”,面向企业提供模型精调、评测、推理等全方位的平台服务。

长按添加「智涌」小助手入群,备注:公司+职务

文章目录