Runway发布新一代视频天生 模子 ,行业尚有哪些困难 待解?

界面消息 记者 | 陈振芳

界面消息 编辑 | 文姝琪

  美东时间6月17日,Runway发布新一代视频天生 模子 Gen-3Alpha,视频天生 赛道上再添“大将 ”。

  Runway是一家视频、媒体和艺术的天生 式AI公司,在美国纽约于2018年创建 ,为影戏 和视频制作中的内容天生 构建底子 多模式AI模子 。如今 该公司已经完成C轮融资,累计融资金额达2.36亿美元,估值达15亿美元,投资者包罗 谷歌、Nvidia和Salesforce。

  2023年2月,该公司连续 发布天生 式AI体系 Gen-1以及多模态AI体系 Gen-2,该模子 可以或许 通过图像或文本提示天生 视频。

  该公司表现 ,Gen-3Alpha是对此前Gen-2模子 在保真度、同等 性和活动 性有了庞大 改进。

  在细粒度时间控制上,Gen-3Alpha具有高度形貌 性、时间麋集 的字幕,可以或许 实现丰富的过渡和场景中元素的正确 关键帧。Gen-3Alpha善于 通过各种动作、手势和感情 产生富有表现 力的人类脚色 。

  Runway在官网表现 ,Gen-3Alpha在视频和图像方面担当 连合 练习 ,将为Runway的文本到视频、图像到视频和文本到图像工具、活动 刷、高级相机控制、导演模式等现有控制模式以及即将推出的工具提供动力,以更风雅 地控制布局 、风格和活动 。

  另一方面,该公司称Gen-3Alpha将发布一套新的保障步伐 ,包罗 内部视觉考核 体系 和C2PA泉源 标准 。

  该公司首创 人Germanidis担当 TechCrunch采访时表现 :“Gen-3Alpha模子 在处理 惩罚 复杂的脚色 和物体交互时大概 会碰到 困难,天生 过程并不总是严格 依照 物理定律。初次 推出的版本将支持5秒和10秒的高分辨率天生 ,天生 时间显着 快于Gen-2。天生 一段5秒的视频必要 45秒,天生 一段10秒的视频则必要 90秒。”

  值得一提的是,Runway并未在相干 消息及采访中透露练习 数据泉源 。而这也是如今 天生 式模子 最轻易 遭遇挑衅 的部分 ——版权题目 。此前,360首创 人、董事长兼CEO周鸿祎发布该公司新产物 ——360AI时,被艺术家创作者责怪 盗取 其作品,两边 “隔空喊话”,版权争议不停 是行业顽疾。

  “我们正在与艺术家密切相助 ,找出办理 这一题目 的最佳方法,”Germanidis告诉TechCrunch,“我们正在探索各种数据相助 搭档 关系,以便进一步发展和构建下一代模子 。”

  Germanidis还声称,其全新改进的内部视觉和文本考核 体系 采取 主动 监督 来过滤掉不得当 或有害的内容。C2PA身份验证可验证利用 全部 Gen-3模子 创建的媒体的出处和真实性。随着模子 功能和天生 高保真内容的本领 不绝 进步 ,公司将继承 在和谐 和安全工作上投入大量资金。

  当前,天生 式模子 赛道上挤满了对手,包罗 Sora、pika、Vidu、Luma AI等,竞争愈发剧烈 。

  Runway在博客上表现 ,Gen-3Alpha也是朝着构建通用天下 模子 迈出的一步。这与中国公司的偕行 们判定 同等 。

  克日 ,生数科技CTO鲍凡在智源大会的视觉大模子 论坛上表现 ,从Vidu4D的工作内里 看到,这种视频大模子 有作为天下 模子 的潜力,把天下 上各种物理规律都给模仿 出来,后续再连合 3D大概 4D的技能 举行 开辟 。

  他以为 ,要通往天下 模子 有两条路。一是通过大语言模子 ,先把抽象的知识构建好,再拓展成天下 模子 。第二条是把物理规律构建好,拓展成天下 模子 ,这两条蹊径 如今 都是探索状态。

  与此同时,天生 视频的本钱 题目 也备受关注。爱诗科技首创 人王长虎在智源大会上透露,如今 天生 一个三五秒钟的视频必要 耗时几十秒。假如 采取 RTX 4090芯片,用时40秒钟,大概 60秒钟的本钱 大概1、2美元左右,将来 本钱 还会进一步降落 。

  他指出,AI视频天生 产物 能用的也就是3秒-5秒,天生 视频越长,偏差 随之会更大,这是接下来行业要办理 的题目 。

  王长虎表现 ,如今 天生 视频还存在以下三个题目 。第一,天生 视频每每 是单镜头的,真正的视频是由多个镜头组合,多镜头的内容是将来 AI视频天生 要办理 的题目 。其次,当前等待 时长比力 长,平凡 用户很难玩起来。第三,推理本钱 高,也是行业亟待办理 的题目 。

联系我们

在线咨询:点击这里给我发消息