AI圈炸了!OpenAI最新发布了一个新模型Sora,宣布视频生成领域的GPT-4 时刻到来!
这是OpenAI首款文本到视频的模型,但出道即王炸,Sora能够根据用户的一句话生成长达一分钟的视频,且视频流畅度和稳定性皆在水准之上。
Sora 的问世将视频制作的艺术推向了新的巅峰,其AI制作的视频展现出了复杂的摄影艺术、多元角色设定、逼真的情绪捕捉以及对物理规律的精确模拟。
据悉,这是在 OpenAI 之前的成就——图像创作神器 DALL-E 以及文本生成巨擘 GPT-3 和 GPT-4的基础上,进一步的创新与突破。
Sora 不仅能够在视频主体暂时离开镜头时保持故事线的流畅,还能确保视频内容的真实性和逻辑性,不让任何细节显得突兀或不自然。得益于其采用的Transformer架构,Sora 在处理视频生成的可扩展性上也远超以往任何模型。
提示:一位时尚女性走在充满温暖霓虹灯和动画城市标牌的东京街道上。她穿着黑色皮夹克、红色长裙和黑色靴子,拎着黑色钱包。她戴着太阳镜,涂着红色口红。她走路自信又随意。街道潮湿且反光,在彩色灯光的照射下形成镜面效果。许多行人走来走去。
提示:“动画场景特写一只矮小的毛茸茸怪物跪在一支融化的红色蜡烛旁。艺术风格是 3D 和逼真的,重点在于光线和纹理。画面的情绪充满了惊奇和好奇,怪物睁大眼睛,张开嘴巴凝视着火焰。它的姿态和表情传达了一种天真和顽皮感,仿佛是它第一次探索周围的世界。温暖的色彩和戏剧性的光线进一步增强了图像的舒适氛围。”
扩散模型:Sora 的起点是一个类似于静态噪声的视频画面,它逐步移除噪声,生成清晰的视频。想象一下,就像是从一张模糊的照片开始,逐渐使其变得锐利和清晰。
视频生成:Sora 能够一次性创造完整的视频或者延长现有视频的长度。它能够跟踪视频中跨越多帧的事件,即使某物短暂地消失在视野之外,Sora 依旧能够“记住”它的存在。
换句话说,Sora 的基础是扩散模型,从“随机噪声”开始,通过上百个细致的处理阶段,逐步演化成为一个连贯且生动的视频场景。这不仅使得 Sora 生成的内容在视觉上更加逼真,动态表现也更为流畅,相较于早期的生成式 AI 模型,有了显著的进步。
Sora 建立在 OpenAI 的图像创造工具 DALL-E 的基础之上,借鉴了 DALL-E 的文本解读技巧,使其能够将文字提示精确转换为视频画面。Sora 还能够为现有图片赋予动态效果或延伸视频内容的长度。
该模型通过将视频拆解为众多小块,这些数据单元与自然语言模型中的词汇相似,采用这种统一的数据表现形式,使得 Sora 能在多样化的视频数据上进行训练,涵盖不同的时长、分辨率和宽高比。Sora 采用Transformer架构,针对长序列视频的处理有非常好的扩展能力,得益于Transformer并行处理数据的特性,因此长视频内容具有良好的一致性。
在将 Sora 集成到OpenAI 的产品系列之前,目前已向一批研究者和专业人士开放了 Sora API 的访问权限。艺术家、电影制片人和设计师等创意人也可申请此权限,从而为OpenAI 提供反馈。
虽然 Sora 的公开发布时间尚未确定,但 OpenAI 已经明确表示,Sora 预示着 AI 技术迈向下一个发展阶段的步伐比众多人预期的要快。2024 年有可能成为 AI 从引人注目的演示转变为革命性产品的关键年份。
Sora 开辟了一条创新之路,展现了一种破天荒的 AI 技术,这技术有潜力极大地扩展人类在视觉故事讲述方面的创造力。无论是独立电影制作人还是动画师,都可以通过 Sora 低成本地创作复杂的场景和人物,为他们的作品提供一个跳板。广告制作人同样能利用这一技术快速原型化动态视频概念,更有效地向客户展示他们的创意。
然而,和所有生成式 AI 技术一样,如果没有严格的监管,Sora 的使用可能会走向歧途。它可能被用于制作带有误导性的视频内容,比如用于宣传或诈骗,这是不能忽视的风险。但 OpenAI 明确表示,他们正在对 Sora 实施细致周到的安全措施。
为了确保 Sora 的正当使用,OpenAI 正与虚假信息、仇恨言论和媒体领域的专家紧密合作,共同开发监管策略。这其中包括创建 AI 分类器,专门识别 Sora 生成的视频,并确保遵循 OpenAI 的内容政策。此外,还会邀请外部研究者在 Sora 正式发布前对其安全措施进行逆向测试。
面对如何负责任地推出这样一款强大的视频生成工具的挑战,研究团队充满信心。他们相信,通过与所有相关方的共同合作和开放透明的沟通,可以使像 Sora 这样的 AI 技术不仅推动人类创造力的发展,同时也能有效地控制相关风险。
原标题:《AI 圈炸了!OpenAI Sora问世,60秒视频一镜到底,网友:颠覆整个行业》
本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。