发布日期：2024-07-27 07:47 点击次数：157
本文起原：时间周报 作家：梁春富【MXSPS-407】マキシング半期ベスト10時間 ～2015年上半期編～
继快手布告上线自研的视觉生成大模子家具可灵AI后，大模子企业智谱AI也展示了其在多模态生成式 AI 模子上的研发实力。
7月26日，智谱AI CEO张鹏在智谱 Open Day上布告，AI生成视频模子清影（Ying）隆重上线。即日起所有C端用户，王人能通过清影（Ying）体验到AI文生视频、图生视频智力。
据其先容，在输入一段翰墨后（俗称Prompt），用户不错遴荐我方想要生成的立场，包括卡通3D、油画、电影感等，再配上清影自带的音乐，就不错生成充满AI联想力的视频片断。
除了文本生成视频，也不错到清影上图片生成视频。图生视频带来了更多的新玩法，包括神志包梗图、告白制作、剧情创作、短视频创作等。同期，基于清影的相片动起来小才略也会同步上线，只需一步上传相片，AI就能让凝练在旧时光中的相片灵动起来。
“本次清影底座的视频生成模子是CogVideoX，它能将文本、时刻、空间三个维度交融起来，参考了Sora的算法计算，它亦然一个DiT架构，通过优化，CogVideoX 比拟前代（CogVideo）推理速率提高了6倍。在后续版块中，将推出更高辞别率、更万古长的生成视频功能。” 张鹏称。
在生成式视频模子的研发中，Scaling Law 不竭在算法和数据两方面显露作用。“咱们积极在模子层面探索更高效的scaling步地。”张鹏暗示：“跟着算法、数据抑止迭代，敬佩Scaling Law将不竭显露强有劲作用。”
相较于OpenAI早前发布的SORA，智谱的清影已全王人面向C端，并提供免费版和付费版两种遴荐。会上，张鹏暗示，“为什么要作念多模态这件事，视频生成要放到通盘期间和家具发展阶梯当中来看，咱们以为它是AGI必须走的旅途。”
本年事首时，张鹏曾暗示，不啻ToB，C端智谱也会去作念，但成见比较明确，把闭环作念起来，给异日也留住一个可能性。他判断，TO C垄断可能异日亦然一个要爆发的点。
清影是继智谱清言APP上线后的又一大To C垄断，也意味着智谱隆重切入AI视频生成商场。
此前张鹏汲取时间周报记者采访时曾提到Sora的期间力，他指出，Sora的主要期间想路是用视觉块编码（Visual Patch）的步地，把不同神气的视频进行统 一编码，然后用 Transformer 架构进行磨练，并引入肖似 Diffusion的Unet步地作念在降维和升维的经过中作念加噪和去噪。之前的基于Diffusion的模子，非常是把 Stable Diffusion 微调成视频生成的模子，基本上王人有着“耀眼”（帧间细节跳变）的问题，张鹏称，“Sora 细节计算很合理，惩处了这个问题。”
性爱之后张鹏暗示，Sora另一个特质是高辞别率：视频常见的一个问题是 H*W*T 长度太长，导致辞别率不够高玩忽需要分层，Sora 径直生成了高辞别率（1080p）的图像。 Sora 不错生谚语义丰富的长达 60s 的视频，这讲解磨练的序列也比较长，磨练时候的窗口至少也得有 5s+。从展示出的较短样例分析，可能磨练的长度为 7-8s。另外，OpenAI 还使用了基于遑急性采样的生成式磨练以及乌有引擎生成一些特定的数据来补充一些 OOD 的情况，举例长程相关等。
智谱AI 一直在多模态限度鼎力参加，有经久的期间积贮，从2021岁首始，先后研发了CogView（NeurIPS’21）、CogView2（NeurIPS’22）、CogVideo（ICLR’23）、Relay Diffusion（ICLR’24）和 CogView3（2024）。
“完结全系列家具矩阵对标Open AI 是咱们大模子系列家具布局的一贯成见【MXSPS-407】マキシング半期ベスト10時間 ～2015年上半期編～，多模态模子在其中上演着遑急变装，也经久是咱们的考虑要点。”张鹏称。