新浪科技讯 12月17日上昼音尘，当天，图森改日说明发布图生视频大模子“Ruyi”，并将Ruyi-Mini-7B版块说明开源，用户不错从huggingface凹凸载使用。“Ruyi”专为在破钞级显卡（举例 RTX 4090）上开动而缠绵， 并提供详备的部署评释和 ComfyUI 责任流，以便用户大概快速上手。

　　Ruyi复旧最小384*384，最大1024*1024分歧率，大肆长宽比，最长120帧/5秒的视频生成。同期，不错复旧最多5个肇始帧、最多5个收场帧基础上的视频生成，通过轮回重复不错生成大肆长度的视频。在瓦解幅度罢休方面，Ruyi提供了4档瓦解幅度罢休，浅近用户对全体画面的变化流程进行罢休。在镜头罢休方面，Ruyi提供了上、下、左、右、静止共5种镜头罢休。

　　据先容，Ruyi是一个基于DiT架构的图生视频模子，它由两部分组成：一个Casual VAE模块负责视频数据的压缩息争压，一个Diffusion Transformer负责压缩后的视频生成。其中Casual VAE模块会将空间分歧率压缩至1/8，时分分歧率压缩至1/4，压缩后每个像素由16位的BF16进行示意。DiT部分使用3D full attention，在空间上使用2D RoPE进行位置编码，时分上使用sin_cos进行位置编码，最终的loss接纳了DDPM进行锤真金不怕火。模子的总参数目约为7.1B，使用了约200M视频片断进行锤真金不怕火。

　　图森改日示意，“Ruyi当今仍然存在手部无理、多东谈主时面部细节崩坏、不行控转场等问题，咱们正在改良这些裂缝，在日后的更新中对它们进行开导。”

海量资讯、精确解读，尽在新浪财经APP

遭殃裁剪：郝欣煜 体育游戏app平台