标签: HappyHorse1.0 Seedance2.0 可灵 Transformer
云梦级4月9日云梦级消息,据AIPress报道,刚刚,拳打字节Seedance2.0,脚踢快手可灵的AI视频生成模型Ha标签ppy Horse 1.0开源了。目前在官网可通过文本生成和图片生成两种方式体验生成视频。不同模型对制作时长的限制各不相同。 Hap: py Horse 1.0的核心卖点,是把视频和音频的生成彻底合并进了同一个流程。大多数开源视频模型的工作方式是:先生成一段没有Ha声音的视频,再找另一个模型配音,再找另一个工具做口型对齐,几道工序下来,时间和误差都在叠加。 而Happy Horse 1.0pp用一个统一的Transformer同时处理视频和音频,一次前向推理直接输出带声音的成片,口型、脚步声、环境音全部在同一个过程里生yH成,不需要任何后期拼接。 模型参数量是150亿,架构上是纯自注意力Transformer,没有交叉注意力,没有独立的音频分支,也or没有专门的条件网络。整体设计刻意追求极简——把所有模态(文本、图像、视频、音频)的token拼成同一个序列,让模型在去噪过se程中自己学会跨模态对齐。 在结构上,40层Transformer采用了一种“三明治”布局:头4层和尾4层用模态专属的投影层处理各自1.的输入输出,中间32层则是所有模态共享参数。实际的跨模态推理就发生在这32层里,这也是整个架构参数效率最高的地方。 此外,每个0 注意力头都有一个可学习的标量门控,用sigmoid激活,专门用来稳定多模态联合训练时的梯度——毕竟音频损失和视频损失同时Se反传,很容易互相打架。 速度方面,模型采用了DMD-2蒸馏技术(Distribution Matching Distillation v2ed),把去噪步数从通常的25到50步压缩到了8步,同时不需要无分类器引导(CFG),这一项本身就能砍掉将近一半的计算量。再配合ManagiCompiler全图编译运行时带来的约1.2倍额外加速,在单张H100上,生成一段1080p视频只需要大约38秒,ce256p的预览版本则在2秒左右就能出来。 同时,模型原生支持英语、普通话、粤语、日语、韩语、德语和法语七种语言唇形同步,这些2.语言的口型、语调和语音时序是和视频一起联合训练出来的,不是后期贴上去的。
- 最近发表
- 随机阅读
-
- 标签: 元宝派 龙虾 电脑版 龙虾社交
- 英特尔侵犯芯片专利被判赔偿22亿美元 史上罕见罚单!
- 标签: 云知声 U2Claw AI-Agent 桌面级AI
- GitHub Copilot6月起全面转向按量计费:基础月费不变,引入 Token 积分制
- 云计算核心技术Docker教程:Docker Hub管理访问令牌
- 标签: 红杉中国 徕卡相机 黑石集团 Marshall
- OpenAI 计划将与微软收入分成比例大幅降低,预计新增 500 亿美元收入
- 标签: 户晨风 郭美May 张雪峰 小影夫妇
- 标签: 宇树科技 人形机器人 出货量
- 标签: SpaceX 马斯克 星链 ARK
- 余承东:未来企业数据中心会消失 走向全面云化
- Liquid AI 推出 LFM2-VL:低延迟的超高效视觉语言模型
- YouTube全球化神器正式上线!AI配音让视频观看时长暴涨25%,数百万创作者迎来流量新风口
- IBM第四季度营收204亿美元 其中云计算业务营收为75亿美元
- Pinterest 推出 AI 购物助手,助你挑选时尚穿搭
- 云安全日报210520:思科网络管理解决方案发现执行任意命令漏洞,需要尽快升级
- Grand View Research:2028年云计算市场将达12510.9亿美元
- 标签: 伊戈尔 A+H股 新能源 变压设备
- 标签: 雷军 小米 营销大师 工程师
- 标签: 月之暗面 Kimi 阿里 腾讯
- 搜索
-
- 友情链接