港大携手快手可灵突破长视频一致性瓶颈,"记忆检索"技术震撼发布
AIbase报道香港大学与快手可灵团队近日联合发表重磅论文《Context as Memory: Scene-Co港大nsistent Interactive Long Video Generation with Memory Retriev携手al》,提出革命性的"Context-as-Memory"方法,成功解决长视频生成中场景一致性控制的核心难题。 该研究的核心创新在于将历史生成的上下文视为"记忆",通过context lear可灵ning技术学习上下文条件,实现长视频前后场景的高度一致性控制。研究团队发现,视频生成模型能够隐式学习视频数突破据中的3D先验,无需显式3D建模辅助,这一理念与谷歌Genie3不谋而合。 为长视解决历史帧序列理论上可无限延长带来的计算负担,研究团队提出基于相机轨迹视场(FOV)的记忆检索机制。该机制能从全部历史频一帧中智能筛选出与当前生成视频高度相关的帧作为记忆条件,显著提升计算效率并降低训练成本。 通过动态检索策略,系统根据相致性机轨迹FOV重叠关系判断预测帧与历史帧的关联度,大幅减少需要学习的上下文数量,实现模型训练和推理效率的质的飞跃。 研究团队基于Unreal Engine5收集了多样化场景、带有精确相机轨迹标注的长视频数据集,为技术验证提供,"坚实基础。用户仅需提供一张初始图像,即可沿设定相机轨迹自由探索生成的虚拟世界。 实验结果显示,C记忆ontext-as-Memory在几十秒时间尺度下保持出色的静态场景记忆力,并在不同场景中展现良好泛化性。与现有SO检索TA方法对比,该技术在长视频生成场景记忆力方面实现显著性能提升,且能在未见过的开放域场景中有效保持记忆连续性。 此次突破"技标志着AI视频生成技术向着更长时序、更高一致性的方向迈出重要一步,为虚拟世界构建、影视制作等应用领域开辟新的可术震能性。创快手新理念:将历史上下文作为"记忆"载体
技术突破:FOV记忆检索机制大幅提升效率
数据构瓶颈建与应用场景
性能表现超越现有方法
-
上一篇
-
下一篇
- 最近发表
- 随机阅读
-
- 5G领先美国10倍!谷歌前CEO担忧被中国反超,急呼斥2088亿发展AI
- 标签: 法拉第未来 FF91 贾跃亭 SEC
- 阿里云实施智能流量管控 公共DNS免费解析超量将限速
- 云计算核心技术Docker教程:Docker 使用网络端口映射连接
- 云计算开发:Python练习实例-打印出杨辉三角形
- 机器人给你带来的奇妙购物之旅
- 标签: 恋与制作人 咪咕电影 不正当竞争 终审判决
- 标签: 滴滴出行 春运打车 滴滴充电 滴滴加油
- Anthropic推出 Claude AI 新功能:自动记忆聊天内容
- AI导致用电量激增 美国数据中心电力需求未来3年将增长近3倍
- 标签: 萤石
- 七种NAS加密做法帮助保护数据
- 标签: 英伟达 DGX Cloud AWS Blackwell
- 英特尔新CEO点燃三把火:斥200亿美元建厂 委托代工厂制造处理器
- 5个用于培养数字工作场所的优秀大数据工具
- 高薪新风口:人工智能岗位月薪最高7.8万,实习生日薪可达4000元
- 标签: 2026世界机器人大会 人形机器人 具身智能 张峰
- “搜索”已死,“推荐”是否也将走到尽头? 原创
- 腾讯元宝全量上线微信公众号及视频号评论区,化身内容速读专家
- 标签: 马自达 斯巴鲁 日产 汽车关税
- 搜索
-
- 友情链接