跳到主内容
智客 ZICQ

智客专题 多模态与视频生成专题

多模态与视频生成专题

文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。

· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容

智客前沿 · 2026-08-31

CQU Student发布DICS:视觉指令选择新方法实现数据内在一致性优化

CQU Student团队提出了一种名为数据内在一致性选择(DICS)的新方法,用于优化视觉语言模型(VLM)的指令选择过程。DICS通过视觉信息一致性(VIC)和响应信息一致性(RIC)两个模块,量化样本级组件间的一致性,从而在保持高样本…

智客信息 · 2026-08-31

H3Max发布AI视频生成工具:文本与图像一键生成电影级AI视频

H3Max推出了一款AI视频生成工具,能够将文本和图像转化为电影级AI视频。该工具利用先进的AI技术,通过自动化处理和智能合成,为用户提供高质量的视觉内容创作体验。这一创新不仅为内容创作者提供了新的创作方式,也为视频制作、广告和娱乐行业带来…

智客前沿 · 2026-08-29

CE3D++:基于大语言模型的多模态3D/4D场景编辑系统发布

CE3D++是一种基于大语言模型(LLM)的创新型3D/4D场景编辑系统,旨在解决现有3D编辑方案灵活性不足、依赖单一视觉模型以及复杂流程整合等痛点。该系统通过Hash-Atlas网络将3D场景编辑操作转化为2D图集图像处理,显著简化了2D…

智客信息 · 2026-08-29

阿里发布Qwen-3.5-35B:基于RL优化的大语言模型新进展

阿里巴巴发布了Qwen-3.5-35B,这是其Qwen系列大语言模型的新版本,重点优化了强化学习(RL)技术以提升模型性能。Qwen-3.5-35B在处理复杂任务和生成高质量文本方面表现出色,尤其在多模态任务和长文本生成中展现了显著改进。该…

智客前沿 · 2026-08-28

Hugging Face发布Motion-Omni:端到端语音与全身动作生成框架

Hugging Face推出了一款名为Motion-Omni的端到端框架,能够让对话智能体在生成语音的同时输出与音频同步的面部表情、手部、上身和下身动作。该框架通过联合训练语音生成器和动作生成器,解决了传统方法中语音与动作分离的问题,实现了…

智客前沿 · 2026-08-28

Hugging Face发布Parallel Tube Decoding:革新视频时空定位技术

Hugging Face推出了一种名为Parallel Tube Decoding (PTD)的新方法,用于视频时空定位(STVG)。PTD通过将定位任务分解为时间块和同时解码的空间块,消除了传统自回归解码中的顺序依赖性,从而大幅减少了延迟…

智客前沿 · 2026-08-28

Hugging Face发布LayerRecall:革新长视频生成中的记忆路由技术

Hugging Face推出LayerRecall,这是一款针对长视频生成优化的记忆路由技术。LayerRecall通过条件化当前状态并选择性地注入历史记忆状态,解决了现有方法中局部一致性与长程连贯性难以兼顾的问题。该技术显著提升了长视频生…

智客信息 · 2026-08-28

Meta发布Muse Image:AI驱动的图像生成、编辑与合成工具

Meta推出了Muse Image,这是一款基于Meta Model API的AI工具,专注于图像生成、编辑和合成。Muse Image旨在为开发者提供更强大的图像处理能力,支持从简单的图像生成到复杂的图像编辑任务。其发布标志着Meta在A…

智客前沿 · 2026-08-27

Ring Forcing框架发布:革新长视频生成中的长期记忆构建技术

Ring Forcing是一种新型自回归视频扩散框架,旨在解决当前视频生成模型中长期记忆不足的问题。该框架通过环形训练策略和压缩时间步组合策略,显著扩展了有效历史跨度并实现了分钟级长视频生成中的对象持久性和长程一致性。此外,Ring For…

智客前沿 · 2026-08-27

GML-MMGroup发布HUG-VIS:首个多模态人类视觉智能基准测试平台

GML-MMGroup推出HUG-VIS,这是一款用于人类视觉智能理解与生成的多模态基准测试平台。HUG-VIS包含8400个由30名专业演员在受控普通话环境下录制的半身视频,涵盖情感识别、视频生成、语音克隆和视频抠像四大任务。该平台通过同…

智客前沿 · 2026-08-27

ArXiv提出PrismRec框架:革新微视频推荐技术

ArXiv团队提出了一种名为PrismRec的新推荐系统框架,通过光谱语义分解(SSF)和上下文校准偏好匹配(CPM)技术,有效解决了传统方法中视觉语义与动态演变之间的纠缠问题。PrismRec利用时间频率域的可学习频率掩码,从帧级表示中提…

智客前沿 · 2026-08-27

ArXiv提出Text-to-Seed框架:革新开放词汇语义分割技术

ArXiv团队提出了一种名为Text-to-Seed (T2S)的新框架,旨在提升开放词汇语义分割(OVSS)的性能。该方法利用Stable Diffusion的文本-区域对应关系生成目标类别的注意力种子点,并结合Segment Anyth…

智客前沿 · 2026-08-27

ArXiv提出IGFD:革新扩散多模态语言模型解码策略

ArXiv团队提出了一种名为信息引导前沿解码(IGFD)的新型解码策略,用于提升扩散多模态语言模型(dMLLMs)的解码质量。IGFD通过结合token置信度、邻域不确定性和结构承诺风险来排序候选token,优先提交可靠的语义锚点,同时延迟…

智客前沿 · 2026-08-27

ArXiv提出Ring Forcing框架:革新长视频生成中的长时记忆建模技术

ArXiv团队提出了一种名为Ring Forcing的新型自回归视频扩散框架,旨在解决当前视频生成模型中缺乏鲁棒长时记忆的问题。该框架通过环形训练策略和压缩时间步组合策略,显著扩展了模型对长历史信息的处理能力,并实现了分钟级长视频生成中的高…

智客前沿 · 2026-08-27

ArXiv提出TetherMem:革新长视频生成中的时空记忆路由技术

ArXiv团队提出了一种名为TetherMem的新型时空记忆路由技术,用于提升长视频生成的一致性与场景演进能力。TetherMem通过分离主体与场景查询,并结合区域和年龄先验条件调节历史访问,解决了现有方法中主体稳定但场景锁定的问题。在24…

智客前沿 · 2026-08-27

ArXiv发布AraMS-28k:最大公开历史阿拉伯手稿数据集

ArXiv团队发布了AraMS-28k,这是迄今为止最大的公开历史阿拉伯手稿数据集,包含14本书、3043页和28600条标注文本行。该数据集涵盖三种手写字体,并首次对手稿的非线性阅读顺序进行了行级标注,为阿拉伯手稿识别、排版分析和阅读顺序…

智客前沿 · 2026-08-27

ArXiv提出RubricRM框架:革新视觉生成与编辑的动态奖励建模

ArXiv团队提出了一种名为RubricRM的新型生成式奖励建模框架,旨在解决现有视觉生成模型在处理不同指令时缺乏适应性的问题。RubricRM通过生成特定于输入的评估标准(包含维度、权重和评分规则),并将其应用于候选图像评分,从而显著提升…

智客前沿 · 2026-08-27

ArXiv研究揭示:威尔士地标名称蕴含地形信息

ArXiv团队的一项研究分析了3757个威尔士地名的地理特征,发现包含高地形词汇(如bryn或mynydd)的地名相较于低地形词汇(如cwm或pant)的地名,平均海拔高出24.4米。研究表明,这些地标名称保留了与地形相关的可测量信息,为地…

智客前沿 · 2026-08-27

ArXiv发布Aphanta框架:革新多模态推理中的图像编辑诊断技术

ArXiv团队推出Aphanta,这是一种用于多模态大语言模型(MLLMs)图像编辑诊断的自动化任务发现与闭环框架。Aphanta通过评估直接推理、使用编辑器生成中间结果推理以及使用理想参考中间结果推理三种条件,区分当前编辑器的实际效用与潜…

智客前沿 · 2026-08-27

ArXiv发布MVC-Bench:首个医疗视觉语言模型校准基准测试平台

ArXiv团队提出了一种名为MVC-Bench的新型基准测试平台,用于评估医疗视觉语言模型(Medical-VLMs)和视觉语言模型(VLMs)的校准性能。该平台通过三个维度——模态、主干网络和领域转移的鲁棒性、校准策略和提示微调方法的有效…

智客前沿 · 2026-08-27

ArXiv提出ProRetrieval:基于程序综合的混合检索编排框架

ArXiv团队提出了一种名为ProRetrieval的新方法,通过程序综合技术将语言模型转化为混合检索的编排器。该方法利用混合领域特定语言(DSL),结合SQL操作符和向量检索原语,实现对文本和图像数据的复杂布尔逻辑组合检索。实验结果表明,…

智客前沿 · 2026-08-27

Fangchuan发布SpatialCrafter:革新单图像生成3D场景技术

Fangchuan团队推出了一种名为SpatialCrafter的新框架,旨在解决现有基于视频扩散模型(VDM)的图像生成方法中存在的3D一致性差、长期漂移和随机幻觉问题。SpatialCrafter采用两阶段生成流程,包括全局代理生成和外…

智客前沿 · 2026-08-27

ArXiv提出自监督多模态嵌入框架,探索AI对艺术美学的自主分类机制

ArXiv团队提出了一种自监督多模态嵌入框架,通过将文本、音频、图像和视频四种模态投射到共享的256维嵌入空间,并应用迭代聚类技术来发现艺术美学结构。该方法揭示了AI在无显式标签或跨模态监督的情况下,如何对人类创作内容进行自主美学分类。该研…

智客前沿 · 2026-08-27

ArXiv发布TransMeme框架:跨文化模因翻译与再创造的多智能体解决方案

ArXiv团队提出了一种名为TransMeme的多智能体框架,旨在解决跨文化模因翻译与再创造中的核心挑战。该框架通过文化适应、目标文本改写、修订以及条件性视觉调整等机制,协同处理文化特定知识理解、意图与语气保留以及多模态一致性三大难题。实验…

智客前沿 · 2026-08-27

ArXiv发布首个多模态音频视频生成安全基准:Multi2AV-Safety

ArXiv推出名为Multi2AV-Safety的首个多模态音频视频生成安全基准,旨在解决现有安全评估方法无法系统研究跨模态交互中潜在风险的问题。该基准覆盖了11种非单一条件配置,包含11,024个攻击实例,揭示了当前多模态安全防护机制在处…