跳到主内容
智客 ZICQ

智客专题 多模态与视频生成专题

多模态与视频生成专题

文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。

· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容

智客前沿 · 2026-10-14

Hugging Face发布ATAS框架:革新长视频生成中的时空一致性

Hugging Face推出了一种名为Any Time, Any Space (ATAS)的新框架,旨在解决长视频生成中的时空一致性问题。ATAS通过编译剧本并结合显式的位置、相机和事件时间参考,实现跨非连续请求的时空一致性。该框架利用场景…

智客前沿 · 2026-10-14

TypeSafe AI发布Jev 1.14.0:新增多模态支持与实验性功能

TypeSafe AI推出了Jev 1.14.0版本,新增了多模态支持(图像处理)、新数据类型(box)以及更长的上下文支持。这些功能被标记为实验性,尚未推荐用于生产环境,但展示了AI智能体平台在处理复杂任务和提升用户体验方面的潜力。此外,…

智客前沿 · 2026-10-14

Apple发布三模态掩码扩散模型:革新多模态生成技术

Apple Machine Learning Research团队推出首个从头预训练的三模态掩码扩散模型(MDM),该模型在文本、图文和音文数据上进行训练,突破了传统双模态生成方法的局限。研究团队系统分析了多模态扩展规律、模态混合比例、噪声…

智客前沿 · 2026-10-13

Hugging Face探索基于代码生成智能体的图像生成新范式

Hugging Face的研究团队提出了一种基于代码生成智能体的图像生成新方法,通过可执行程序构建图像,而非依赖传统生成模型中的隐式参数学习。研究表明,这类智能体在结构保存和满足精确视觉约束方面表现出色,但在感知丰富性上仍有局限。此外,代码…

智客前沿 · 2026-10-13

Hugging Face发布COMPASS:预训练模型兼容性评估新方法

Hugging Face提出了一种名为COMPASS(COMPatibility ASsessment Score)的新方法,用于在模型对齐或合并之前评估预训练模型之间的兼容性。COMPASS通过分解为两个计算成本低廉的维度——特定对易用性…

智客前沿 · 2026-10-13

Hugging Face发布PixText:革新场景文本优化技术

Hugging Face推出了一款名为PixText的新模型,旨在解决生成图像中局部文本错误的问题。PixText通过在像素空间中进行分组图像生成,仅针对目标区域进行优化,同时保留未编辑内容。其四步MeanFlow生成方法在Text Ref…

智客前沿 · 2026-10-13

Hugging Face发布DecisionRobust:多模态决策模型鲁棒性评估基准

Hugging Face推出了DecisionRobust,这是一款用于评估多模态决策模型鲁棒性的基准测试平台,涵盖文本和视觉输入的对抗性攻击场景。该平台通过语义保留的文本扰动、图像扰动以及跨模态的提示注入等攻击手段,测试模型在复杂决策场景…

智客前沿 · 2026-10-13

Hugging Face发布LensErase:革新图像擦除与编辑技术

Hugging Face推出了一款名为LensErase的通用掩码擦除基础模型,旨在覆盖广泛的真实世界擦除场景。该模型支持多对象擦除、视觉文本、水印等复杂场景,并利用大规模数据集LensErase-100M进行训练。LensErase采用创…

智客前沿 · 2026-10-13

Hugging Face发布4LC:革新动态世界建模中的高效条件生成技术

Hugging Face推出4LC,这是一种用于动态世界建模的4D潜在缓存技术,通过复合视觉表示和灵活的空间时间访问接口,提升了视频生成中的条件获取效率。4LC通过重用静态和动态内容的视觉表示,避免了逐请求的RGB渲染和重新编码,并结合多视…

智客前沿 · 2026-10-12

Hugging Face发布InfoVis:统一生成与编辑演示文稿幻灯片的AI模型

Hugging Face推出了一款名为InfoVis的9B参数模型,专注于演示文稿幻灯片的生成与编辑。该模型通过整合文本渲染、指令跟随、视觉定位、审美设计和精确编辑能力,解决了现有工具功能分散的问题。InfoVis基于一个包含1300万条持…

智客前沿 · 2026-10-12

Hugging Face发布InterpTok:革新图像生成与解码技术

Hugging Face推出了一种名为InterpTok的图像解码技术,通过在训练样本间的代码空间中进行微调,显著提升了图像生成的质量和自然度。InterpTok通过引入混合图像代码解码机制和判别器监督,解决了现有方法中生成的图像代码与训练…

智客前沿 · 2026-10-12

Hugging Face发布Multics:革新多人交互视频生成框架

Hugging Face推出了一款名为Multics的创新框架,用于多人交互视频生成。Multics通过分层通信机制,在玩家、组和全局层面进行信息交换,显著提升了跨玩家一致性和抗干扰能力。其核心创新包括引入组令牌作为中间表示,以及基于预算约…

智客前沿 · 2026-10-12

arXiv发布Kairos模型:探索跨模态字节级基础模型架构

arXiv发布了一篇关于Kairos的研究报告,这是一种新型的跨模态基础模型架构,旨在通过统一的字节级表示处理文本、图像、音频、视频、激光雷达和控制流数据。Kairos结合了双向门控DeltaNet线性注意力机制、滑动窗口注意力、块级注意力…

智客前沿 · 2026-10-12

arXiv提出基于蒸馏最优传输的少样本表示对齐方法

arXiv发布了一种创新的表示对齐方法,通过仅使用100-500对配对数据即可实现跨模态表示对齐。该方法利用配对锚点构建共同坐标系统,并通过熵最优传输问题匹配点云,同时引入边际约束以解决最近邻匹配中的枢纽问题。最终,该方法将最优传输计划蒸馏…

智客信息 · 2026-10-11

微软发布AesCode:多模态AI模型革新信息可视化生成

微软发布AesCode多模态AI模型,通过结合代码生成与图像生成技术,生成结构化、可编辑且可验证的HTML/CSS格式信息可视化内容,如幻灯片、海报和仪表盘。AesCode通过图结构监督和跨模态奖励机制解决传统代码模型难以处理视觉布局问题,…

智客前沿 · 2026-10-10

Hugging Face发布EviScene:革新图像事实性评估框架

Hugging Face推出EviScene,这是一种用于图像事实性评估的多模态智能体框架,旨在判断图像所描述的情境是否真实。EviScene通过视觉检查、外部检索和证据分析来逐步完善问题,并提供基于证据的判断。其核心组件EviLens是一…

智客前沿 · 2026-10-10

arXiv发布论文:呼吁构建以人为中心的人工智能,拥抱模糊性

arXiv发布了一篇关于以人为中心的人工智能(AI)的研究论文,强调了在AI系统中理解和建模人类解释多样性的重要性。论文指出,传统AI系统通常假设存在单一明确的真实答案,而忽略了人类解释的内在模糊性。通过建模合理的解释空间并区分有意义的模糊…

智客前沿 · 2026-10-09

Hugging Face发布InstantFusion:革新跨模型图像生成器协同机制

Hugging Face推出InstantFusion技术,通过共享潜在接口连接异构图像生成器的去噪轨迹,显著提升跨模型状态转换的灵活性与效率。该技术通过模型特定的潜在自编码器(LAEs)将不同生成器的中间状态投影到共享潜在空间,并通过对齐…

智客信息 · 2026-10-09

Amurgola开源LumaBrowser:打造一体化AI生态系统

Amurgola宣布开源其开发的LumaBrowser项目,该项目被描述为集成了AI大语言模型(LLM)、图像生成、音乐生成和语音处理等功能的“一体化AI生态系统”。LumaBrowser具备自动加载与卸载模型、跨设备集群管理、任务调度与触…