跳到主内容
智客 ZICQ

智客专题 多模态与视频生成专题

多模态与视频生成专题

文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。

· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容

智客前沿 · 2026-10-21

Generalized CycleGRPO框架发布:革新多模态理解与定位机制

Generalized CycleGRPO是一种统一的多模态强化学习框架,首次实现了空间、时间和时空域中区域理解和定位的耦合。该框架通过生成候选描述并将其定位以重建输入区域,利用重建重叠作为可验证的奖励机制,同时通过个体定位奖励改进逆向映射…

智客前沿 · 2026-10-21

Hugging Face提出未来块预测方法:革新自回归视频生成模型

Hugging Face的研究团队提出了一种名为未来块预测(FCP)的新方法,用于改进自回归视频生成模型。该方法通过联合优化辅助目标,预测时间上分离的视频块,从而提升对场景演化的建模能力。FCP无需额外的预训练视觉编码器,且训练计算开销更低…

智客前沿 · 2026-10-21

Hugging Face发布ALPS:统一视觉状态编码器的世界模型新突破

Hugging Face推出ALPS,这是一种新型的预训练视觉状态编码器,旨在统一物理状态信息、语言对齐和像素重建能力。ALPS通过仅使用静态图像和文本进行训练,结合语言、重建和空间对应目标,并通过跨视图自蒸馏进行优化。在15个公开编码器的…

智客前沿 · 2026-10-20

MiniMax发布SolarRenderer:结构引导视频生成新突破

MiniMax推出SolarRenderer,这是一款结构引导的视频生成模型,通过轻量级LoRA适配冻结的MiniMax-H3 33B骨干网络,实现了高效且高质量的视频渲染。SolarRenderer能够根据文本描述的结构视频生成逼真的视频…

智客前沿 · 2026-10-20

Hugging Face发布EvaOmni:首个基于证据的视听推理基准测试框架

Hugging Face推出EvaOmni,这是一个全新的视听推理基准测试框架,旨在解决现有评测方法中依赖多选问题和缺乏证据支持链的不足。EvaOmni包含392个视频和1027个纯人工标注的问题-答案对,覆盖15种能力,涵盖检索定位、基本…

智客前沿 · 2026-10-20

Hugging Face发布Matrix-Game 4.0:实时可玩游戏世界生成技术革新

Hugging Face推出Matrix-Game 4.0,通过分离游戏执行与视觉生成,打造了新一代实时可玩游戏世界。该系统采用轻量级游戏引擎维护世界状态并执行交互规则,多模态编码代理将玩家想法转化为游戏代码与动态场景描述,基于自回归视频模…

智客前沿 · 2026-10-20

Hugging Face发布SolarRenderer:结构引导视频生成技术革新

Hugging Face推出SolarRenderer,这是一种基于结构引导的视频生成模型,通过轻量级LoRA适配器优化MiniMax-H3 33B骨干模型,实现高效、快速的视频渲染。该模型能够处理多种结构化输入,如游戏引擎数据、模拟器输出…

智客前沿 · 2026-10-20

Hugging Face发布MMEnterprise-Bench:多模态企业智能体基准测试框架

Hugging Face推出MMEnterprise-Bench,这是一款用于评估企业智能体在处理动态多模态记录时的基准测试框架。该框架包含1613个问题,涵盖证据推理、冲突解决和不可回答性三个类别,旨在测试智能体在处理跨源和时间冲突以及多…

智客信息 · 2026-10-20

Pocket TTS发布:支持语音克隆的轻量化模型仅190万参数

Pocket TTS是一款支持语音克隆的轻量化文本到语音(TTS)模型,其参数量仅为190万。该模型由Kyutai.org开发,旨在提供高效、低成本的语音克隆解决方案,同时保持高质量的语音合成效果。这一突破性进展为开发者提供了更灵活、更经济…

智客前沿 · 2026-10-20

arXiv提出人机协作新范式:超越显式意图的艺术创作与塑造

arXiv发布了一项关于人机协作艺术创作的研究,提出了一种超越显式意图表达的新范式。该方法通过扩展模型探索,让艺术家接触到多样化的视觉可能性,并通过强化学习整合艺术家的策展判断,逐步发现、具象化和塑造艺术意图。研究通过三项用户实验,验证了该…

智客前沿 · 2026-10-19

Hugging Face发布PVBench:量化视频生成中的物理合理性

Hugging Face推出PVBench,这是一款用于评估视频生成模型物理合理性的全新基准测试工具。PVBench通过46个维度和7个领域对生成视频的物理一致性进行量化评估,涵盖指令语义保真度、行为因果一致性、感知时间质量、几何空间一致性…

智客前沿 · 2026-10-19

Hugging Face研究揭示视觉-语言模型中的逆向扩展现象

Hugging Face的研究团队通过系统性实验,揭示了视觉-语言模型(VLMs)在特定子任务上存在逆向扩展现象,即模型规模增大反而导致性能下降。研究评估了19个模型、8个多模态基准测试中的375个逆向扩展组合,发现多图像空间推理、视觉感知…

智客信息 · 2026-10-19

AsyncVibes发布6M参数角色渲染器:单张图片生成一分钟视频

AsyncVibes推出了一款6M参数的角色渲染器,该工具能够仅通过一张参考图片生成一分钟的视频内容,并通过了Blender真实场景的测试验证。该技术展示了在低参数量下实现高质量视频生成的能力,为动画制作和虚拟角色生成领域提供了新的可能性。

智客前沿 · 2026-10-19

Hugging Face发布DeOverlay模型:革新视频字幕与水印去除技术

Hugging Face推出DeOverlay模型,旨在解决视频中字幕、标题和标志遮挡的问题,同时保留周围内容。该模型采用源锚定流架构,通过固定源引导从源潜在空间重建干净视频。实验表明,DeOverlay在五个重建和感知指标上均优于现有基线…

智客信息 · 2026-10-19

Cohere宣布llama.cpp支持:推动开源AI生态发展

Cohere宣布其最新模型架构已全面支持llama.cpp,包括North Micro Vision Instruct的视觉编码器。这一举措标志着Cohere模型在本地化部署和开源社区中的进一步兼容性和可扩展性提升。llama.cpp的支持…

智客前沿 · 2026-10-19

TwelveLabs发布Pegasus 1.5:视频语言模型在Amazon Bedrock上线

TwelveLabs发布了其视频语言模型Pegasus 1.5,并宣布在Amazon Bedrock平台上线。该模型能够将长视频转化为结构化的时间戳元数据,支持视频分割、多模态提示和实时处理,处理时长可达两小时。Pegasus 1.5的发布…

智客前沿 · 2026-10-17

Hugging Face发布Design Anything:革新AI设计意图对齐与多领域扩展

Hugging Face推出Design Anything,这是一款基于图结构的AI设计框架,旨在解决AI在多领域设计任务中保持设计意图对齐的难题。该框架通过意图-执行图将设计输出与生成步骤绑定,并引入任务合约以保留约束和决策,从而提升AI…

智客前沿 · 2026-10-17

Hugging Face发布Muse Glimmer 30B:面向消费级硬件的自主智能体模型

Hugging Face推出Muse Glimmer 30B,这是一款开源的因果语言模型,参数规模达30B,专为消费级硬件上的自主智能体任务设计。该模型集成了多步推理、可靠工具使用和故障恢复机制,支持文本和图像输入,输出文本结果,并在超过百…