跳到主内容
智客 ZICQ

智客专题 多模态与视频生成专题

多模态与视频生成专题

文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。

· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容

智客前沿 · 2026-10-05

Hugging Face发布JLD:基于雅可比镜头的新感知距离方法

Hugging Face推出了一种名为Jacobian Lens Distance (JLD)的新方法,用于图像压缩、修复和生成中的感知距离测量。JLD通过冻结的视觉编码器提取感知几何结构,融合早期特征的空间局部性和后期编码器表示的感知敏感…

智客前沿 · 2026-10-04

Hugging Face提出LLM-as-Jev框架:革新大语言模型决策能力

Hugging Face的研究团队提出了一种名为LLM-as-Jev的新框架,旨在探索通用大语言模型(LLM)在无需额外训练的情况下,是否能够作为Jev风格的决策模型直接使用。LLM-as-Jev通过从括号数字标识符的下一个词概率中提取校准…

智客前沿 · 2026-10-02

Hugging Face发布DuoMatching框架:革新视频生成技术

Hugging Face推出了一种名为DuoMatching的新视频生成框架,旨在解决现有视频生成技术在视觉质量和语义对齐方面的不足。DuoMatching通过联合-边缘分布匹配方法,结合图像生成器的帧级监督和LatentBridge技术,…

智客前沿 · 2026-10-02

COSMI:革新人类-物体交互生成模型,突破多物体数据瓶颈

COSMI是一种基于文本生成交互的扩散Transformer模型,通过对单物体交互片段进行组合,生成包含多物体的复杂交互场景。该方法利用接触一致性、镜像平衡、跨身体转移以及语言和几何检查,确保生成结果的语义和物理合理性。COSMI数据集包含…

智客前沿 · 2026-10-02

Hugging Face提出ProAR框架:革新自回归视频生成中的目标导向推理

Hugging Face的研究团队提出了一种名为ProAR的新框架,旨在解决自回归视频生成模型在目标导向推理中的局限性。ProAR通过引入目标帧预测和未来表示自对齐机制,将自回归视频生成转变为一种目标驱动的推理过程。该方法不仅提升了长程目标…

智客前沿 · 2026-10-02

Google发布九月AI技术更新:涵盖多模态AI、工具优化与行业应用

Google在2026年9月发布了一系列AI技术更新,涵盖多模态AI模型优化、AI工具性能提升以及行业应用创新。这些更新包括对现有AI模型的改进、针对复杂任务的智能体框架升级,以及在医疗、金融等领域的AI应用拓展。这些技术进展不仅提升了AI…

智客信息 · 2026-10-02

DeepSeek发布Harness:AI工作流优化框架助力复杂任务处理

DeepSeek发布了一款名为Harness的AI工作流优化框架,旨在提升AI模型在复杂任务中的表现。该框架通过智能资源调度与任务分配机制,帮助AI模型更高效地处理多步骤、多模态任务。Harness的设计理念强调对AI工作流的全面优化,从任…

智客信息 · 2026-10-02

DeepSeek发布Harness:面向AI工作流的全新优化框架

DeepSeek发布了名为Harness的全新AI工作流优化框架,旨在提升AI模型在复杂任务中的表现。该框架通过智能资源调度与任务分配机制,帮助AI模型更高效地处理多步骤、多模态任务。Harness的设计理念强调对AI工作流的全面优化,从任…

智客信息 · 2026-10-02

Opus 5.5发布:AI赋能模拟画布功能,助力艺术创作与历史研究

Stillwet.art发布了Opus 5.5版本,新增模拟画布功能,旨在为艺术家和历史研究者提供更强大的创作与研究工具。该功能通过AI技术模拟真实画布的物理特性,支持多种绘画工具和材质效果,为用户带来更逼真的创作体验。此外,Opus 5.…

智客前沿 · 2026-10-01

Ego2Act:面向目标导向操作的自我中心视频生成评估基准发布

Ego2Act是一个全新的目标导向视频生成评估基准,旨在推动AI模型在复杂、多步骤物理推理任务中的表现。该基准包含2640个视频,涵盖110个现实世界任务,评估模型在处理多步骤操作和复杂环境交互时的能力。此外,Ego2ActJudge作为配…

智客前沿 · 2026-10-01

Where-OPD发布:基于空间引导的MLLM自蒸馏技术实现感知能力突破

Where-OPD是一种创新的多模态大语言模型(MLLM)自蒸馏方法,通过空间引导的文本指导实现对视觉元素的精准识别与推理。该方法利用程序生成场景中的对象身份和空间坐标进行无标注的后训练,使模型能够从多个相关图像区域整合证据并提升感知能力。…

智客前沿 · 2026-10-01

Youngwoo提出TAI方法:提升视频大语言模型的时间推理能力

Youngwoo团队提出了一种名为时间激活注入(TAI)的新方法,用于解决视频大语言模型(VideoLLMs)在时间推理中的持续弱点。TAI通过提取时间发散向量τ_l并在后续层中按衰减模式重新注入,解决了模型在中间层获取时间信息但无法维持到…

智客前沿 · 2026-10-01

4Director:基于刚性3D几何的精准视频世界模型控制工具发布

4Director是一款新型视频世界模型工具,通过显式的4D场景表示实现对相机和物体运动的精准控制。其核心机制是将输入图像重建为规范化的3D网格,并利用刚性变换逐帧移动物体,从而提供直观的3D控制界面并保持跨视角的一致性。该工具还引入了深度…

智客前沿 · 2026-10-01

NinaXander:跨架构家族冻结语言模型组合研究取得新进展

ArXiv发布了一项关于跨架构家族冻结语言模型组合的研究,提出了一种名为NinaXander的新方法。该方法通过在预训练模型的不同层之间引入一个共享的潜在空间适配器,将不同架构的预训练模型组合起来,从而实现无需重新训练即可生成多种组合模型。…

智客前沿 · 2026-10-01

AutoGUIWorld发布:无需部署软件即可生成GUI交互轨迹

AutoGUIWorld是一款创新的数据生成框架,通过结合图像生成器的视觉先验和规划器的任务知识,无需实际部署或运行软件环境,即可合成高质量的GUI交互轨迹。该框架通过结构化的操作系统上下文、视觉外观和界面状态生成初始GUI场景,并利用规划…

智客信息 · 2026-10-01

OpenClaw智能体获得实体化:AI与机器人技术融合新突破

OpenClaw团队为其智能体赋予物理实体,标志着AI与机器人技术融合的重要进展。通过将OpenClaw智能体与机器人硬件结合,团队实现了智能体在现实世界中的直接交互与任务执行能力。这一创新不仅拓展了智能体的应用场景,还为多模态AI系统的发…