跳到主内容
智客 ZICQ

智客专题 多模态与视频生成专题

多模态与视频生成专题

文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。

· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容

智客前沿 · 2026-09-07

LlamaIndex发布Agentic Document Extraction:革新文档处理流程

LlamaIndex推出了一种名为Agentic Document Extraction的新技术,通过AI推理和视觉定位技术,实现对复杂文档的精准处理,无需依赖模板。该技术通过理解文档布局、推断上下文并自我校验结果,显著提升了文档处理的准确…

智客前沿 · 2026-09-07

Kimi发布WorldVQA:评估多模态大模型视觉知识的新基准

Kimi团队发布了一款名为WorldVQA的新基准,用于评估多模态大语言模型(MLLMs)的视觉知识准确性。该基准通过3500个高质量图像-问答对,测试模型对视觉世界知识的理解能力。实验结果表明,当前最先进模型在处理长尾视觉知识时仍存在显著…

智客前沿 · 2026-09-07

Kimi发布Kimi K2.5:引领视觉智能体技术新方向

Kimi团队发布了最新开源模型Kimi K2.5,该模型在视觉与文本联合预训练的基础上,显著提升了视觉编码和智能体协作能力。Kimi K2.5引入了先进的智能体群(Agent Swarm)技术,能够协调多达100个子智能体并行执行任务,显著…

智客信息 · 2026-09-07

Alibaba发布SAM-D2Q:提升电商搜索性能的全新多模态Doc2Query框架

Alibaba的研究团队推出了一种名为SAM-D2Q的多模态Doc2Query框架,旨在解决电商搜索中的词汇不匹配问题。该框架通过多模态监督微调、数据增强和基于强化学习的偏好对齐三个阶段,显著提升了搜索性能。在AliExpress的实际部署…

智客前沿 · 2026-09-05

Hugging Face发布Tri-PvP基准:揭示多模态大模型中的模态偏见

Hugging Face的研究团队推出了一款名为Tri-PvP的全新三模态冲突基准测试集,旨在揭示多模态大语言模型(OLLMs)在处理视觉、音频和文本交叉模态冲突时的偏见问题。该基准包含8000个样本,涵盖视觉与音频的感知信号和命题信号形式…

智客信息 · 2026-09-05

微软发布MAI-Image 2.6:突破图像生成质量与成本平衡

微软近日发布了MAI-Image的最新版本2.6,该版本在图像生成质量与成本效率之间实现了突破性平衡。MAI-Image 2.6通过优化生成算法和资源调度机制,在保持高质量图像输出的同时,大幅降低了计算资源消耗。这一改进不仅提升了图像生成任…

智客信息 · 2026-09-04

Ling-3.0-flash-VL发布:集成视觉理解与智能体能力的AI模型

Ling-3.0-flash-VL是基于Ling-3.0-flash构建的多模态AI模型,具备视觉感知、STEM推理、文档智能、多模态智能体任务、前端编码和医疗报告解读等能力。该模型在多领域表现出色,尤其在视觉与语言结合的任务中展现了显著优…

智客信息 · 2026-09-04

Wan 3.0 发布:30秒内生成多模态原生音频视频

Wan 3.0 是一款创新型 AI 工具,能够在30秒内将文本、图像、文档或网页内容转化为包含原生音频的多模态视频。该工具支持多种内容输入形式,并利用 AI 技术自动生成高质量的音视频内容,为内容创作者提供了更高效、更便捷的创作方式。Wan…

智客前沿 · 2026-09-03

FactoSR框架革新视觉语言模型推理:实现3D与4D空间推理突破

FactoSR是一种新型的分解强化学习框架,旨在解决视觉语言模型(VLMs)在物理世界推理中的空间瓶颈问题。该框架通过将世界一致性推理分解为平面对应性(XY)、深度一致性(Z)和时间可逆性(T)三个正交的几何子目标,优化了高维空间中的推理能…

智客前沿 · 2026-09-03

Scal3R:高效多参考相对姿态查询的在线3D重建模型发布

Scal3R是一种创新的在线3D重建方法,通过多参考相对姿态查询解决了传统方法在长视频中因全局姿态漂移导致的性能下降问题。该方法利用轻量级可学习token,通过非对称注意力机制注入到冻结的骨干网络中,并结合在线姿态图优化系统和闭环检测机制,…

智客信息 · 2026-09-03

IFM.AI发布K2 Horizon:性能前沿的开源AI模型

IFM.AI于2026年9月3日发布了其最新AI模型K2 Horizon,该模型以其前沿的性能和完全开源的特性吸引了广泛关注。K2 Horizon旨在为开发者提供强大的AI能力,支持从自然语言处理到复杂推理任务的多样化应用场景。其开源特性不…

智客信息 · 2026-09-03

Google 发布 Lyria 3.5:AI 音乐生成模型进入公共预览阶段

Google 推出了新一代 AI 音乐生成模型 Lyria 3.5,并宣布其进入公共预览阶段。该模型专注于音乐创作领域,旨在通过先进的 AI 技术帮助用户生成高质量、富有创意的音乐作品。Lyria 3.5 的发布标志着 AI 在音乐生成领域…

智客信息 · 2026-09-03

Google发布Gemini 3.8:新一代AI模型引关注与争议

Google正式推出新一代AI模型Gemini 3.8,该模型旨在提升多模态处理能力和跨任务推理性能。然而,其发布后迅速引发竞争对手的嘲讽和质疑,主要集中在其实际性能与宣传之间的差距。尽管如此,Gemini 3.8的发布标志着Google在…

智客前沿 · 2026-09-03

AVERT:基于音频验证的对话状态跟踪新方法发布

arXiv近日发布了一项关于对话状态跟踪的新研究,提出了一种名为AVERT的新方法。AVERT通过结合跨回合一致性评分和音频条件验证器,对候选值进行评分,并利用投票、添加和交换三种操作解决对话中的不一致、遗漏和音频不支持的错误。在Spoke…

智客信息 · 2026-09-03

H3Max发布:视频模型实现快速音画生成与还原

H3Max是一款新型视频模型,能够根据用户描述快速生成带有声音的视频片段。该模型通过高效的视频生成算法和音频处理技术,在数秒内完成从文本描述到音画同步视频的转换。H3Max在视频生成领域展示了突破性的能力,为内容创作者和开发者提供了强大的工…

智客信息 · 2026-09-02

开发者开源5.94亿条TikTok视频数据集:免费发布至Hugging Face

一位开发者利用逆向工程方法收集了5.94亿条TikTok视频数据,并将其开源发布至Hugging Face平台。该数据集包含视频、用户资料、评论、标签、音频等多种信息,为AI研究提供了丰富的数据资源。同时,开发者还提供了详细的教程和代码,但…

智客信息 · 2026-09-02

Google Cloud发布Antigravity智能体图像生成技能:AI智能体应用新突破

Google Cloud近日推出了Antigravity智能体的图像生成技能,标志着AI智能体在多模态任务处理中的重要进展。该技能使智能体能够生成高质量图像,并结合上下文理解实现更智能的交互,为开发者提供了更强大的工具支持。这一发布不仅提升…

智客前沿 · 2026-09-02

UI-Venus-2发布:通用GUI智能体框架实现跨平台任务自动化

UI-Venus-2是一款面向多模态GUI任务自动化的通用基础智能体框架,旨在解决从基准模型向实际应用过渡中的关键挑战。该智能体通过扩展环境覆盖范围(支持170多种多语言移动应用和桌面操作系统)、优化任务构建流程(基于函数指令生成)以及改进…

智客前沿 · 2026-09-01

Pixel Linguist II发布:突破性像素文本表示学习模型问世

Pixel Linguist II 是一款新型像素文本表示学习模型,通过整合可变分辨率渲染、自然图像-文本对、布局感知渲染和两阶段多语言课程学习等设计原则,在像素空间内实现了高效的语言读取、检索与压缩。该模型在多个基准测试中刷新了英文、多语…

智客前沿 · 2026-09-01

Google DeepMind 发布 Gemini:引入智能体视频理解功能

Google DeepMind 宣布在 Gemini 模型中引入智能体视频理解功能,旨在提升 AI 对复杂视频内容的理解与处理能力。这一技术突破使 AI 能够更智能地识别视频中的关键信息、动作和上下文关系,从而在视频分析、自动字幕生成和内容…

智客前沿 · 2026-09-01

GMA发布:多模态智能体在真实场景中的挑战性基准测试

GMA(General Mobile Assistants)基准测试平台正式发布,旨在评估多模态智能体在真实世界场景中的表现。该平台基于七个开源项目构建,涵盖生活方式共享、旅行规划等应用领域,并设计了300个任务,涵盖从原子操作到复杂多步骤…

智客前沿 · 2026-09-01

突破性研究:基于参数化多模态用户记忆模型提升AI智能体感知能力

本研究提出了一种名为‘参数化多模态用户记忆’的新模型,旨在解决AI智能体在处理用户信息时面临的感知局限问题。传统方法依赖于文本描述,难以捕捉用户的声音、面部特征等非文本信息。该研究通过结合视觉-语言模型(VLM)和专用编码器,将用户身份信息…