跳到主内容
智客 ZICQ

智客专题 多模态与视频生成专题

多模态与视频生成专题

文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。

· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容

智客前沿 · 2026-08-27

ArXiv提出SAGE框架:基于CLIP的多模态时序预测新方法

ArXiv发布了一种名为SAGE(Seeing and Augmenting with Grounded Encoding)的新型框架,用于解决时序预测中语义知识缺失的问题。该框架基于CLIP模型,通过联合建模时间、跨变量、文本和视觉信息,…

智客前沿 · 2026-08-27

ArXiv提出像素级表格压缩方法:提升多表格文档问答效率

ArXiv发布了一种创新的像素级表格压缩方法,用于多表格文档问答任务。该方法通过将表格以图像形式表示,在保留表格信息的同时显著降低token成本。实验表明,该方法在两个基准测试中均表现出色,在使用高度压缩的表格图像时,模型能够有效识别表格的…

智客前沿 · 2026-08-27

ArXiv发布多模态AI框架:优化智能边境控制实时队列管理

ArXiv发布了一种针对智能边境控制系统的多模态AI框架,通过整合异构数据源并采用LSTM网络进行实时队列预测、调度优化和资源管理,显著提升了边境管理的效率。实验结果表明,该方法将队列预测误差降低了35%,平均等待时间减少了30%,并使平均…

智客前沿 · 2026-08-27

ArXiv发布OCSD模型:突破复杂场景中多人运动预测技术

ArXiv近日发布了一种名为OCSD(Object-Conditioned Social Diffusion)的条件扩散模型,用于复杂场景中多人运动的精准预测。该模型通过整合运动历史、多人交互和物体线索,实现了细粒度的人-物推理,并支持对多…

智客前沿 · 2026-08-27

ArXiv发布OmniUE:首个支持全模态交互的通用嵌入器

ArXiv发布了一项关于多模态表示学习的研究,提出了首个支持全模态交互的通用嵌入器OmniUE。该模型通过学习文本、视频和音频的统一嵌入空间,并支持用户以文本、视觉区域和音频片段的形式进行交互查询,显著提升了跨模态任务的性能。实验结果表明,…

智客前沿 · 2026-08-27

ArXiv发布ContraTalk:音频对话推理基准测试平台,聚焦跨模态不一致性

ArXiv发布了一款名为ContraTalk的音频对话推理基准测试平台,旨在解决现有对话模型在跨模态推理中的不足。该平台通过识别文本偏差并引入冲突问答示例,评估模型在处理不一致音频信号时的表现。实验表明,现有模型在处理跨模态不一致性时表现不…

智客前沿 · 2026-08-27

ArXiv发布PAWBench:评估视频生成模型概率对齐能力的基准测试

ArXiv近日发布了一项关于视频生成模型概率对齐能力的研究,并推出了名为PAWBench的基准测试平台。该研究指出,现有视频生成模型在评估中往往只关注单帧的合理性,而忽略了生成结果在概率分布上的对齐能力。PAWBench通过将重复的视频生成…

智客前沿 · 2026-08-27

CLAP框架发布:跨形态视频世界模型实现零样本物理模拟

CLAP是一款新型跨形态视频生成框架,能够在多样化的互联网规模视频数据上进行训练,涵盖人类和机器人行为。其核心突破在于通过末端执行器姿态、语言指令和潜在动作统一不同形态的动作空间,并采用基于课程学习的训练方法,从无标签视频数据中学习基础物理…

智客前沿 · 2026-08-27

arXiv发布多模态异常检测综述:系统化梳理MMAD领域核心挑战与未来方向

arXiv发布了一篇关于多模态异常检测(MMAD)的综述文章,系统化地梳理了该领域的核心挑战与未来方向。论文从假设驱动的视角出发,将现有方法分为基于正常性假设和基于异常性假设的两大范式,并深入探讨了基础模型如何通过预训练、跨模态迁移和推理能…

智客前沿 · 2026-08-26

DeepSeek发布V4 Pro模型:性能超越Fable 5,成本降低3倍

DeepSeek发布了其最新的大语言模型V4 Pro,该模型在SWE-Bench和LiveCodeBench基准测试中表现优异,显著超越了Fable 5,并在代码任务处理上实现了每任务成本降低至三分之一。V4 Pro提供百万级token上下…

智客前沿 · 2026-08-26

ArXiv提出分层多模态MoE模型:提升间质性肺病诊断性能

ArXiv团队提出了一种分层多模态专家混合(MoE)模型,用于间质性肺病(ILD)的分类。该模型通过两级门控机制,将预训练的影像专家与结构化的电子健康记录(EHR)进行整合,在患者特异性权重分配和临床特征分组方面实现了创新。实验结果表明,该…

智客前沿 · 2026-08-26

ArXiv提出WAVE框架:革新粗到细引导深度超分辨率技术

ArXiv团队提出了一种名为WAVE的新方法,通过引入多级离散小波变换(ML-DWT)作为显式特征控制机制,实现了从粗到细的深度超分辨率重建。WAVE通过逆向处理子带和语义标记,显著减少了模糊边界和伪影问题,并在多个基准测试中表现优异,尤其…

智客前沿 · 2026-08-26

ArXiv发布VGA-BenchV2:升级视频生成与美学质量评估基准

ArXiv团队推出了VGA-BenchV2,这是一款扩展版的人机对齐基准测试与优化框架,用于联合评估和提升视频生成质量与美学价值。VGA-BenchV2基于原有的细粒度分类法,扩展了52个细分子维度,并新增了36,000个任务级标注数据,包…

智客前沿 · 2026-08-26

ArXiv发布4DStreamCtrl:实现实时可控的4D视频生成模型

ArXiv团队推出4DStreamCtrl,这是一款创新的视频生成模型,能够在实时流式生成中实现对相机运动、物体轨迹和深度的联合控制。该模型通过将3D点轨迹表示与轻量级几何运动头结合,并采用因果流式学生模型进行蒸馏,首次实现了交互式4D可控…

智客前沿 · 2026-08-26

ArXiv发布MMJailBench:多模态大模型越狱漏洞评估基准

ArXiv团队推出MMJailBench,这是一款用于评估多模态大语言模型(MLLMs)越狱漏洞的基准测试平台。通过系统地分离和组合有害意图、提示框架、视觉语义和指令载体等关键因素,MMJailBench实现了对越狱漏洞的细粒度分析和归因。…

智客前沿 · 2026-08-26

ArXiv提出AdaVDR:自适应工具调用与反思机制革新视频深度研究

ArXiv团队提出了一种名为AdaVDR的新型自适应视频深度研究代理,通过自适应工具调用和反思机制解决现有视频深度研究中的工具调用不当、结果错误率高以及推理延迟等问题。AdaVDR根据任务需求和自身能力选择工具,并在中间结果不可靠时进行回溯…

智客前沿 · 2026-08-26

ArXiv发布多模态大语言模型评估基准:Modality Maturity Index (MMI)

ArXiv团队提出了一种名为Modality Maturity Index (MMI)的新基准,用于评估大语言模型在多模态任务中的表现。该基准涵盖五种模态(文本、图像、音频、视频和文档)以及最多三种模态的组合输入和输出,包含893个精心设计…

智客前沿 · 2026-08-26

Hugging Face发布RetrievalRouter:智能路由优化文档检索性能

Hugging Face推出RetrievalRouter,这是一款轻量级查询感知路由工具,旨在解决现代文档检索系统中准确性与延迟之间的权衡问题。RetrievalRouter通过学习查询文本的特征,动态选择最适合的检索管道,在多个基准测试…

智客前沿 · 2026-08-26

Hugging Face发布VBVR-Pro:可扩展的原生视觉推理测试平台

Hugging Face推出VBVR-Pro,这是一款用于原生视觉推理的闭环测试平台,旨在解决视觉生成作为推理媒介的规模化训练、可靠反馈和跨生成基质对比的瓶颈问题。VBVR-Pro通过300个程序化生成任务实现了任务扩展,并提供可验证的奖励…

智客前沿 · 2026-08-26

Hugging Face发布多向量编码模型训练与微调技术

Hugging Face在其官方博客上发布了一种基于Sentence Transformers的多向量嵌入模型训练与微调技术。该技术旨在提升AI模型在处理复杂语义和跨模态数据时的表现,通过多向量嵌入方法增强模型的语义理解和推理能力。这一创新…

智客信息 · 2026-08-26

Zai发布GLM-5.3-Flash:多模态AI模型,突破性性能表现

Zai组织宣布推出GLM-5.3-Flash,这是一款多模态AI模型,具备处理1百万token上下文窗口的能力,并在DeepSWE基准测试中取得了约63%的优异表现。该模型由Roman Chernin确认与神秘的Ox Alpha模型一致,并…

智客前沿 · 2026-08-26

ArXiv研究:LLM智能体结合模拟模型实现可控实验突破

ArXiv发布了一项关于大语言模型(LLM)智能体的新研究,提出了一种多智能体框架,使LLM能够利用科学模拟模型进行可控实验。该框架通过构建结构化任务表示、设计实验、执行对比模拟、解释结果并生成基于证据的参数优化建议,显著提升了输出结果的准…