智客前沿 · 2026-09-07
LlamaIndex发布Agentic Document Extraction:革新文档处理流程
LlamaIndex推出了一种名为Agentic Document Extraction的新技术,通过AI推理和视觉定位技术,实现对复杂文档的精准处理,无需依赖模板。该技术通过理解文档布局、推断上下文并自我校验结果,显著提升了文档处理的准确…
智客专题 多模态与视频生成专题
文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。
· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容
智客前沿 · 2026-09-07
LlamaIndex推出了一种名为Agentic Document Extraction的新技术,通过AI推理和视觉定位技术,实现对复杂文档的精准处理,无需依赖模板。该技术通过理解文档布局、推断上下文并自我校验结果,显著提升了文档处理的准确…
智客前沿 · 2026-09-07
Kimi团队发布了一款名为WorldVQA的新基准,用于评估多模态大语言模型(MLLMs)的视觉知识准确性。该基准通过3500个高质量图像-问答对,测试模型对视觉世界知识的理解能力。实验结果表明,当前最先进模型在处理长尾视觉知识时仍存在显著…
智客前沿 · 2026-09-07
Kimi团队发布了最新开源模型Kimi K2.5,该模型在视觉与文本联合预训练的基础上,显著提升了视觉编码和智能体协作能力。Kimi K2.5引入了先进的智能体群(Agent Swarm)技术,能够协调多达100个子智能体并行执行任务,显著…
智客信息 · 2026-09-07
Alibaba的研究团队推出了一种名为SAM-D2Q的多模态Doc2Query框架,旨在解决电商搜索中的词汇不匹配问题。该框架通过多模态监督微调、数据增强和基于强化学习的偏好对齐三个阶段,显著提升了搜索性能。在AliExpress的实际部署…
智客信息 · 2026-09-07
arXiv发布了一种名为MURAL(Multimodal Uncertainty-aware Recommendation via Adaptive edge Learning)的新型推荐系统框架,旨在解决现有多模态推荐系统在结构刚性和语义…
智客前沿 · 2026-09-05
Hugging Face的研究团队推出了一款名为Tri-PvP的全新三模态冲突基准测试集,旨在揭示多模态大语言模型(OLLMs)在处理视觉、音频和文本交叉模态冲突时的偏见问题。该基准包含8000个样本,涵盖视觉与音频的感知信号和命题信号形式…
智客信息 · 2026-09-05
微软近日发布了MAI-Image的最新版本2.6,该版本在图像生成质量与成本效率之间实现了突破性平衡。MAI-Image 2.6通过优化生成算法和资源调度机制,在保持高质量图像输出的同时,大幅降低了计算资源消耗。这一改进不仅提升了图像生成任…
智客前沿 · 2026-09-05
本研究提出了CONFLICTGUI,一个用于研究GUI智能体在面对指令冲突时的终止能力的基准测试集,并引入了CONFLICTGUARD,一个在推理时增强智能体可行性感知与行为生成对齐的框架。实验表明,CONFLICTGUARD显著提升了智能…
智客信息 · 2026-09-04
Ling-3.0-flash-VL是基于Ling-3.0-flash构建的多模态AI模型,具备视觉感知、STEM推理、文档智能、多模态智能体任务、前端编码和医疗报告解读等能力。该模型在多领域表现出色,尤其在视觉与语言结合的任务中展现了显著优…
智客前沿 · 2026-09-04
AWS推出了一款基于Amazon Bedrock AgentCore的多模态WhatsApp订单助手,支持通过文本、语音消息和实时语音电话处理客户订单。该解决方案利用Amazon Nova 2 Lite处理文本,Amazon Nova 2 …
智客信息 · 2026-09-04
Wan 3.0 是一款创新型 AI 工具,能够在30秒内将文本、图像、文档或网页内容转化为包含原生音频的多模态视频。该工具支持多种内容输入形式,并利用 AI 技术自动生成高质量的音视频内容,为内容创作者提供了更高效、更便捷的创作方式。Wan…
智客前沿 · 2026-09-03
FactoSR是一种新型的分解强化学习框架,旨在解决视觉语言模型(VLMs)在物理世界推理中的空间瓶颈问题。该框架通过将世界一致性推理分解为平面对应性(XY)、深度一致性(Z)和时间可逆性(T)三个正交的几何子目标,优化了高维空间中的推理能…
智客前沿 · 2026-09-03
Hugging Face的研究团队深入探讨了音频-视频扩散模型中的跨模态注意力机制,提出了“注意力三角”概念,并分析了文本、音频和视频流之间的交互如何影响语义信息的传递。研究发现,音频与视频之间的双向影响可能导致语义泄漏,即模型在处理复杂提…
智客前沿 · 2026-09-03
Scal3R是一种创新的在线3D重建方法,通过多参考相对姿态查询解决了传统方法在长视频中因全局姿态漂移导致的性能下降问题。该方法利用轻量级可学习token,通过非对称注意力机制注入到冻结的骨干网络中,并结合在线姿态图优化系统和闭环检测机制,…
智客信息 · 2026-09-03
IFM.AI于2026年9月3日发布了其最新AI模型K2 Horizon,该模型以其前沿的性能和完全开源的特性吸引了广泛关注。K2 Horizon旨在为开发者提供强大的AI能力,支持从自然语言处理到复杂推理任务的多样化应用场景。其开源特性不…
智客信息 · 2026-09-03
Google 推出了新一代 AI 音乐生成模型 Lyria 3.5,并宣布其进入公共预览阶段。该模型专注于音乐创作领域,旨在通过先进的 AI 技术帮助用户生成高质量、富有创意的音乐作品。Lyria 3.5 的发布标志着 AI 在音乐生成领域…
智客信息 · 2026-09-03
微软近日发布了新一代语音识别模型MAI-Transcribe-2,该模型在速度、准确性和成本方面均实现了突破性进展。MAI-Transcribe-2通过创新的算法优化和硬件加速技术,在处理速度上达到了行业领先水平,同时保持了极高的识别准确率…
智客信息 · 2026-09-03
Kuben Developer在Hugging Face上发布了一个名为'TikTok Videos: 4.5B Posts with Engagement Metrics'的新数据集。该数据集包含超过45亿条TikTok视频及其互动数据,…
智客信息 · 2026-09-03
Google正式推出新一代AI模型Gemini 3.8,该模型旨在提升多模态处理能力和跨任务推理性能。然而,其发布后迅速引发竞争对手的嘲讽和质疑,主要集中在其实际性能与宣传之间的差距。尽管如此,Gemini 3.8的发布标志着Google在…
智客前沿 · 2026-09-03
arXiv近日发布了一项关于对话状态跟踪的新研究,提出了一种名为AVERT的新方法。AVERT通过结合跨回合一致性评分和音频条件验证器,对候选值进行评分,并利用投票、添加和交换三种操作解决对话中的不一致、遗漏和音频不支持的错误。在Spoke…
智客信息 · 2026-09-03
H3Max是一款新型视频模型,能够根据用户描述快速生成带有声音的视频片段。该模型通过高效的视频生成算法和音频处理技术,在数秒内完成从文本描述到音画同步视频的转换。H3Max在视频生成领域展示了突破性的能力,为内容创作者和开发者提供了强大的工…
智客信息 · 2026-09-02
一位开发者利用逆向工程方法收集了5.94亿条TikTok视频数据,并将其开源发布至Hugging Face平台。该数据集包含视频、用户资料、评论、标签、音频等多种信息,为AI研究提供了丰富的数据资源。同时,开发者还提供了详细的教程和代码,但…
智客信息 · 2026-09-02
Google Cloud近日推出了Antigravity智能体的图像生成技能,标志着AI智能体在多模态任务处理中的重要进展。该技能使智能体能够生成高质量图像,并结合上下文理解实现更智能的交互,为开发者提供了更强大的工具支持。这一发布不仅提升…
智客前沿 · 2026-09-02
UI-Venus-2是一款面向多模态GUI任务自动化的通用基础智能体框架,旨在解决从基准模型向实际应用过渡中的关键挑战。该智能体通过扩展环境覆盖范围(支持170多种多语言移动应用和桌面操作系统)、优化任务构建流程(基于函数指令生成)以及改进…
智客前沿 · 2026-09-01
Hugging Face推出Enoki,这是一款用于多层级幻觉检测的开源信息抽取框架,旨在解决大语言模型(LLM)在高风险场景中面临的事实性问题。Enoki通过提取基于文本的关系事实、验证证据并定位幻觉片段,实现了无需额外对齐的声明级验证和…
智客前沿 · 2026-09-01
Google在2026年8月发布了一系列AI技术更新,涵盖多模态智能体、文档处理、网络安全等多个领域。其中,Agent Swarm系统支持多达100个子智能体并行协作,提升复杂任务处理效率;Agentic Document Processi…
智客前沿 · 2026-09-01
Pixel Linguist II 是一款新型像素文本表示学习模型,通过整合可变分辨率渲染、自然图像-文本对、布局感知渲染和两阶段多语言课程学习等设计原则,在像素空间内实现了高效的语言读取、检索与压缩。该模型在多个基准测试中刷新了英文、多语…
智客前沿 · 2026-09-01
Google DeepMind 宣布在 Gemini 模型中引入智能体视频理解功能,旨在提升 AI 对复杂视频内容的理解与处理能力。这一技术突破使 AI 能够更智能地识别视频中的关键信息、动作和上下文关系,从而在视频分析、自动字幕生成和内容…
智客前沿 · 2026-09-01
GMA(General Mobile Assistants)基准测试平台正式发布,旨在评估多模态智能体在真实世界场景中的表现。该平台基于七个开源项目构建,涵盖生活方式共享、旅行规划等应用领域,并设计了300个任务,涵盖从原子操作到复杂多步骤…
智客前沿 · 2026-09-01
本研究提出了一种名为‘参数化多模态用户记忆’的新模型,旨在解决AI智能体在处理用户信息时面临的感知局限问题。传统方法依赖于文本描述,难以捕捉用户的声音、面部特征等非文本信息。该研究通过结合视觉-语言模型(VLM)和专用编码器,将用户身份信息…