智客前沿 · 2026-08-25
Apple发布STARFlow2:统一多模态生成模型实现文本与图像的深度融合
Apple Machine Learning Research团队推出了STARFlow2,这是一款旨在统一多模态生成任务的新模型。通过将自回归归一化流与Transformer架构相结合,STARFlow2实现了对文本和图像序列的深度理解与…
智客专题 多模态与视频生成专题
文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。
· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容
智客前沿 · 2026-08-25
Apple Machine Learning Research团队推出了STARFlow2,这是一款旨在统一多模态生成任务的新模型。通过将自回归归一化流与Transformer架构相结合,STARFlow2实现了对文本和图像序列的深度理解与…
智客前沿 · 2026-08-25
ArXiv团队提出了一种名为Giraffe的新型架构,旨在解决多模态大语言模型(MLLMs)在生成媒体内容时的效率瓶颈问题。传统方法通常使用多个专用token表示图像,导致输入长度显著增加,而Giraffe通过单个[IMG] token将隐…
智客前沿 · 2026-08-25
ArXiv团队提出了一种名为VisCache的新框架,旨在提升视觉大语言模型(VLLM)的推理效率。VisCache通过两阶段处理——首先过滤时间冗余的关键帧,然后采用一种名为PruneKV的精准KV缓存压缩算法——实现了高达2.35倍的推…
智客前沿 · 2026-08-25
ArXiv团队提出了一种创新的双法官评估协议,用于提升视觉-语言模型在法律相关任务中的表现。该协议结合了传统的0-10质量评分法官与严格的二元语义等价性法官,通过对英国交通标志解释任务的研究,揭示了模型在处理高可见度与重度遮挡条件下的表现差…
智客前沿 · 2026-08-25
本研究探讨了语言作为建筑设计材料的重要性,特别是在文本生成式AI模型日益普及的背景下。研究从维特根斯坦、乔姆斯基、莱考夫和舍恩的概念出发,分析了自然语言、编程语言和数据注释三种语言形式在生成式AI辅助建筑设计中的交织作用。研究还提出了一个研…
智客前沿 · 2026-08-25
本研究深入探讨了波斯语在自然语言处理(NLP)中的资源稀缺问题,提出波斯语更准确地应被描述为“注释稀缺”而非简单的“低资源”。研究通过分析34种代表性波斯语文本资源,并结合定量交叉检查,揭示了波斯语在任务和领域覆盖、不兼容的注释方案、访问和…
智客前沿 · 2026-08-25
ArXiv团队提出了一种名为MoTE(Mixture of Task Experts)的新型解码器架构,用于多任务视频理解。该架构将大语言模型的前馈网络转换为任务特定的专家,同时保持多模态骨干网络共享。每个样本遵循一个样本级任务路由,使得活…
智客前沿 · 2026-08-25
ArXiv团队提出了一种新型产品链接方法,通过检索-匹配级联系统解决电商平台中商品记录与标准目录的匹配问题。该方法利用轻量级文本跨编码器自动解决高置信度的多数匹配,并通过智能体视觉语言模型(VLM)处理模糊匹配问题,结合产品图像和网络搜索证…
智客前沿 · 2026-08-25
ArXiv团队的一项系统性研究探讨了多模态时间序列预测中上下文路由的有效条件。研究发现,只有当目标数据不依赖于最后值捷径(低自相关性)且上下文包含目标信息(条件互信息非零)时,辅助上下文才能有效提升预测性能。通过对MoME模型及多种融合机制…
智客前沿 · 2026-08-25
ArXiv团队提出了一种名为Drift Variation Autoencoder的新方法,旨在统一条件生成与生成性表示学习。该方法通过训练一个掩码编码器和一个条件流解码器,并使用单一干净预测流匹配损失来优化模型性能。研究表明,该方法在处理…
智客前沿 · 2026-08-25
ArXiv团队推出ADeptS-Bench,这是一款针对计算机使用代理(CUA)的双流可信度评估基准。该基准基于ADEPTS能力框架和大规模用户研究设计,包含安全与消歧两个评估流。安全流通过嵌入视觉界面的威胁任务评估代理的鲁棒性,而消歧流则…
智客前沿 · 2026-08-25
Luce 是一种新型3D生成模型,通过体素化多模态高斯云统一了3D几何与物理渲染(PBR)材质。该模型利用变分自编码器压缩为统一的材质感知潜在空间,并通过校正流Transformer从单张图像生成3D资产,支持重新打光、几何精确性和材质保真…
智客前沿 · 2026-08-25
腾讯发布了一款名为WeMM-Embedding的多模态嵌入模型家族,支持文本、图像、视频等多种模态数据,并具备灵活的输出维度。该模型家族包含2B、4B和9B三个版本,通过大规模多模态对齐和精细化数据精炼训练,在多个公开基准测试中表现优异。2…
智客信息 · 2026-08-25
MiniMax于2026年8月25日发布了一款名为H3的AI工具,该工具能够将文本和图片转化为AI生成的视频片段。H3旨在简化视频创作流程,为用户提供高效、便捷的AI视频生成解决方案。该工具的推出标志着AI在多媒体内容创作领域的进一步拓展,…
智客信息 · 2026-08-25
ARC-AGI-3 在 ARC-AGI-Arcade 公共测试集上实现了 100 RHAE(Robust Human-Aligned Evaluation)的优异成绩,标志着 AI 智能体在复杂任务处理和人类对齐能力方面取得了重要进展。这一…
智客信息 · 2026-08-25
OpenGeni宣布开源其开发的Agentic Runtime,这是一种专门为AI智能体设计的运行时环境,旨在优化智能体在复杂任务中的执行效率与协作能力。该运行时环境通过提供模块化架构和灵活的任务调度机制,支持智能体在多任务、多模态环境下的…
智客信息 · 2026-08-25
Engram团队在Hugging Face平台上发布了一款名为Nemotron-3.5-Lightning-Omni-30B-A3B-GGUF的智能体模型。该模型基于NVIDIA的Nemotron-3.5架构,通过集成视觉与听觉模块,显著提…
智客前沿 · 2026-08-24
本研究提出了一种名为Intention Distillation (INDI)的新方法,用于提升视觉-语言-动作(VLA)模型的行为意图建模能力。INDI通过在训练过程中蒸馏行为级别的意图到动作解码器中,显著改善了模型在复杂任务中的表现。在…
智客信息 · 2026-08-24
ArXiv团队提出了一种名为Object-Uni的统一模型,旨在解决现有视觉理解与生成模型在对象空间状态理解与操控方面的不足。该模型通过将对象姿态作为共享的几何变量,并结合基于视点的方向抽象技术,实现了对象级姿态理解与姿态可控生成的显著提升…
智客信息 · 2026-08-24
ArXiv团队提出了一种名为Genda的时序生成弹幕框架,通过模拟用户互动过程生成伪弹幕流,并设计了DM-FEND模型,利用视频、音频、文本和弹幕的多模态交互来检测假新闻。实验结果表明,DM-FEND在多个基准测试中表现优异,显著提升了假新…
智客信息 · 2026-08-24
ArXiv团队提出了一种名为SPARE的框架,用于优化多模态智能体中的推理文本剪枝。该框架通过Kullback-Leibler (KL) 散度指导,识别并移除冗余的推理文本,同时保留关键的视觉证据,从而减少‘文本债务’对模型性能的影响。实验…
智客信息 · 2026-08-24
ArXiv团队发布了一款名为DF-MoE的跨模态深度伪造检测框架,通过集成多种预训练模型提取音频和视觉特征,并利用混合专家(MoE)架构整合单模态和多模态线索,显著提升了深度伪造检测的准确性和泛化能力。实验结果表明,DF-MoE在多个基准测…
智客信息 · 2026-08-24
ArXiv团队推出了一款名为MediSkill-Evo的临床智能体框架,旨在解决现有智能体在处理部分可观测环境下证据驱动的安全交互问题。该框架通过在四个类型化的知识库中自我进化临床、过程、符号和视觉知识,并结合过程约束偏好机制,实现了诊断准…
智客信息 · 2026-08-24
ArXiv团队推出了一款名为BasketballBench的多模态基准测试平台,旨在解决现有篮球比赛理解任务中单一能力评估的局限性。该平台包含7980个问题,涵盖文本、图像和视频的十项任务,并基于2025-2026 NBA赛季的真实数据构建…
智客前沿 · 2026-08-24
Hugging Face推出了一款名为EchoWM的全景世界模型,用于支持可进入的生成媒体。该模型能够响应持续导航,同时生成720p视频、环境音效、音乐和语音。EchoWM通过相机意图组织交互,在第一人称场景中指定观察者运动,在第三人称场景…
智客信息 · 2026-08-24
MyBestLook推出了一款结合AI造型师与虚拟试穿功能的新平台,涵盖发型、妆容和服装搭配。用户可以通过该平台实时体验不同造型效果,获得个性化建议,从而提升时尚与美妆决策的效率和精准度。这一创新不仅为消费者提供了全新的互动方式,也为时尚和…
智客前沿 · 2026-08-24
据报道,Hugging Face 正在与潜在买家进行洽谈,估值约为130亿美元。然而,由于创始人对于社区责任的强烈承诺,这笔交易能否最终达成仍存在疑问。Hugging Face 作为开源 AI 领域的领军企业,其任何重大变动都可能对 AI …
智客前沿 · 2026-08-24
arXiv发布了一项关于多模态智能体框架的综述性研究,深入探讨了多模态技术在智能体核心功能模块(感知、推理、规划、记忆和行动)中的作用。报告指出,随着大语言模型(LLMs)向大模型多模态(LMMs)的演进,智能体系统能够处理和整合图像、音频…
智客信息 · 2026-08-22
RingLochid发布了一款名为ImageSage的AI工具,旨在帮助用户通过本地化、私密的方式管理和整理照片。ImageSage利用AI技术实现智能分类、搜索和照片整理功能,无需依赖云端服务,从而确保用户数据的隐私性和安全性。该工具特别…
智客前沿 · 2026-08-21
Hugging Face推出EviRank,一种用于多模态图像重排序的新方法。EviRank通过将查询解析为包含六个语义槽的证据包(实体、属性、关系等),并结合确定性评分和基于证据的列表比较,实现了在文本到图像、图像到图像及组合图像检索任务…