跳到主内容
智客 ZICQ

智客专题 多模态与视频生成专题

多模态与视频生成专题

文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。

· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容

智客前沿 · 2026-08-13

H2R-Bench:评估人机操作视频生成的新基准发布

H2R-Bench 是由 Hugging Face 推出的一款用于评估跨模态人机操作视频生成的新基准。该基准旨在解决机器人学习数据获取成本高的问题,通过将第一人称视角的人类操作视频转换为机器人视角的操作视频,填补了从人类行为到机器人行为的跨…

智客前沿 · 2026-08-13

Suno Studio 2.0发布:AI音乐生成工具向专业DAW迈进

Suno Studio 2.0版本正式发布,标志着AI音乐生成工具向专业数字音频工作站(DAW)迈出了重要一步。新版本引入了用户呼声最高的MIDI支持功能,并优化了内置合成器,使其更接近传统DAW的功能。尽管目前尚不支持第三方插件或VST,…

智客信息 · 2026-08-13

开源项目Squint-MCP:为DeepSeek V4 Flash添加视觉能力

GitHub用户theJian开源了名为Squint-MCP的项目,旨在为DeepSeek V4 Flash大语言模型添加视觉能力。该项目通过为模型赋予“眼睛”,尝试扩展其在多模态任务中的应用潜力。尽管目前视觉能力表现不佳,但该项目展示了开…

智客前沿 · 2026-08-13

弱监督学习突破:基于广播数据的跨数据集手语识别框架发布

arXiv发布了一项关于跨数据集手语识别的新研究,提出了一种基于弱监督学习的框架,通过广播新闻中的连续手语与口语文本的松散对齐数据,实现对手语内容的有效识别与定位。该研究利用土耳其广播语料库TSL-News进行预训练,并开发了基于LLM辅助…

智客前沿 · 2026-08-12

Google DeepMind发布SL2T:手语AI模型助力听障用户无障碍交流

Google DeepMind推出了突破性的手语转文本(SL2T)模型,为听障和重听用户提供更便捷的无障碍交流工具。该模型能够将手语实时转换为文本,支持多语言处理,并具备高精度识别能力。这一创新旨在消除听障用户在日常交流中的障碍,推动无障碍…

智客信息 · 2026-08-12

Suno更新下载政策与服务条款:AI音乐生成平台强化合规性

Suno近期对其下载政策和服务条款进行了更新,旨在加强AI生成内容的合规性管理。此次更新可能涉及用户数据使用、AI生成内容的版权归属以及平台责任界定等方面,以应对AI技术快速发展带来的法律和伦理挑战。这一举措反映了AI音乐生成平台在追求创新…

智客前沿 · 2026-08-12

MiniMax发布H3模型:突破任务与模态界限的开放AI模型

MiniMax发布全新开放模型H3,旨在打破任务与模态之间的界限,推动AI技术向更通用、更高效的方向发展。该模型通过创新的架构设计,实现了跨领域任务的高效处理和多模态数据的无缝融合,为AI应用提供了更强大的通用能力。这一发布标志着AI模型向…

智客前沿 · 2026-08-11

Latent-to-4D模型发布:革新4D场景生成技术

Latent-to-4D模型通过跳过RGB生成阶段,直接从视频潜在表示生成4D场景,显著提升了动态3D场景生成的质量与效率。该方法利用预训练的4D解码器,通过帧级和全局时空注意力机制优化潜在表示,在Text4D-200和I4D-200基准测…

智客前沿 · 2026-08-11

Lightricks发布LTX-2.5:视频、音频与仿真模拟的AI模型

Lightricks在Hugging Face平台上发布了其最新AI模型LTX-2.5,该模型专注于视频、音频处理以及世界仿真模拟。LTX-2.5展示了在多模态AI领域的创新应用潜力,能够在复杂场景生成、音频处理及虚拟环境构建方面提供高效解…

智客前沿 · 2026-08-11

多模态大语言模型安全研究综述:威胁模型与防护策略的演进

这篇综述文章系统分析了多模态大语言模型(MLLMs)面临的安全威胁及其演变趋势。随着模型复杂度的提升和跨模态交互的增加,MLLMs的安全问题也变得更加复杂,包括模态集成受损、模态错位以及融合安全风险等新挑战。本文提出了一个基于多模态的安全威…

智客前沿 · 2026-08-11

arXiv发布波兰视觉语言基准PoVisLE:推动文化导向的多模态AI研究

arXiv近日发布了一款名为PoVisLE的波兰视觉语言基准数据集,旨在解决现有视觉语言模型(VLMs)在处理文化相关视觉理解任务时的不足。该数据集包含1117张图像和2366个手动标注的视觉问答对,专注于评估多模态模型在特定文化背景下的语…

智客前沿 · 2026-08-10

Meta发布AI宣言:畅想人机共存的未来愿景

Meta首席执行官马克·扎克伯格发布了一篇题为《未来属于每个人》的AI宣言,阐述了对人工智能发展的愿景,包括技术开发、扩展和监管的框架,以及Meta在推动这一目标中的角色。扎克伯格强调AI应服务于全人类,并呼吁建立更开放和负责任的AI生态系…

智客前沿 · 2026-08-10

omlab开源VLX-Seek 1.5-10B模型:专注细粒度感知与视觉定位

omlab团队开源了VLX-Seek 1.5-10B模型,该模型专为细粒度感知和视觉定位设计,适用于无人机、机器人、监控摄像头等实际场景。其核心创新在于区域引用定位技术,通过将候选区域转换为可寻址的实体,减少对脆弱坐标生成方法的依赖,并显著…

智客前沿 · 2026-08-10

Meta发布Muse Glimmer:专为本地智能体工作流优化的开源模型

Meta公司发布了Muse Glimmer,这是一款专为本地智能体工作流优化的30B参数开源模型。该模型支持多模态交互(文本+图像),支持100多种语言,并采用4-bit量化技术以适应消费级硬件需求。其核心功能包括端到端任务完成、跨长流程的…

智客前沿 · 2026-08-10

Wan 3.0 发布:多模态视频生成AI工具革新内容创作

Wan 3.0 AI 是一款专注于多模态视频生成的新工具,旨在通过AI技术革新内容创作方式。该工具能够将文本、图像等多种输入形式转化为高质量视频内容,支持高度自定义的视频生成流程。其核心创新在于多模态数据融合与生成逻辑的优化,为创作者提供了…

智客前沿 · 2026-08-08

谷歌调整AI战略:不追求大语言模型领域的绝对主导地位

谷歌近期调整了其在人工智能领域的战略方向,不再将大语言模型(LLM)的绝对主导地位作为核心目标。这一转变表明,谷歌正在探索更广泛的AI应用场景和技术路径,例如AI与量子计算的融合、多模态AI以及AI伦理与安全等方向,而非单纯追求LLM的性能…

智客前沿 · 2026-08-07

xAI发布Imagine Image 2.0:专注精准图像生成与编辑

xAI推出了Imagine Image 2.0,这是一款专注于精准图像生成与编辑的工具,专为实际创意工作设计。该工具通过优化图像生成和编辑流程,旨在提升创作者的工作效率和输出质量。Imagine Image 2.0的发布标志着AI在图像生成…

智客前沿 · 2026-08-07

PRISM框架发布:提升多模态指令理解与优先级感知能力

ArXiv发布了一项名为PRISM的新研究,旨在解决多模态指令理解中优先级感知不足的问题。PRISM通过四阶段数据合成框架生成结构化的多模态指令数据,并引入PRISM-Eval评估指标,通过严格和宽松两种模式测试模型性能。实验表明,PRIS…

智客前沿 · 2026-08-07

RIG-RoPE:基于关系与实例门控的旋转位置编码机制发布

RIG-RoPE是一种新型的旋转位置编码(RoPE)机制,旨在解决多模态大语言模型中静态多维位置分配的两大关键问题:跨模态与跨实例的空间干扰,以及时间坐标处理中的信息密度不匹配问题。通过引入模态指示符、视觉实例标识符和标量信息持续时间坐标,…

智客前沿 · 2026-08-07

PRISM框架发布:推动多模态指令遵循的优先级感知与结构化监督

PRISM是一种新型四阶段数据合成框架,旨在解决多模态指令遵循中优先级感知不足的问题。该框架通过生成结构化的验证轨迹和优先级排序规则集,显著提升了模型在多规则、多优先级场景下的指令执行能力。在PRISM-Eval基准测试中,Qwen3-VL…

智客前沿 · 2026-08-07

RIG-RoPE:基于关系与实例门控的旋转位置编码机制发布

RIG-RoPE是一种新型旋转位置编码(RoPE)机制,旨在解决多模态大语言模型中静态多维位置分配的两大关键问题:跨模态空间干扰和时间坐标处理不当。该机制通过引入模态指示符、视觉实例标识符和标量信息持续时间坐标,优化了跨实例的空间旋转和时间…

智客前沿 · 2026-08-07

SKILLTRACE框架发布:革新LLM智能体技能重用审计机制

SKILLTRACE是由arXiv发布的一种多轨迹溯源审计框架,旨在解决LLM智能体生态中技能重用检测的复杂性问题。该框架通过提取表达、实现和操作三种溯源轨迹,并构建技能操作图(SOG)来捕捉激活、过程和资源流动结构。实验表明,SKILLT…