智客前沿 · 2026-08-07
PRISM框架:结构化多模态数据合成,让模型遵循优先级规则,Qwen3-VL-4B严格准确率提升至30.1%
arXiv最新研究提出PRISM,一个四阶段数据合成框架,旨在让多模态大模型(MLLM)理解并遵循带优先级的规则集(rubric)。PRISM通过生成人物-任务对、前缀引导的规则集、质量过滤的rubric和结构化验证轨迹,仅用10K合成样本…
智客专题 多模态与视频生成专题
文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。
· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容
智客前沿 · 2026-08-07
arXiv最新研究提出PRISM,一个四阶段数据合成框架,旨在让多模态大模型(MLLM)理解并遵循带优先级的规则集(rubric)。PRISM通过生成人物-任务对、前缀引导的规则集、质量过滤的rubric和结构化验证轨迹,仅用10K合成样本…
智客前沿 · 2026-08-07
arXiv最新研究提出CGTime,一个4B参数的计算接地时间序列语言模型,通过将感知与描述解耦,利用确定性代码计算多变量时间序列的统计特征,再由LLM进行语言化表达,解决了自监督陷阱和单变量局限。在多元理解任务上,CGTime以0.283…
智客前沿 · 2026-08-07
arXiv最新研究提出RIG-RoPE,一种针对多模态大语言模型的位置编码改进机制。该机制通过关系与实例门控,仅对同一视觉实例内的查询-键对应用空间旋转,避免跨模态和跨实例的空间干扰;同时引入持续时间感知的时间坐标,根据模态信息密度调整时间…
智客前沿 · 2026-08-07
arXiv最新研究提出SKILLTRACE,一个针对LLM智能体技能复用的多轨迹溯源审计框架。该框架提取表达、实现和操作三条溯源轨迹,其中操作轨迹以技能操作图(SOG)表示,捕捉激活、流程和资源流结构。在SKILLTRACE-BENCH基准…
智客前沿 · 2026-08-06
Suno宣布将实施新的AI音乐水印技术,旨在打击垃圾AI音乐的传播并提高透明度。这一举措是Suno在应对法律挑战的同时,为行业提供更可靠的音乐创作与分发解决方案的一部分。新的水印技术不仅能帮助识别AI生成的音乐,还能防止未经授权的复制和滥用…
智客前沿 · 2026-08-06
Suno宣布将实施新的水印技术和下载政策,以限制垃圾AI音乐传播并提高透明度。首席执行官Mikey Shulman在博客中详细阐述了公司的原则和未来方向,包括与分发平台合作打击欺诈和滥用行为,并计划推出新的透明度工具以符合行业标准。
智客前沿 · 2026-08-06
arXiv 最新论文提出 OncoTriad-QA,一个患者级别的放射-病理-基因组学多模态基准,用于泛癌问答。该基准包含 86.1k 个语义问题,覆盖 9,281 个 TCGA 患者案例和 32 个癌症队列,整合 CT/MRI、全切片病理…
智客前沿 · 2026-08-06
AI 音乐生成公司 Suno 宣布将实施新的水印技术和下载政策,以限制垃圾 AI 曲目的传播并提高透明度。CEO Mikey Shulman 在博客中阐述了公司的原则和未来规划,包括推出新的透明度工具、水印和指纹识别技术,并与分发平台合作打…
智客前沿 · 2026-08-06
AI 音乐生成公司 Suno 宣布将为其生成的歌曲添加水印,以应对多起版权诉讼。该功能旨在提供内容溯源,帮助识别 AI 生成音乐,但技术细节尚未披露。此举是 AI 音乐行业在版权争议中寻求合规的重要一步,但可能引发关于水印有效性和隐私的讨论…
智客前沿 · 2026-08-04
Mistral AI推出了一款名为Shieldstral的开源多模态安全分类器,其参数量仅为3B,却能在性能上超越参数量高达其7倍的模型。Shieldstral旨在提升AI系统的安全性,尤其适用于对实时性要求较高的应用场景,如自动驾驶、医疗…
智客前沿 · 2026-08-02
Hugging Face推出了一种名为FactorJEPA的新型世界模型架构,旨在解决现有模型在处理复杂、拥挤和混乱的城市环境(如全球南方城市)时的局限性。FactorJEPA通过将世界结构分解为布局、实体和交互三个通道,并引入可见性门控机…
智客前沿 · 2026-07-31
xAI推出了其最新视频生成模型Imagine Video 1.5,该模型在原有基础上新增了对文本、图像和语音参考的支持,能够生成最高1080p分辨率的视频。这一升级标志着AI在多模态视频生成领域的重大进步,为创意工作者提供了更强大的工具支持…
智客前沿 · 2026-07-31
MiniMax正式推出其新一代通用多模态生成模型MiniMax H3。该模型能够联合理解文本、图像、视频和音频等多模态内容,并生成高达2K分辨率、15秒长度的原生立体声视频。这一突破标志着AI在多模态理解和生成领域的重大进展,为创意内容生成…
智客前沿 · 2026-07-30
Google DeepMind 正式发布 Gemini Robotics ER 2,这是一款面向机器人应用的多模态 AI 模型,旨在提升机器人在真实世界中的推理、协作与任务解决能力。该模型在视频理解、工具编排和多机器人协作方面实现了显著进步…
智客前沿 · 2026-07-29
xAI推出了新一代语音转语音模型Grok Voice Think Fast 2.0,该模型旨在提供更强大的语音生成能力。相较于前代版本,新模型在语音质量、生成效率和自然度方面均有显著提升,为语音交互应用提供了更优质的解决方案。
智客前沿 · 2026-07-28
Google DeepMind正式发布Gemini Robotics 2,这是其机器人AI模型的最新迭代,旨在赋予机器人“全身智能”(whole-body intelligence)。该模型在视觉理解、运动控制、灵巧操作和任务泛化方面实现显…
智客前沿 · 2026-07-21
Google DeepMind正式发布三款全新Gemini模型:Gemini 3.6 Flash、3.5 Flash-Lite和3.5 Flash Cyber。其中,Gemini 3.6 Flash作为旗舰级闪速模型,在推理速度与多模态能力…
智客前沿 · 2026-06-16
xAI宣布推出Grok Imagine Video 1.5版本,该版本在视频生成质量上实现了显著提升,同时处理速度进一步加快。这一更新展示了AI在视频生成领域的持续进步,为用户提供了更高效、更优质的AI视频生成工具。
智客前沿 · 2026-06-03
xAI推出了Grok Imagine 1.5,这是其最新的图像生成视频模型,现已通过xAI API提供预览版。该模型旨在将静态图像转化为动态视频,展示了AI在视频生成领域的持续进步。Grok Imagine 1.5在视频生成质量和处理速度上…
智客前沿 · 2026-05-18
xAI 宣布为 Grok 推出全新技能,包括文档、幻灯片和电子表格生成功能,以及工作流自动化能力。这些技能旨在提升用户生产力,并允许开发者构建和分享自定义技能,进一步扩展 Grok 的应用场景。
智客前沿 · 2026-05-15
Nous Research宣布开源其自改进智能体Hermes,并支持集成xAI的Grok智能体订阅服务。这一举措旨在通过结合Grok的智能能力与Hermes的自适应学习框架,为开发者提供更强大的AI交互解决方案。Hermes支持多模态任务处…
智客前沿 · 2026-04-30
xAI 推出了 Grok Custom Voices 功能,允许用户通过短录音克隆个性化语音,并将其应用于 Grok 的文本转语音(TTS)和语音智能体 API 中。这一功能为开发者提供了更强大的个性化语音生成工具,有助于提升 AI 智能体…
智客前沿 · 2026-04-08
Stability AI推出了一款名为Brand Studio的创意生产平台,旨在为品牌提供端到端的定制化解决方案。该平台通过Brand Central提供品牌专属模型训练和深度定制功能,支持品牌风格的精准输出;Producer Mode则…
智客前沿 · 2026-03-18
MiniMax发布其最新大语言模型M2.7,这是首个深度参与自我进化的AI模型。凭借原生Agent Teams和自我进化能力,M2.7在软件工程、专业工作以及娱乐领域表现出色。该模型展示了AI在复杂任务处理和持续优化方面的潜力,为AI智能体…
智客前沿 · 2026-01-28
xAI 推出全新 Grok Imagine API,旨在为开发者提供高质量、低成本、低延迟的视频生成服务。该 API 集成了先进的 AI 技术,支持跨多种应用场景的视频内容创作,包括娱乐、广告和自动化任务处理等。Grok Imagine A…
智客前沿 · 2025-10-25
Hugging Face推出了名为LongCat-Video的生成模型,该模型基于13.6B参数的Diffusion Transformer框架,支持文本生成视频、图像生成视频以及视频续写任务。其核心亮点在于高效生成长视频的能力,通过粗粒度…
智客前沿 · 2025-09-18
Stability AI宣布将其图像编辑服务集成至Amazon Bedrock平台,为企业提供专业级图像编辑工具。这些工具包括图像修复、着色、背景移除等功能,支持多步骤创意流程的精细控制。Stability AI的图像服务与Bedrock上…
智客前沿 · 2025-08-18
Qwen团队推出Qwen-Image-Edit,这是一款基于20B参数Qwen-Image模型构建的图像编辑工具。该工具通过扩展Qwen-Image的文本渲染能力,实现了精准的文本编辑功能。同时,Qwen-Image-Edit结合了Qwen…
智客前沿 · 2025-08-04
Qwen团队正式发布Qwen-Image,这是一款20B参数的多模态图像生成模型(MMDiT),在复杂文本渲染和精准图像编辑领域取得重大突破。Qwen-Image支持多行文本布局、段落级语义理解以及精细细节处理,能够处理字母语言和复杂文本排…
智客前沿 · 2025-06-27
Qwen团队发布了Qwen-TTS的最新版本,该版本在语音自然度与情感表达方面达到人类水平,并新增对北京话、上海话和四川话三种中文方言的支持。Qwen-TTS基于大规模数据集训练,能够自动调整韵律、语速和情感变化,为用户提供更自然、更智能的…