跳到主内容
智客 ZICQ

智客专题 多模态与视频生成专题

多模态与视频生成专题

文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。

· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容

智客前沿 · 2026-08-07

RIG-RoPE:关系与实例门控旋转位置编码,解决多模态位置干扰

arXiv最新研究提出RIG-RoPE,一种针对多模态大语言模型的位置编码改进机制。该机制通过关系与实例门控,仅对同一视觉实例内的查询-键对应用空间旋转,避免跨模态和跨实例的空间干扰;同时引入持续时间感知的时间坐标,根据模态信息密度调整时间…

智客前沿 · 2026-08-07

SKILLTRACE:多轨迹溯源审计框架,精准检测LLM智能体技能复用

arXiv最新研究提出SKILLTRACE,一个针对LLM智能体技能复用的多轨迹溯源审计框架。该框架提取表达、实现和操作三条溯源轨迹,其中操作轨迹以技能操作图(SOG)表示,捕捉激活、流程和资源流结构。在SKILLTRACE-BENCH基准…

智客前沿 · 2026-08-06

Suno推出AI音乐水印技术以打击垃圾音乐传播

Suno宣布将实施新的AI音乐水印技术,旨在打击垃圾AI音乐的传播并提高透明度。这一举措是Suno在应对法律挑战的同时,为行业提供更可靠的音乐创作与分发解决方案的一部分。新的水印技术不仅能帮助识别AI生成的音乐,还能防止未经授权的复制和滥用…

智客前沿 · 2026-08-06

Suno推出AI音乐水印技术以打击垃圾音乐传播

Suno宣布将实施新的水印技术和下载政策,以限制垃圾AI音乐传播并提高透明度。首席执行官Mikey Shulman在博客中详细阐述了公司的原则和未来方向,包括与分发平台合作打击欺诈和滥用行为,并计划推出新的透明度工具以符合行业标准。

智客前沿 · 2026-08-06

Suno 宣布引入水印技术与下载限制,遏制 AI 音乐垃圾信息泛滥

AI 音乐生成公司 Suno 宣布将实施新的水印技术和下载政策,以限制垃圾 AI 曲目的传播并提高透明度。CEO Mikey Shulman 在博客中阐述了公司的原则和未来规划,包括推出新的透明度工具、水印和指纹识别技术,并与分发平台合作打…

智客前沿 · 2026-08-06

Suno 在版权诉讼压力下推出歌曲水印功能,强化 AI 音乐溯源

AI 音乐生成公司 Suno 宣布将为其生成的歌曲添加水印,以应对多起版权诉讼。该功能旨在提供内容溯源,帮助识别 AI 生成音乐,但技术细节尚未披露。此举是 AI 音乐行业在版权争议中寻求合规的重要一步,但可能引发关于水印有效性和隐私的讨论…

智客前沿 · 2026-08-02

Hugging Face发布FactorJEPA:优化复杂城市环境下的世界建模能力

Hugging Face推出了一种名为FactorJEPA的新型世界模型架构,旨在解决现有模型在处理复杂、拥挤和混乱的城市环境(如全球南方城市)时的局限性。FactorJEPA通过将世界结构分解为布局、实体和交互三个通道,并引入可见性门控机…

智客前沿 · 2026-07-31

xAI发布Imagine Video 1.5:支持多模态参考的高清视频生成模型

xAI推出了其最新视频生成模型Imagine Video 1.5,该模型在原有基础上新增了对文本、图像和语音参考的支持,能够生成最高1080p分辨率的视频。这一升级标志着AI在多模态视频生成领域的重大进步,为创意工作者提供了更强大的工具支持…

智客前沿 · 2026-07-31

MiniMax发布H3:突破多模态任务边界的多模态生成模型

MiniMax正式推出其新一代通用多模态生成模型MiniMax H3。该模型能够联合理解文本、图像、视频和音频等多模态内容,并生成高达2K分辨率、15秒长度的原生立体声视频。这一突破标志着AI在多模态理解和生成领域的重大进展,为创意内容生成…

智客前沿 · 2026-07-29

xAI发布Grok Voice Think Fast 2.0:新一代语音转语音模型上线

xAI推出了新一代语音转语音模型Grok Voice Think Fast 2.0,该模型旨在提供更强大的语音生成能力。相较于前代版本,新模型在语音质量、生成效率和自然度方面均有显著提升,为语音交互应用提供了更优质的解决方案。

智客前沿 · 2026-06-16

xAI发布Grok Imagine Video 1.5:视频生成质量与速度双提升

xAI宣布推出Grok Imagine Video 1.5版本,该版本在视频生成质量上实现了显著提升,同时处理速度进一步加快。这一更新展示了AI在视频生成领域的持续进步,为用户提供了更高效、更优质的AI视频生成工具。

智客前沿 · 2026-06-03

xAI发布Grok Imagine 1.5:图像生成视频模型预览版上线

xAI推出了Grok Imagine 1.5,这是其最新的图像生成视频模型,现已通过xAI API提供预览版。该模型旨在将静态图像转化为动态视频,展示了AI在视频生成领域的持续进步。Grok Imagine 1.5在视频生成质量和处理速度上…

智客前沿 · 2026-05-18

xAI 发布 Grok 新技能:赋能文档生成与工作流自动化

xAI 宣布为 Grok 推出全新技能,包括文档、幻灯片和电子表格生成功能,以及工作流自动化能力。这些技能旨在提升用户生产力,并允许开发者构建和分享自定义技能,进一步扩展 Grok 的应用场景。

智客前沿 · 2026-05-15

Nous Research开源Hermes智能体:集成Grok实现智能交互

Nous Research宣布开源其自改进智能体Hermes,并支持集成xAI的Grok智能体订阅服务。这一举措旨在通过结合Grok的智能能力与Hermes的自适应学习框架,为开发者提供更强大的AI交互解决方案。Hermes支持多模态任务处…

智客前沿 · 2026-04-08

Stability AI发布Brand Studio:品牌专属的创意生产平台

Stability AI推出了一款名为Brand Studio的创意生产平台,旨在为品牌提供端到端的定制化解决方案。该平台通过Brand Central提供品牌专属模型训练和深度定制功能,支持品牌风格的精准输出;Producer Mode则…

智客前沿 · 2026-03-18

MiniMax发布M2.7模型:首个参与自我进化的AI智能体

MiniMax发布其最新大语言模型M2.7,这是首个深度参与自我进化的AI模型。凭借原生Agent Teams和自我进化能力,M2.7在软件工程、专业工作以及娱乐领域表现出色。该模型展示了AI在复杂任务处理和持续优化方面的潜力,为AI智能体…

智客前沿 · 2025-10-25

Hugging Face发布LongCat-Video:高效生成长视频的生成模型

Hugging Face推出了名为LongCat-Video的生成模型,该模型基于13.6B参数的Diffusion Transformer框架,支持文本生成视频、图像生成视频以及视频续写任务。其核心亮点在于高效生成长视频的能力,通过粗粒度…

智客前沿 · 2025-08-18

Qwen发布Qwen-Image-Edit:高效精准的图像编辑新工具

Qwen团队推出Qwen-Image-Edit,这是一款基于20B参数Qwen-Image模型构建的图像编辑工具。该工具通过扩展Qwen-Image的文本渲染能力,实现了精准的文本编辑功能。同时,Qwen-Image-Edit结合了Qwen…

智客前沿 · 2025-08-04

Qwen发布Qwen-Image:多模态图像生成与文本渲染模型重磅上线

Qwen团队正式发布Qwen-Image,这是一款20B参数的多模态图像生成模型(MMDiT),在复杂文本渲染和精准图像编辑领域取得重大突破。Qwen-Image支持多行文本布局、段落级语义理解以及精细细节处理,能够处理字母语言和复杂文本排…

智客前沿 · 2025-06-27

Qwen-TTS全新升级:支持多方言语音生成,AI语音技术再突破

Qwen团队发布了Qwen-TTS的最新版本,该版本在语音自然度与情感表达方面达到人类水平,并新增对北京话、上海话和四川话三种中文方言的支持。Qwen-TTS基于大规模数据集训练,能够自动调整韵律、语速和情感变化,为用户提供更自然、更智能的…