跳到主内容
智客 ZICQ

智客专题 多模态与视频生成专题

多模态与视频生成专题

文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。

· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容

智客前沿 · 2026-09-30

Hugging Face发布GroundingPI:革新物理智能的视觉基础模型

Hugging Face推出了一款名为GroundingPI的4B参数基础模型,旨在解决视觉-语言-动作(VLA)和世界动作模型(WAMs)在复杂场景和微小物体定位中的不足。GroundingPI通过多模态与空间预训练、监督微调以及基于GR…

智客前沿 · 2026-09-30

Hugging Face发布ReGain:提升合成图像个性化生成中的主体保真度

Hugging Face推出了一种名为ReGain的新方法,旨在解决文本生成图像模型在合成图像个性化过程中出现的主体保真度下降问题。ReGain通过在采样时应用无训练校正技术,测量并缩放引导信号的频率带,从而减少颜色过饱和和高频细节的过度生…

智客前沿 · 2026-09-30

Honeycomb发布:基于HexMemory的固定大小视频场景记忆模型

Honeycomb是一款基于HexMemory的视频世界模型,旨在解决现有视频生成中场景记忆存储效率低下的问题。HexMemory通过六层空间和时间特征平面实现固定大小的场景记忆表示,并通过前馈写入器、置信加权池化和残差校正机制优化特征融合…

智客前沿 · 2026-09-30

Hugging Face发布SemanTok:高效自回归视频生成的新突破

Hugging Face推出了一种名为SemanTok的新型视频分词器,旨在提升自回归视频生成模型的语义对齐能力和视觉保真度。SemanTok通过引入冻结的DINO特征和轻量级重建头,在不同模型规模下均表现出色。与现有方法相比,SemanT…

智客前沿 · 2026-09-30

GraphForge发布:基于证据图的工作智能体训练框架

GraphForge是一款基于证据图的新型框架,旨在解决智能体训练中数据生成与任务验证的难题。该框架通过整合真实文件构建任务环境,并利用证据图确保任务要求与验证标准的一致性。实验结果表明,使用GraphForge生成的轨迹对Qwen3.6-…

智客前沿 · 2026-09-30

Hugging Face发布LEAP框架:革新长时音频-视频问答技术

Hugging Face推出了一种名为LEAP的新框架,旨在解决长时音频-视频问答中的上下文困境。LEAP通过将音频-视频记录分割为固定时长的区块,并使用轻量级定位技术筛选候选窗口,从而避免了对整个记录的密集编码。这不仅提升了模型对细粒度证…

智客前沿 · 2026-09-30

Hugging Face发布EviRover:首个交互式感知智能体实现突破

Hugging Face推出EviRover,这是一款旨在解决传统视觉感知模型在处理细粒度视觉细节或知识密集型任务时局限性的新型感知智能体。EviRover通过交互式感知过程获取信息,并结合监督微调和强化学习进行训练。其性能在EviLens…

智客信息 · 2026-09-30

Qwen家族大模型崛起:悄然成为现代音频模型的核心支柱

根据Reddit社区的深度分析,Qwen家族大模型正迅速成为音频处理领域的核心架构选择。在超过100个音频模型中,有32个模型家族采用了Qwen架构,其中20个明确使用了Qwen3 LLM。这一趋势不仅限于文本到语音(TTS)领域,还涵盖了…

智客前沿 · 2026-09-30

Google DeepMind发布Gemini 4 Argon:开启智能前沿新时代

Google DeepMind正式推出其最新旗舰AI模型Gemini 4 Argon,标志着智能技术领域的又一次重大突破。该模型在多模态理解、长序列推理以及复杂任务协作方面实现了显著提升,尤其在处理超长上下文和跨模态数据时表现优异。Gemi…

智客前沿 · 2026-09-30

Cohere发布Embed 5:面向企业的前沿嵌入模型

Cohere发布了其最新一代嵌入模型Embed 5,该模型在多模态、多语言以及金融文档的检索任务中表现出色。Embed 5提供Pro和Fast两种版本,旨在为企业提供更高效、更精准的语义检索能力。这一发布标志着Cohere在企业级AI解决方…

智客信息 · 2026-09-30

ArXiv发布跨年龄手写重建模型与方言对大语言模型破解影响研究

ArXiv发布了两项关于AI技术的重要研究:其一提出了一种跨年龄手写重建模型,通过时序卷积网络和多预测头架构解决了成人与儿童书写信号差异问题,为数字笔设备中的手写采集提供了更可靠的技术支持;其二探讨了方言形式、文化框架和策略库对大语言模型(…

智客信息 · 2026-09-30

ReelMimic:开源AI智能体团队实现任意视频风格复刻

ReelMimic是一款由Edenfunf团队开发的开源AI智能体系统,能够通过协作智能体团队复刻任意视频的风格。该系统通过分析目标视频的视觉特征、色彩、构图和动态元素,并结合生成对抗网络(GAN)和强化学习技术,实现对目标风格的精确模拟。…

智客信息 · 2026-09-30

ElevenLabs发布Eleven v4及Turbo版本:语音生成技术再升级

ElevenLabs近日发布了其语音生成技术的最新版本——Eleven v4及Eleven v4 Turbo。新版本在语音自然度、情感表达以及多语言支持方面实现了显著提升,尤其在复杂场景下的语音合成效果上表现突出。Eleven v4 Tur…

智客前沿 · 2026-09-29

Hugging Face发布LabInstruct:实验室操作视频生成基准测试平台

Hugging Face推出了一款名为LabInstruct的基准测试平台,用于评估AI模型在实验室场景中生成教学视频的能力。该平台包含204项任务,涵盖5个科学学科,并提供真实实验执行记录和结构化标注。评估结果显示,现有图像到视频生成模型…

智客前沿 · 2026-09-29

Hugging Face发布CrossTimeEdit:革新历史街景生成技术

Hugging Face推出CrossTimeEdit模型,通过结合近期街景与时间跨度卫星数据,实现对历史街景的精准生成。该模型基于FLUX.2 4B进行训练,采用监督微调(SFT)与在线强化学习(RL)相结合的训练方法,并设计了指令对齐、…

智客前沿 · 2026-09-29

Hugging Face发布RMD框架:革新自回归视频生成质量与效率

Hugging Face推出了一种名为Rollout-Marginal Distillation (RMD)的新方法,用于提升自回归视频生成的质量与效率。RMD通过独立评估视频片段并结合视频级分布匹配蒸馏技术,在保持时间一致性的同时显著改善…

智客前沿 · 2026-09-29

Hugging Face发布E-MoE:提升非分解扩散语言模型生成效率

Hugging Face推出了一种名为E-MoE(Enhanced Mixture-of-Experts)的新模型,旨在解决传统掩码扩散模型(MDMs)在少步生成场景中样本质量受限的问题。E-MoE通过引入专家路由决策构建离散共享潜变量上的…

智客前沿 · 2026-09-29

PixelUMM发布:首个像素空间统一图像与视频理解生成模型

PixelUMM是一款全新的统一多模态模型,旨在实现图像与视频的像素空间直接理解与生成。该模型采用无编码器架构,通过单层线性投影将原始像素与共享多模态骨干网络连接起来,并采用混合Transformer架构支持任务特定参数与共享注意力机制。P…

智客前沿 · 2026-09-29

Tacit-TTS:高效无文本语音克隆技术实现10倍速度提升

Tacit-TTS 是一种新型高效的无文本语音克隆系统,由 IndexTTS2 改进而来。该系统通过引入掩码非自回归生成机制,取代了传统自回归文本到语义解码方式,并采用无训练声学长度估计和 ReFlow 蒸馏技术加速流匹配渲染器。在多个英语…