跳到主内容
智客 ZICQ

智客专题 多模态与视频生成专题

多模态与视频生成专题

文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。

· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容

智客前沿 · 2026-11-19

Coda-DaVinci以自适应3D代理提升视频生成可控性

Coda-DaVinci把Code2Video的代理建模与提示生成链路改造成任务自适应智能体框架:系统先判断是否值得构建3D代理,再按对象调节几何与动力学粒度,并让物理仿真、代理约束提示和视觉审查协同工作。论文通过受控实验与盲评发现,粗粒度…

智客前沿 · 2026-11-19

Amazon Polly上线语音克隆:数分钟录音生成品牌专属音色

Amazon Polly 以账户级门控的正式可用形式上线语音克隆:开发者提交一名说话者 1—10 段、合计最多 15 分钟的录音,异步创建可复用的自定义音色,并通过统一生成式 TTS 接口用于实时合成或长音频任务。新音色覆盖英、西、德、法、…

智客前沿 · 2026-11-17

Invoker-Render以渐进强制实现四步可控长时视频生成

Invoker-Render 将可控视频生成拆成“视觉代理建模—画面渲染”两层:结构代理可从粗粒度布局切换到细粒度关节几何,并与外观参考、语言共享同一条件接口。系统以双向模型服务离线创作,以四步因果模型服务实时流式生成;Progressiv…

智客前沿 · 2026-11-17

DWD让扩散Transformer直出像素,移除末端解码器

DWD(Decoding Without a Decoder)保留扩散采样轨迹,只在预训练潜空间扩散Transformer末端增加线性像素头:原去噪头负责各时间步采样,最后一步由DWD头直接预测RGB。微调仅更新末端若干Transforme…

智客前沿 · 2026-11-15

PanDWM统一六路驾驶相机:四步生成360°全景4D世界模型

PanDWM 将六个针孔相机的画面拼成单一 360° 全景带,把跨视角一致性转化为图像连续性,同时保留每个像素对应的相机射线。其因果学生按布局分窗生成,经教师蒸馏并以自身 rollout 训练;前馈解码器再把帧提升为 3D Gaussian…

智客前沿 · 2026-11-12

PixVid绕开VAE潜空间:视频扩散模型转向逐帧像素生成

PixVid在保留预训练扩散Transformer主干的同时,以卷积头取代VAE解码器,使模型直接在像素空间逐帧生成视频。方法由Wan2.1-14B微调,并通过预测干净视频而非速度目标、采用更大的噪声偏移提升质量。论文称,在约130万训练片…

智客前沿 · 2026-11-12

WorldDraft评测视频模型:代码构建4D世界后的渲染瓶颈

WorldDraft将视频生成模型重新定位为“生成式渲染器”:由代码或多模态智能体构建4D世界,模型只负责依据视觉草稿渲染动态画面。基准包含48个可执行4D世界家族、432个严格配对样例,以3×3因子设计交叉测试草稿粒度和外观提示冲突,并覆…

智客前沿 · 2026-11-12

PhysLoop用LLM物理反馈闭环改进视频生成

PhysLoop提出一个面向视频生成模型的物理一致性自我改进框架,将大语言模型引入生成、筛选与纠错闭环,使模型在生成训练视频时利用物理常识,并通过失败样本修正提高因果一致性。项目同时开放10万条室内外场景视频、生成工具以及PhysLoop-…

智客前沿 · 2026-11-12

Google Search 全球接入 Gemini 4 Hydrogen,强化可视化交互式回答

Google 开始面向全球用户将 Gemini 4 Hydrogen 集成至 Google Search,目标是提供更直观、视觉化且具有交互性的搜索回答。此次更新把生成式模型从独立聊天入口进一步嵌入高频搜索场景,价值在于缩短从信息检索到结果…

智客前沿 · 2026-11-09

PhysOPSD用可执行代码提升视频生成物理一致性

PhysOPSD 将可执行代码作为视频生成后训练中的特权物理上下文,通过 PhysOPSD-Engine 把现实物理场景转换为可验证的仿真程序,并以双层物理特权和受控变量扰动连接在线策略采样与密集纠错反馈。论文称,该方法仅使用约 3000 …

智客前沿 · 2026-11-06

Video-Coder开源代码驱动视频生成智能体

Video-Coder 将视频生成从直接预测像素改为“编写并执行代码、构建动态3D场景、再将结构与运动线索交给下游生成器”的代理式流程。研究配套发布 Video-Coder-SFT-6k、Video-Coder-RL-2k 数据集及集成代码…

智客前沿 · 2026-11-05

Google发布Gemini Omni 1.2 Flash:原生生成编辑15秒视频

Google 发布 Gemini Omni 1.2 Flash,面向创意工作流加入原生 15 秒视频生成与编辑能力,并强化跨帧一致性。官方同时将价格下调 30%,试图以更低调用成本推动短视频素材生产。不过,现有披露仅给出时长、一致性与降价幅…

智客前沿 · 2026-11-04

OpenAI发布Images 2.6:加速图像生成并强化编辑与API控制

OpenAI 推出图像生成模型 Images 2.6,覆盖 ChatGPT、Codex 与 API,重点更新包括更快的图像生成、GIF 创作、更精确的局部编辑以及新增 API 控制项。此次发布把静态图生成、动图输出和可编程编辑进一步整合到同…

智客前沿 · 2026-11-03

Hugging Face发布Kling-MLLM:统一多模态理解的基础模型框架

Hugging Face推出Kling-MLLM,这是一款用于多模态理解的基础模型框架,能够统一处理图像、视频、音频、同步音视频以及交错输入数据。该模型通过模块化设计,为下游任务提供专门支持,并提出了一种基于语义契约的描述生成方法,通过强化…

智客信息 · 2026-11-03

AI应用实践指南:深入解析2026年10月的AI使用趋势

本文由Ben Stolovitz撰写,详细探讨了2026年10月AI在不同领域的应用实践,包括AI智能体协作、推理优化、多模态处理以及AI安全等核心方向。作者通过实际案例和实验数据,揭示了AI技术在提升效率、改进交互体验以及解决复杂问题方面…

智客前沿 · 2026-11-03

AWS在Amazon Bedrock上推出Kimi K3印度本地推理服务

AWS宣布在Amazon Bedrock上为Kimi K3模型推出印度本地推理服务,用户数据将在孟买和海德拉巴区域处理,满足严格的本地数据驻留要求。该服务支持多模态文档理解、OCR和跨语言问答,并已应用于Ultrahuman等客户的生产环境…

智客前沿 · 2026-11-03

arXiv发布AuroraWorld:机器人操作视频生成新突破

arXiv近日发布了一项名为AuroraWorld的研究成果,旨在解决机器人操作视频生成中的关键挑战。AuroraWorld通过结构化的4D世界建模技术,实现了从外部视角视频生成机器人第一人称视角视频的突破。该方法能够有效应对视角变换、遮挡…

智客前沿 · 2026-11-03

GAVAGAI:基于平衡最优传输的婴儿级视觉-语言模型指称对齐方法

GAVAGAI是一种新型视觉-语言模型,旨在解决现有模型在指称对齐上的不足。该方法通过将场景视为内容词与视觉区域之间的小规模分配问题,并采用熵最优传输方法,在两个约束条件下进行对齐:允许单词分配给一个特殊的'无'列,以及限制每个区域的最大分…

智客前沿 · 2026-11-02

Mage-VL-Cowork发布:多模态AI智能体实现高效混合计算机使用

Mage-VL-Cowork是一款由Mage-CUA-Forge团队开发的4B参数混合AI智能体,旨在实现视觉GUI交互、代码执行和终端操作的无缝结合。该智能体通过五阶段渐进式训练方法,包括中期训练、指令微调(SFT)和强化学习(RL),在…

智客前沿 · 2026-11-02

arXiv提出情感识别新方法:评估多模态语音情感识别中的不一致性

arXiv发布了一项关于多模态语音情感识别的新研究,通过将文本和音频映射到共享的情绪空间,并使用高斯混合模型生成连续的不一致性评分,评估了语音情感识别中的模态间不一致性对错误率的影响。研究发现,当音频存在时,不一致性会显著增加错误率,且现有…

智客前沿 · 2026-10-31

Hugging Face发布StreamDuo:跨游戏直播评论AI模型实现重大突破

Hugging Face推出StreamDuo,这是一款针对跨游戏直播评论的AI模型。StreamDuo通过将可训练的评论员与冻结的游戏百科研究代理配对,解决了现有模型在跨游戏评论中知识迁移不足的问题。实验表明,StreamDuo在实体召回…

智客前沿 · 2026-10-31

Hugging Face发布Wave Forcing:实现光速级实时长视频生成

Hugging Face推出了一种名为Wave Forcing (WF)的新方法,用于解决现有长视频生成技术中的效率和质量瓶颈。WF通过分块因果注意力机制和交错去噪与缓存刷新机制,实现了每轮并发前向计算输出一个视频块的目标。其训练过程分为混…

智客信息 · 2026-10-30

MOSS团队举办AMA活动:全面展示多模态AI模型家族

MOSS团队在Reddit上举办了一场AMA活动,介绍了其涵盖语音、音频、图像和视频处理的多模态AI模型家族,包括MOSS-TTS、MOSS-Image等核心产品。这些模型在Hugging Face等平台上广受欢迎,展现了MOSS在多模态A…

智客前沿 · 2026-10-29

OpenFlyV2发布:首个资源受限平台上的端到端视觉-语言-动作模型

Ideal-ljl团队发布了一款名为OpenFlyV2的创新模型,这是首个能够在资源受限的无人机平台上实现端到端视觉-语言-动作处理的技术。OpenFlyV2通过共享的视觉-语言表示,支持语义理解、语言感知、空间推理和持续飞行控制。其紧凑的…

智客前沿 · 2026-10-29

Hugging Face发布SpecSlot:突破性像素空间生成Transformer架构

Hugging Face推出了一种名为SpecSlot的像素空间生成Transformer架构,通过解耦输出细节与全局注意力序列长度,提升了高分辨率图像生成的效率。SpecSlot通过将每个空间锚点扩展为多个槽位,并仅让最低频槽参与全局注意…