智客前沿 · 2026-11-19
Coda-DaVinci以自适应3D代理提升视频生成可控性
Coda-DaVinci把Code2Video的代理建模与提示生成链路改造成任务自适应智能体框架:系统先判断是否值得构建3D代理,再按对象调节几何与动力学粒度,并让物理仿真、代理约束提示和视觉审查协同工作。论文通过受控实验与盲评发现,粗粒度…
智客专题 多模态与视频生成专题
文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。
· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容
智客前沿 · 2026-11-19
Coda-DaVinci把Code2Video的代理建模与提示生成链路改造成任务自适应智能体框架:系统先判断是否值得构建3D代理,再按对象调节几何与动力学粒度,并让物理仿真、代理约束提示和视觉审查协同工作。论文通过受控实验与盲评发现,粗粒度…
智客前沿 · 2026-11-19
Amazon Polly 以账户级门控的正式可用形式上线语音克隆:开发者提交一名说话者 1—10 段、合计最多 15 分钟的录音,异步创建可复用的自定义音色,并通过统一生成式 TTS 接口用于实时合成或长音频任务。新音色覆盖英、西、德、法、…
智客前沿 · 2026-11-17
Invoker-Render 将可控视频生成拆成“视觉代理建模—画面渲染”两层:结构代理可从粗粒度布局切换到细粒度关节几何,并与外观参考、语言共享同一条件接口。系统以双向模型服务离线创作,以四步因果模型服务实时流式生成;Progressiv…
智客前沿 · 2026-11-17
DWD(Decoding Without a Decoder)保留扩散采样轨迹,只在预训练潜空间扩散Transformer末端增加线性像素头:原去噪头负责各时间步采样,最后一步由DWD头直接预测RGB。微调仅更新末端若干Transforme…
智客前沿 · 2026-11-15
PanDWM 将六个针孔相机的画面拼成单一 360° 全景带,把跨视角一致性转化为图像连续性,同时保留每个像素对应的相机射线。其因果学生按布局分窗生成,经教师蒸馏并以自身 rollout 训练;前馈解码器再把帧提升为 3D Gaussian…
智客前沿 · 2026-11-12
PixVid在保留预训练扩散Transformer主干的同时,以卷积头取代VAE解码器,使模型直接在像素空间逐帧生成视频。方法由Wan2.1-14B微调,并通过预测干净视频而非速度目标、采用更大的噪声偏移提升质量。论文称,在约130万训练片…
智客前沿 · 2026-11-12
WorldDraft将视频生成模型重新定位为“生成式渲染器”:由代码或多模态智能体构建4D世界,模型只负责依据视觉草稿渲染动态画面。基准包含48个可执行4D世界家族、432个严格配对样例,以3×3因子设计交叉测试草稿粒度和外观提示冲突,并覆…
智客前沿 · 2026-11-12
PhysLoop提出一个面向视频生成模型的物理一致性自我改进框架,将大语言模型引入生成、筛选与纠错闭环,使模型在生成训练视频时利用物理常识,并通过失败样本修正提高因果一致性。项目同时开放10万条室内外场景视频、生成工具以及PhysLoop-…
智客前沿 · 2026-11-12
Google 开始面向全球用户将 Gemini 4 Hydrogen 集成至 Google Search,目标是提供更直观、视觉化且具有交互性的搜索回答。此次更新把生成式模型从独立聊天入口进一步嵌入高频搜索场景,价值在于缩短从信息检索到结果…
智客前沿 · 2026-11-09
PhysOPSD 将可执行代码作为视频生成后训练中的特权物理上下文,通过 PhysOPSD-Engine 把现实物理场景转换为可验证的仿真程序,并以双层物理特权和受控变量扰动连接在线策略采样与密集纠错反馈。论文称,该方法仅使用约 3000 …
智客前沿 · 2026-11-06
Video-Coder 将视频生成从直接预测像素改为“编写并执行代码、构建动态3D场景、再将结构与运动线索交给下游生成器”的代理式流程。研究配套发布 Video-Coder-SFT-6k、Video-Coder-RL-2k 数据集及集成代码…
智客前沿 · 2026-11-05
Google 发布 Gemini Omni 1.2 Flash,面向创意工作流加入原生 15 秒视频生成与编辑能力,并强化跨帧一致性。官方同时将价格下调 30%,试图以更低调用成本推动短视频素材生产。不过,现有披露仅给出时长、一致性与降价幅…
智客前沿 · 2026-11-04
OpenAI 推出图像生成模型 Images 2.6,覆盖 ChatGPT、Codex 与 API,重点更新包括更快的图像生成、GIF 创作、更精确的局部编辑以及新增 API 控制项。此次发布把静态图生成、动图输出和可编程编辑进一步整合到同…
智客前沿 · 2026-11-03
Hugging Face推出Kling-MLLM,这是一款用于多模态理解的基础模型框架,能够统一处理图像、视频、音频、同步音视频以及交错输入数据。该模型通过模块化设计,为下游任务提供专门支持,并提出了一种基于语义契约的描述生成方法,通过强化…
智客信息 · 2026-11-03
本文由Ben Stolovitz撰写,详细探讨了2026年10月AI在不同领域的应用实践,包括AI智能体协作、推理优化、多模态处理以及AI安全等核心方向。作者通过实际案例和实验数据,揭示了AI技术在提升效率、改进交互体验以及解决复杂问题方面…
智客前沿 · 2026-11-03
AWS宣布在Amazon Bedrock上为Kimi K3模型推出印度本地推理服务,用户数据将在孟买和海德拉巴区域处理,满足严格的本地数据驻留要求。该服务支持多模态文档理解、OCR和跨语言问答,并已应用于Ultrahuman等客户的生产环境…
智客前沿 · 2026-11-03
arXiv近日发布了一项名为AuroraWorld的研究成果,旨在解决机器人操作视频生成中的关键挑战。AuroraWorld通过结构化的4D世界建模技术,实现了从外部视角视频生成机器人第一人称视角视频的突破。该方法能够有效应对视角变换、遮挡…
智客前沿 · 2026-11-03
GAVAGAI是一种新型视觉-语言模型,旨在解决现有模型在指称对齐上的不足。该方法通过将场景视为内容词与视觉区域之间的小规模分配问题,并采用熵最优传输方法,在两个约束条件下进行对齐:允许单词分配给一个特殊的'无'列,以及限制每个区域的最大分…
智客前沿 · 2026-11-02
Hugging Face提出了一种名为History Forcing的新框架,通过强化历史监督机制,提升少步自回归视频生成器在长视频生成中的表现。该方法利用教师模型在有无历史上下文时的预测残差来校正目标,从而将长程历史约束融入自回归生成过程…
智客前沿 · 2026-11-02
Hugging Face提出了一种名为Reviso的新型视频字幕生成框架,通过学习如何选择性地观察视频内容并收集相关视觉证据,提升了视频字幕生成的准确性和上下文连贯性。Reviso采用分层上下文-焦点-点(CFP)观察计划,结合主动感知和目…
智客前沿 · 2026-11-02
Hugging Face推出了一种名为Library of Layers (LoL)的新型Transformer架构,该架构能够在推理过程中动态调整其层顺序,以适应不同任务的需求。LoL通过一个全局Transformer块库实现参数重用与稀…
智客前沿 · 2026-11-02
Mage-VL-Cowork是一款由Mage-CUA-Forge团队开发的4B参数混合AI智能体,旨在实现视觉GUI交互、代码执行和终端操作的无缝结合。该智能体通过五阶段渐进式训练方法,包括中期训练、指令微调(SFT)和强化学习(RL),在…
智客前沿 · 2026-11-02
arXiv发布了一项关于多模态语音情感识别的新研究,通过将文本和音频映射到共享的情绪空间,并使用高斯混合模型生成连续的不一致性评分,评估了语音情感识别中的模态间不一致性对错误率的影响。研究发现,当音频存在时,不一致性会显著增加错误率,且现有…
智客前沿 · 2026-10-31
Hugging Face推出StreamDuo,这是一款针对跨游戏直播评论的AI模型。StreamDuo通过将可训练的评论员与冻结的游戏百科研究代理配对,解决了现有模型在跨游戏评论中知识迁移不足的问题。实验表明,StreamDuo在实体召回…
智客前沿 · 2026-10-31
Hugging Face推出了一种名为Wave Forcing (WF)的新方法,用于解决现有长视频生成技术中的效率和质量瓶颈。WF通过分块因果注意力机制和交错去噪与缓存刷新机制,实现了每轮并发前向计算输出一个视频块的目标。其训练过程分为混…
智客信息 · 2026-10-30
MOSS团队在Reddit上举办了一场AMA活动,介绍了其涵盖语音、音频、图像和视频处理的多模态AI模型家族,包括MOSS-TTS、MOSS-Image等核心产品。这些模型在Hugging Face等平台上广受欢迎,展现了MOSS在多模态A…
智客前沿 · 2026-10-29
Hugging Face发布了一项关于Agentic Video Generation的研究报告,探讨了智能体驱动的视频生成框架如何通过规划、工具使用和反馈机制,实现连贯、可控的多镜头视频生成。该研究还深入分析了视频世界模型与智能体协作的潜…
智客前沿 · 2026-10-29
Ordered-AR团队提出了一种新方法,通过未来感知位置嵌入和有序课程学习,将预训练的自回归(AR)图像模型转化为支持任意顺序生成的模型。该方法在ImageNet数据集上的实验表明,其在图像修复和扩展任务中显著优于现有方法(如MaskGI…
智客前沿 · 2026-10-29
Ideal-ljl团队发布了一款名为OpenFlyV2的创新模型,这是首个能够在资源受限的无人机平台上实现端到端视觉-语言-动作处理的技术。OpenFlyV2通过共享的视觉-语言表示,支持语义理解、语言感知、空间推理和持续飞行控制。其紧凑的…
智客前沿 · 2026-10-29
Hugging Face推出了一种名为SpecSlot的像素空间生成Transformer架构,通过解耦输出细节与全局注意力序列长度,提升了高分辨率图像生成的效率。SpecSlot通过将每个空间锚点扩展为多个槽位,并仅让最低频槽参与全局注意…