跳到主内容
智客 ZICQ

智客专题 多模态与视频生成专题

多模态与视频生成专题

文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。

· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容

智客信息 · 2026-10-09

Qwen-Image-2.1-Turbo发布:8步降噪实现高质量图像生成与编辑

Qwen-Image-2.1-Turbo是一款基于Qwen-Image-2.1架构的加速版本,通过仅需8步降噪即可实现高质量图像生成与编辑。该模型支持从文本生成2K分辨率图像,并允许通过自然语言指令进行持续编辑,如添加配件或更改场景。Qwe…

智客前沿 · 2026-10-08

Hugging Face发布BudgetPix:自适应计算分配革新图像生成效率

Hugging Face推出BudgetPix,这是一种自适应tokenization框架,通过动态分配计算资源以适应图像的视觉复杂性和空间布局,从而优化推理时的计算预算。BudgetPix包含自适应编码器、多尺度解码器和灵活的采样调度机制…

智客前沿 · 2026-10-08

NVIDIA发布GATOR框架:革新3D对象生成与场景对齐技术

NVIDIA推出GATOR框架,这是一套用于从非结构化图像生成完整、场景对齐的3D对象的新技术。GATOR结合了生成式AI与多模态智能体,通过局部模态混合器整合RGB、目标掩码和点图特征,并利用文本引导的语义条件生成结构、几何和外观信息。其…

智客前沿 · 2026-10-08

Hugging Face发布SepGen:实现多音轨音视频分离与生成

Hugging Face推出SepGen模型,通过单一采样运行实现音视频分离与生成。SepGen支持两种模式:生成模式根据源描述生成独立音轨,而分离模式则从混合音频中提取目标音轨。该模型在文本合成的场景生成和真实录音的分离任务中表现优异,尤…

智客前沿 · 2026-10-08

Hugging Face发布LEGO:革新跨视角视频生成技术

Hugging Face推出了一种名为LEGO的新方法,用于从单视角外显视频生成内显视频。传统方法依赖深度估计和点云重建,而LEGO采用了一种无需深度估计的视图合成器,通过学习跨视角对应关系,直接生成目标视角视频。该方法在多个数据集上表现优…

智客前沿 · 2026-10-08

Hugging Face发布VibeEdit:基于画布指令的创新图像编辑工具

Hugging Face推出了一款名为VibeEdit的图像编辑工具,旨在解决传统文本引导图像编辑中目标对象识别困难的问题。VibeEdit允许用户直接在图像上放置空间标记和简短注释,这些注释共同构成画布指令,指导模型执行对象添加、删除、替…

智客信息 · 2026-10-08

JetBrains发布Mellum2.1:AI模型与工具集的新集合

JetBrains发布了Mellum2.1,这是一款集成了AI模型和工具的集合,旨在为开发者提供更高效、更智能的开发体验。该版本包含一个12B参数的语言模型和一个2.5B参数的多模态模型,并支持GGUF格式。JetBrains通过这一发布展…

智客前沿 · 2026-10-07

Hugging Face发布VIS-Ground:革新视频交互式叙事生成技术

Hugging Face推出VIS-Ground框架,旨在解决视频交互式叙事生成中的关键挑战,即如何将异构、非结构化的观众请求转化为可执行的约束模型。VIS-Ground通过结构化上下文抽象、生成约束归纳和约束视频生成三个核心模块,实现了跨…

智客信息 · 2026-10-07

Kandinsky 6.0发布:支持视频生成与视频超分辨率

Kandinsky Lab发布了Kandinsky 6.0版本,包含Pro(29B参数)和Lite(3B参数)两个版本。该版本支持视频生成和视频超分辨率功能,并已集成到ComfyUI和Diffusers框架中。Kandinsky 6.0的发…

智客前沿 · 2026-10-07

Hugging Face发布UltraText Bench:革新视觉文本渲染评估基准

Hugging Face推出了UltraText Bench,这是一款用于评估图像生成中视觉文本渲染质量的双语基准。该基准包含432个提示,覆盖24个真实世界场景类别和三个难度级别,涵盖英语和中文文本区域。UltraText Bench通过…

智客前沿 · 2026-10-07

Vision Transformers新突破:基于隐喻电路实现抽象概念理解

本研究探讨了视觉Transformer在训练数据缺乏直接指代证据的情况下,如何实现抽象概念(如“愤怒”)的语义理解。研究提出了一种隐喻性(metonymic)语义基础机制,通过具体、可解释的锚点概念(如“火焰”)作为桥梁,将视觉信号与抽象语…

智客前沿 · 2026-10-07

Hugging Face发布SGF+:革新自回归视频生成技术

Hugging Face推出了一种名为SGF+(Self Gradient Forcing Plus)的新方法,用于提升自回归视频生成的质量与一致性。SGF+通过将上下文写入和去噪任务分离并使用因果注意力机制进行交互,解决了传统方法中参数共…

智客前沿 · 2026-10-07

GameGo框架发布:革新游戏开发流程,AI赋能端到端游戏合成

GameGo是一款由研究团队推出的新型AI框架,旨在通过AI智能体实现端到端的游戏开发流程。该框架将用户提供的简短游戏创意转化为符合行业标准的详细产品需求文档(PRD),并通过动态压缩技术保留核心玩法约束,同时支持设计探索。GameGo数据…

智客信息 · 2026-10-07

Reddit社区热议AI技术进展:多领域突破与创新盘点

Reddit的LocalLLaMA社区近日发布了一篇关于AI技术进展的讨论帖,涵盖了从多模态AI模型到智能体框架,再到AI工具链迁移等领域的最新突破。讨论内容包括Hugging Face提出的Agentic Retrieval方法革新AI智…

智客信息 · 2026-10-07

OpenAI发布GPT-6:智能用户界面革新AI交互体验

OpenAI于2026年10月7日宣布推出GPT-6模型,并同步发布全新的智能用户界面(Intelligent UI)。GPT-6在多模态理解、复杂推理和生成能力方面实现了显著提升,旨在为用户提供更自然、更智能的交互体验。新版智能用户界面引…

智客前沿 · 2026-10-07

Hugging Face发布Nemotron微调研究:IOI与IMO任务双金级成果

Hugging Face的研究团队在Nemotron模型的基础上进行了微调,使其在信息提取(IOI)和多模态推理(IMO)两项任务中均取得了金级成果。研究展示了微调后的Nemotron在复杂推理任务中的强大性能,以及其在多模态数据处理中的潜…

智客前沿 · 2026-10-06

Hugging Face发布CADFather:革新CAD模型重建的智能体系统

Hugging Face推出了一款名为CADFather的智能体系统,旨在解决从3D形状重建可编辑CAD模型的难题。CADFather通过协调互补工具,利用视觉-语言助手分析目标与中间重建结果,并决定如何扩展候选CAD程序、调用工具、生成建…

智客前沿 · 2026-10-06

Hugging Face发布ALIVE框架:革新视频编辑中物体交互生成技术

Hugging Face推出ALIVE框架,旨在解决传统视频编辑中插入物体难以参与交互的问题。ALIVE通过编辑后的首帧和仅命名新增物体的指令,使插入物体与源视频内容进行连贯互动。该框架利用3D渲染、模型生成和真实世界视频的编辑对训练数据,…

智客前沿 · 2026-10-05

Hugging Face发布CLIFT:基于共形自验证的智能体训练与测试扩展方法

Hugging Face推出了一种名为CLIFT的新方法,旨在解决开源网络智能体训练中的弱监督问题。CLIFT通过共形自验证机制,在训练过程中利用智能体对自身行为的自然语言验证问题进行回答,并通过组合共形认证器筛选有效信号,动态调整奖励机制…