跳到主内容
智客 ZICQ

智客专题 多模态与视频生成专题

多模态与视频生成专题

文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。

· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容

智客前沿 · 2026-09-29

Qwen-Image引入IDSpect:提升中文文本渲染的结构质量与语义对齐

Qwen-Image团队提出了一种名为IDSpect的新方法,用于解决中文文本渲染中的结构质量与语义对齐问题。现有基于OCR的强化学习奖励机制忽略了汉字的组合性质,导致对汉字的评估过于粗略。IDSpect通过使用表意描述序列(IDS),将目…

智客前沿 · 2026-09-29

Hugging Face提出SplitMoE:突破视频生成模型中的均匀性陷阱

Hugging Face的研究团队提出了一种名为SplitMoE的新型稀疏架构,旨在解决传统视觉生成模型中MoE(专家混合模型)面临的均匀性陷阱问题。SplitMoE通过将专家池明确划分为语义专家和通用专家,并采用原型引导的路由机制和拉推正…

智客前沿 · 2026-09-29

Hugging Face发布LIFT框架:实现大视角变化下的可控视频生成

Hugging Face团队推出LIFT框架,这是一种创新的图像到视频生成系统,通过结合相机控制与未来布局控制,使用户能够精确指定未来场景的内容与空间布局。LIFT引入了“最后帧布局”作为显式控制信号,并采用策略自蒸馏技术(OPSD)解决稀…

智客前沿 · 2026-09-29

Hugging Face提出对抗训练方法优化像素扩散模型性能

Hugging Face团队提出了一种针对像素扩散模型的对抗训练方法,通过在非高噪声时间步向模型输出添加对抗性损失,显著提升了生成图像的分布保真度、覆盖范围、提示对齐性和感知质量。该方法无需改变模型架构或采样过程,是首个系统研究对抗性后训练…

智客前沿 · 2026-09-29

Hugging Face发布LongLive-Plug:面向视频生成的通用蒸馏框架

Hugging Face团队推出LongLive-Plug,这是一种针对视频生成任务的通用蒸馏框架,旨在通过一次性训练实现跨多个下游模型的免训练即插即用部署。该框架利用LoRA技术,在基础模型上学习可重用的能力,如单次无分类器指导、少步采样…

智客信息 · 2026-09-29

Qwen家族大模型成为现代音频模型的核心架构

Reddit用户通过分析audio.cpp中的音频模型架构,发现Qwen家族大模型已成为音频领域的主流架构选择。32个音频模型家族采用了Qwen架构,其中20个明确使用Qwen3 LLM。这一趋势不仅限于文本到语音(TTS),还扩展到语音合…

智客信息 · 2026-09-29

Anthropic发布GLM-5.3:探索高级网络能力传播与AI安全挑战

Anthropic发布了其最新大语言模型GLM-5.3,并深入探讨了高级网络能力在AI系统中的传播及其潜在影响。GLM-5.3在复杂任务处理和决策能力方面实现了显著提升,但其高级网络能力也引发了关于AI安全性和潜在滥用的广泛讨论。该研究强调…

智客前沿 · 2026-09-28

Hugging Face发布QuantWM:革新视频世界模型KV缓存量化技术

Hugging Face推出了一种名为QuantWM的新型2-bit KV缓存量化框架,专为视频世界模型设计。该技术通过量化感知聚类(QSAC)和主空间注意力补偿(PSAC)两种互补方法,有效缓解了量化过程中注意力偏移问题,从而显著提升了视…

智客信息 · 2026-09-28

SeedRouter 发布统一 API:支持大语言模型、图像与视频模型

SeedRouter 推出了一款名为 SeedRouter API 的统一接口,旨在简化对大语言模型(LLM)、图像和视频模型的使用。该 API 通过抽象不同模型的复杂性,为开发者提供了一站式的接口解决方案,从而提升开发效率并降低多模型集成…

智客前沿 · 2026-09-27

Hugging Face发布StoryEngine:革新视频叙事生成框架

Hugging Face推出StoryEngine,这是一款专注于视频叙事生成的新型框架,旨在解决现有方法在长视频生成中面临的叙事连贯性和视觉一致性挑战。StoryEngine通过分离语义计划和视觉观察,并引入结构化实体状态表示、事件传播机…

智客信息 · 2026-09-27

MiMo-v2.6-Flash 发布:探索智能与性价比的帕累托前沿

MiMo-v2.6-Flash 是 MiMo 模型系列的最新版本,专注于在智能与性价比之间实现最佳平衡。该版本通过优化模型架构和训练方法,显著提升了智能体的决策能力和效率,同时保持了较低的计算成本。这一发布展示了 AI 在多领域应用中的潜力…

智客信息 · 2026-09-27

Peekaboolean:支持图像与文本问答的视觉语言模型发布

Peekaboolean 是一款由 Bykof 开发的视觉语言模型,能够基于图像回答类型化问题。该模型借鉴了类似 Jev 的机制,支持选项选择、评分以及推理功能。其技术亮点在于能够高效处理图像与文本的联合输入,并在多种硬件环境下实现低延迟响…

智客信息 · 2026-09-27

PrivateMode提出将GLM-5.3-Flash转化为类Jev的System One模型

PrivateMode提出了一种将GLM-5.3-Flash模型转化为类Jev的System One模型的方法,旨在提升AI系统在快速决策和直觉性反应方面的能力。该方法借鉴了System 1思维模式,通过以类型而非文本作为输出响应,模拟人类…

智客前沿 · 2026-09-26

Hugging Face发布VoxPolyMem:革新多模态对话AI的多方记忆框架

Hugging Face推出VoxPolyMem,这是一款针对多方对话场景设计的多模态记忆框架,旨在解决现有研究对长时记忆在多模态对话中应用的不足。VoxPolyMem结合了增量说话人识别与多层次记忆结构(交互记忆、事实记忆和参与者档案),…

智客前沿 · 2026-09-26

Hugging Face发布VoxMem:多模态记忆基准测试框架革新对话AI

Hugging Face推出VoxMem,这是一款用于评估大语言模型中多模态记忆能力的新基准测试框架。VoxMem通过涵盖177小时的34,743个语音对话片段,评估模型在处理语音语义、说话人身份、副语言线索和环境声音等四种声学证据类型,以…

智客信息 · 2026-09-26

InternLM发布Intern-Decision系列模型:多模态结构化决策新突破

InternLM推出了Intern-Decision系列模型,包括4B和0.8B两个版本。该模型基于Qwen3.5-4B进行微调,能够接受共享状态、问题模式以及可选图像,并在一轮前向传播中返回每个问题的答案分布。其核心创新在于通过结构化候选…

智客信息 · 2026-09-26

DeepSeek发布DSec:弹性计算架构革新AI基础设施

DeepSeek推出了一款名为DeepSeek Elastic Compute (DSec)的创新型弹性计算架构,旨在优化AI模型的计算资源分配与任务调度。该架构通过动态调整计算资源以适应不同AI任务的负载需求,显著提升了AI系统的运行效率…

智客信息 · 2026-09-26

Drawgent发布:Claude AI助手集成Excalidraw绘图工具

Drawgent是一款新工具,旨在将Anthropic的Claude AI助手无缝集成到Excalidraw绘图平台中。通过这一集成,用户可以在绘图过程中实时调用Claude AI的能力,例如自动生成文本、建议设计元素或优化现有图形,从而提…