智客信息 · 2026-10-09
Hugging Face开源GLM-5.3-Flash:AI分析能力登顶,超越Anthropic模型
Hugging Face宣布开源GLM-5.3-Flash模型,该模型在AI分析能力上表现卓越,超越了Anthropic旗下的所有模型,成为AI分析领域的领先者。这一开源举措不仅展示了Hugging Face在AI技术上的持续创新,也为开发…
智客专题 多模态与视频生成专题
文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。
· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容
智客信息 · 2026-10-09
Hugging Face宣布开源GLM-5.3-Flash模型,该模型在AI分析能力上表现卓越,超越了Anthropic旗下的所有模型,成为AI分析领域的领先者。这一开源举措不仅展示了Hugging Face在AI技术上的持续创新,也为开发…
智客信息 · 2026-10-09
Qwen-Image-2.1-Turbo是一款基于Qwen-Image-2.1架构的加速版本,通过仅需8步降噪即可实现高质量图像生成与编辑。该模型支持从文本生成2K分辨率图像,并允许通过自然语言指令进行持续编辑,如添加配件或更改场景。Qwe…
智客前沿 · 2026-10-08
Hugging Face推出ForcingBooster,这是一种用于自回归视频扩散模型的自适应补丁去噪框架。该技术通过动态分配去噪步骤,优化了视频生成效率:简单区域提前停止计算,复杂区域则获得更多细化步骤,从而在保持视觉质量的同时,将总去…
智客前沿 · 2026-10-08
Hugging Face推出Humanity's Sixth Sense (HSS)基准测试,旨在评估多模态大语言模型(MLLMs)在直观视觉推理任务中的表现。HSS通过多样化的图像和视频输入,结合人类编写的提示,测试模型对隐含时间、空间、…
智客前沿 · 2026-10-08
Hugging Face推出BudgetPix,这是一种自适应tokenization框架,通过动态分配计算资源以适应图像的视觉复杂性和空间布局,从而优化推理时的计算预算。BudgetPix包含自适应编码器、多尺度解码器和灵活的采样调度机制…
智客前沿 · 2026-10-08
NVIDIA推出GATOR框架,这是一套用于从非结构化图像生成完整、场景对齐的3D对象的新技术。GATOR结合了生成式AI与多模态智能体,通过局部模态混合器整合RGB、目标掩码和点图特征,并利用文本引导的语义条件生成结构、几何和外观信息。其…
智客前沿 · 2026-10-08
Hugging Face推出SepGen模型,通过单一采样运行实现音视频分离与生成。SepGen支持两种模式:生成模式根据源描述生成独立音轨,而分离模式则从混合音频中提取目标音轨。该模型在文本合成的场景生成和真实录音的分离任务中表现优异,尤…
智客前沿 · 2026-10-08
Hugging Face推出了一种名为LEGO的新方法,用于从单视角外显视频生成内显视频。传统方法依赖深度估计和点云重建,而LEGO采用了一种无需深度估计的视图合成器,通过学习跨视角对应关系,直接生成目标视角视频。该方法在多个数据集上表现优…
智客前沿 · 2026-10-08
Hugging Face推出了一款名为VibeEdit的图像编辑工具,旨在解决传统文本引导图像编辑中目标对象识别困难的问题。VibeEdit允许用户直接在图像上放置空间标记和简短注释,这些注释共同构成画布指令,指导模型执行对象添加、删除、替…
智客信息 · 2026-10-08
JetBrains发布了Mellum2.1,这是一款集成了AI模型和工具的集合,旨在为开发者提供更高效、更智能的开发体验。该版本包含一个12B参数的语言模型和一个2.5B参数的多模态模型,并支持GGUF格式。JetBrains通过这一发布展…
智客前沿 · 2026-10-07
Hugging Face推出VIS-Ground框架,旨在解决视频交互式叙事生成中的关键挑战,即如何将异构、非结构化的观众请求转化为可执行的约束模型。VIS-Ground通过结构化上下文抽象、生成约束归纳和约束视频生成三个核心模块,实现了跨…
智客前沿 · 2026-10-07
Hugging Face推出TouchScale,这是一套通过统一穿戴设备采集的500小时视觉-触觉交互数据集,涵盖日常活动与结构化操作。TouchScale将第一人称RGB-D视频、手腕RGB视频和密集双手触觉测量数据进行了时间对齐。与现…
智客前沿 · 2026-10-07
Hugging Face推出了一种名为QuadTok的新型视觉标记化与自回归图像生成框架。该框架采用四叉树结构,将二维空间绑定与一维序列灵活性相结合,动态分配视觉复杂区域的表示容量,同时简化均匀区域的分辨率。与传统的固定256-token网…
智客信息 · 2026-10-07
Kandinsky Lab发布了Kandinsky 6.0版本,包含Pro(29B参数)和Lite(3B参数)两个版本。该版本支持视频生成和视频超分辨率功能,并已集成到ComfyUI和Diffusers框架中。Kandinsky 6.0的发…
智客前沿 · 2026-10-07
Hugging Face推出了UltraText Bench,这是一款用于评估图像生成中视觉文本渲染质量的双语基准。该基准包含432个提示,覆盖24个真实世界场景类别和三个难度级别,涵盖英语和中文文本区域。UltraText Bench通过…
智客前沿 · 2026-10-07
Hugging Face推出了一种名为GRACE(Generation-Aware Latent Compression for Efficient Video Generation)的新框架,旨在通过两阶段压缩技术优化视频生成效率,同时保…
智客前沿 · 2026-10-07
Hugging Face推出了AdSpark,这是一套针对产品广告视频生成的大规模数据集与基准。AdSpark-300K包含约30万组参考图像-提示-视频三元组,涵盖真实世界和合成数据,并提供结构化的广告注释,如产品身份、销售点描述、创意计…
智客前沿 · 2026-10-07
本研究探讨了视觉Transformer在训练数据缺乏直接指代证据的情况下,如何实现抽象概念(如“愤怒”)的语义理解。研究提出了一种隐喻性(metonymic)语义基础机制,通过具体、可解释的锚点概念(如“火焰”)作为桥梁,将视觉信号与抽象语…
智客前沿 · 2026-10-07
Hugging Face推出了一种名为SGF+(Self Gradient Forcing Plus)的新方法,用于提升自回归视频生成的质量与一致性。SGF+通过将上下文写入和去噪任务分离并使用因果注意力机制进行交互,解决了传统方法中参数共…
智客前沿 · 2026-10-07
GameGo是一款由研究团队推出的新型AI框架,旨在通过AI智能体实现端到端的游戏开发流程。该框架将用户提供的简短游戏创意转化为符合行业标准的详细产品需求文档(PRD),并通过动态压缩技术保留核心玩法约束,同时支持设计探索。GameGo数据…
智客信息 · 2026-10-07
Reddit的LocalLLaMA社区近日发布了一篇关于AI技术进展的讨论帖,涵盖了从多模态AI模型到智能体框架,再到AI工具链迁移等领域的最新突破。讨论内容包括Hugging Face提出的Agentic Retrieval方法革新AI智…
智客信息 · 2026-10-07
OpenAI于2026年10月7日宣布推出GPT-6模型,并同步发布全新的智能用户界面(Intelligent UI)。GPT-6在多模态理解、复杂推理和生成能力方面实现了显著提升,旨在为用户提供更自然、更智能的交互体验。新版智能用户界面引…
智客前沿 · 2026-10-07
Hugging Face的研究团队在Nemotron模型的基础上进行了微调,使其在信息提取(IOI)和多模态推理(IMO)两项任务中均取得了金级成果。研究展示了微调后的Nemotron在复杂推理任务中的强大性能,以及其在多模态数据处理中的潜…
智客前沿 · 2026-10-06
Hugging Face推出了一款名为CADFather的智能体系统,旨在解决从3D形状重建可编辑CAD模型的难题。CADFather通过协调互补工具,利用视觉-语言助手分析目标与中间重建结果,并决定如何扩展候选CAD程序、调用工具、生成建…
智客前沿 · 2026-10-06
Hugging Face推出了一种名为Sensor-Language-Action (SLA)的新框架,旨在将多模态传感器数据、自然语言和智能决策统一到一个模型中。SLA模型通过语言作为感知与行动之间的语义接口,实现了从感知到决策的端到端建…
智客前沿 · 2026-10-06
Hugging Face推出了一款名为World Models' Last Exam in Physics的全新基准,用于评估视频生成模型在物理一致性方面的表现。该基准包含40个涵盖力学、光学、流体、热力学、电磁学及表面张力等领域的控制任务…
智客前沿 · 2026-10-06
Hugging Face推出ALIVE框架,旨在解决传统视频编辑中插入物体难以参与交互的问题。ALIVE通过编辑后的首帧和仅命名新增物体的指令,使插入物体与源视频内容进行连贯互动。该框架利用3D渲染、模型生成和真实世界视频的编辑对训练数据,…
智客前沿 · 2026-10-05
Hugging Face推出了一种名为CLIFT的新方法,旨在解决开源网络智能体训练中的弱监督问题。CLIFT通过共形自验证机制,在训练过程中利用智能体对自身行为的自然语言验证问题进行回答,并通过组合共形认证器筛选有效信号,动态调整奖励机制…
智客前沿 · 2026-10-05
Hugging Face推出了一种名为DeCoPrune的新方法,用于解决自回归视频生成中KV缓存不断增长的问题。该方法通过将缓存压缩视为去噪一致性优化问题,利用去噪难度作为衡量token长期保留价值的代理指标,显著减少了历史KV toke…
智客前沿 · 2026-10-05
Hugging Face推出了一种名为S2PD(Serial-to-Parallel Diffusion)的新型视频生成模型,旨在解决现有双向视频扩散模型在处理复杂场景时违反物理定律和逻辑规则的问题。S2PD通过在高噪声阶段采用自回归扩散,…