智客前沿 · 2026-10-05
Hugging Face发布JLD:基于雅可比镜头的新感知距离方法
Hugging Face推出了一种名为Jacobian Lens Distance (JLD)的新方法,用于图像压缩、修复和生成中的感知距离测量。JLD通过冻结的视觉编码器提取感知几何结构,融合早期特征的空间局部性和后期编码器表示的感知敏感…
智客专题 多模态与视频生成专题
文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。
· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容
智客前沿 · 2026-10-05
Hugging Face推出了一种名为Jacobian Lens Distance (JLD)的新方法,用于图像压缩、修复和生成中的感知距离测量。JLD通过冻结的视觉编码器提取感知几何结构,融合早期特征的空间局部性和后期编码器表示的感知敏感…
智客前沿 · 2026-10-05
Hugging Face推出了一种名为CALM(Counterfactual Adaptive Local Modulation)的新方法,用于提升文本生成图像中的安全性。CALM通过局部反事实修正取代了传统的全局安全信号移除策略,在保留生…
智客前沿 · 2026-10-04
Prism是一种针对2K分辨率视频-音频生成模型的动态稀疏注意力框架,旨在解决传统全注意力机制在高分辨率数据训练中的计算瓶颈问题。该框架通过组织时空宏区域并动态分配块形状,显著提升了训练速度,同时在生成质量上超越了传统全注意力方法。实验表明…
智客前沿 · 2026-10-04
Hugging Face推出了SheetSage2,这是一款用于音乐转录的全新框架,通过结合合成数据、任务特定结构化解码和自回归蒸馏技术,显著提升了乐谱生成的一致性和准确性。SheetSage2利用自动标注的MIDI数据作为可扩展的监督信号…
智客前沿 · 2026-10-04
Kandinsky团队发布了Kandinsky 6.0 Video,这是一系列用于同步文本生成音视频的基础扩散模型,包括Kandinsky 6.0 Video Lite(3B参数)和Kandinsky 6.0 Video Pro(29B参数…
智客前沿 · 2026-10-04
Hugging Face的研究团队提出了一种名为LLM-as-Jev的新框架,旨在探索通用大语言模型(LLM)在无需额外训练的情况下,是否能够作为Jev风格的决策模型直接使用。LLM-as-Jev通过从括号数字标识符的下一个词概率中提取校准…
智客前沿 · 2026-10-03
Hugging Face的研究团队提出了一种名为持续表示学习(Persistent Representation Learning)的新方法,用于改进Drifting Models在复杂图像数据集上的生成质量。该方法通过在训练过程中持续优化…
智客前沿 · 2026-10-02
Hugging Face推出了一种名为DuoMatching的新视频生成框架,旨在解决现有视频生成技术在视觉质量和语义对齐方面的不足。DuoMatching通过联合-边缘分布匹配方法,结合图像生成器的帧级监督和LatentBridge技术,…
智客前沿 · 2026-10-02
COSMI是一种基于文本生成交互的扩散Transformer模型,通过对单物体交互片段进行组合,生成包含多物体的复杂交互场景。该方法利用接触一致性、镜像平衡、跨身体转移以及语言和几何检查,确保生成结果的语义和物理合理性。COSMI数据集包含…
智客前沿 · 2026-10-02
Hugging Face的研究团队提出了一种名为In-Distribution Forcing (ID-Forcing)的新框架,旨在解决长视频生成中的分布漂移问题。传统方法依赖键值(KV)条件化来缓解漂移,但忽视了KV缓存本身可能偏离训练…
智客前沿 · 2026-10-02
Hugging Face推出了一款名为HyperBrowseComp的多语言多模态网页浏览基准测试,包含423个由母语或高熟练度人士编写并验证的挑战性问题,涵盖13种语言。这些问题旨在评估智能体在跨语言和证据模态下的持续信息检索能力,测试智…
智客前沿 · 2026-10-02
Hugging Face的研究团队提出了一种名为ProAR的新框架,旨在解决自回归视频生成模型在目标导向推理中的局限性。ProAR通过引入目标帧预测和未来表示自对齐机制,将自回归视频生成转变为一种目标驱动的推理过程。该方法不仅提升了长程目标…
智客前沿 · 2026-10-02
Hugging Face推出World Embedding Benchmark,这是一个包含8000个模拟案例的基准测试集,涵盖流体、固体动力学、光学与电磁学等领域,用于评估视频表示中的物理信息编码能力。该基准支持文本-视频检索、物理属性回…
智客前沿 · 2026-10-02
Google在2026年9月发布了一系列AI技术更新,涵盖多模态AI模型优化、AI工具性能提升以及行业应用创新。这些更新包括对现有AI模型的改进、针对复杂任务的智能体框架升级,以及在医疗、金融等领域的AI应用拓展。这些技术进展不仅提升了AI…
智客信息 · 2026-10-02
DeepSeek发布了一款名为Harness的AI工作流优化框架,旨在提升AI模型在复杂任务中的表现。该框架通过智能资源调度与任务分配机制,帮助AI模型更高效地处理多步骤、多模态任务。Harness的设计理念强调对AI工作流的全面优化,从任…
智客信息 · 2026-10-02
DeepSeek发布了名为Harness的全新AI工作流优化框架,旨在提升AI模型在复杂任务中的表现。该框架通过智能资源调度与任务分配机制,帮助AI模型更高效地处理多步骤、多模态任务。Harness的设计理念强调对AI工作流的全面优化,从任…
智客信息 · 2026-10-02
Stillwet.art发布了Opus 5.5版本,新增模拟画布功能,旨在为艺术家和历史研究者提供更强大的创作与研究工具。该功能通过AI技术模拟真实画布的物理特性,支持多种绘画工具和材质效果,为用户带来更逼真的创作体验。此外,Opus 5.…
智客前沿 · 2026-10-01
Hugging Face推出了一款名为UniWAM的全新视觉-语言-行动模型,通过整合物理推理器、世界生成器和行动预测器,实现了语义理解、视觉生成和行动预测的协同学习。该模型采用创新的预训练方法,结合视觉问答(VQA)数据、第一人称视角数据…
智客前沿 · 2026-10-01
Hugging Face推出了一款名为UniWAM的统一架构模型,旨在整合物理推理、世界生成和动作预测能力,以提升智能体对物理世界的语义理解、视觉生成和动作预测性能。UniWAM通过创新的数据清洗与标注流程,以及结合视觉问答(VQA)、第一…
智客前沿 · 2026-10-01
Ego2Act是一个全新的目标导向视频生成评估基准,旨在推动AI模型在复杂、多步骤物理推理任务中的表现。该基准包含2640个视频,涵盖110个现实世界任务,评估模型在处理多步骤操作和复杂环境交互时的能力。此外,Ego2ActJudge作为配…
智客前沿 · 2026-10-01
Where-OPD是一种创新的多模态大语言模型(MLLM)自蒸馏方法,通过空间引导的文本指导实现对视觉元素的精准识别与推理。该方法利用程序生成场景中的对象身份和空间坐标进行无标注的后训练,使模型能够从多个相关图像区域整合证据并提升感知能力。…
智客前沿 · 2026-10-01
Youngwoo团队提出了一种名为时间激活注入(TAI)的新方法,用于解决视频大语言模型(VideoLLMs)在时间推理中的持续弱点。TAI通过提取时间发散向量τ_l并在后续层中按衰减模式重新注入,解决了模型在中间层获取时间信息但无法维持到…
智客前沿 · 2026-10-01
Hugging Face推出了VTR-Bench,这是首个针对视频生成模型中视觉文本渲染能力的系统性评估基准。VTR-Bench通过300个精心设计的提示,涵盖广告、科学视频等五个应用场景,并结合自动化评估管道和人工对齐机制,评估文本保真度…
智客前沿 · 2026-10-01
4Director是一款新型视频世界模型工具,通过显式的4D场景表示实现对相机和物体运动的精准控制。其核心机制是将输入图像重建为规范化的3D网格,并利用刚性变换逐帧移动物体,从而提供直观的3D控制界面并保持跨视角的一致性。该工具还引入了深度…
智客前沿 · 2026-10-01
Hugging Face推出了名为PROWBench的新基准,用于评估程序化世界模型在视觉生成中的准确性。该基准包含170个程序化构建的场景和600个代理视频,覆盖多样化的场景和交互。PROWBench通过记录实体状态和时间戳事件,生成可重…
智客前沿 · 2026-10-01
ArXiv发布了一项关于跨架构家族冻结语言模型组合的研究,提出了一种名为NinaXander的新方法。该方法通过在预训练模型的不同层之间引入一个共享的潜在空间适配器,将不同架构的预训练模型组合起来,从而实现无需重新训练即可生成多种组合模型。…
智客前沿 · 2026-10-01
AutoGUIWorld是一款创新的数据生成框架,通过结合图像生成器的视觉先验和规划器的任务知识,无需实际部署或运行软件环境,即可合成高质量的GUI交互轨迹。该框架通过结构化的操作系统上下文、视觉外观和界面状态生成初始GUI场景,并利用规划…
智客信息 · 2026-10-01
DeepSeek发布了Harness 0.2版本,重点强化了智能体运行时的架构,包括可选捆绑架构(Optional Bundle Architecture)、Windows沙盒权限诊断改进、异步问题模式(Async Question Mod…
智客信息 · 2026-10-01
OpenClaw团队为其智能体赋予物理实体,标志着AI与机器人技术融合的重要进展。通过将OpenClaw智能体与机器人硬件结合,团队实现了智能体在现实世界中的直接交互与任务执行能力。这一创新不仅拓展了智能体的应用场景,还为多模态AI系统的发…
智客信息 · 2026-10-01
GitHub AI Trending Releases 汇总了近期AI领域的最新技术进展,涵盖多模态大语言模型框架、自动化科研管理工具、感知智能体优化等多个方向的关键突破。例如,Hugging Face 发布了 PatchHolmes 漏洞…