智客前沿 · 2026-10-16
Hugging Face发布MOSS-Image:开源文本生成图像模型实现高精度布局与双语支持
Hugging Face推出开源文本生成图像模型MOSS-Image,通过5B参数的单流扩散Transformer(DiT)实现高精度视觉合成与意图感知布局控制。该模型支持中英双语长文本渲染,并引入意图感知提示增强模块(PE),显著提升复杂…
智客专题 多模态与视频生成专题
文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。
· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容
智客前沿 · 2026-10-16
Hugging Face推出开源文本生成图像模型MOSS-Image,通过5B参数的单流扩散Transformer(DiT)实现高精度视觉合成与意图感知布局控制。该模型支持中英双语长文本渲染,并引入意图感知提示增强模块(PE),显著提升复杂…
智客前沿 · 2026-10-16
Seerray Lab推出了一款名为小米镜头0(Xiaomi-Lens-0)的4B多模态大语言模型(MLLM),基于Qwen3.5架构,通过预测视觉表示的掩码来增强对图像精细区域的理解能力。该模型采用轻量级解码器,将视觉编码器特征与语言模型…
智客信息 · 2026-10-16
OpenMOSS团队发布了其最新图像生成模型MOSS-Image,该模型采用Apache许可证开源发布。相较于现有的Qwen Image 2.1和Flux Klein 3等模型,MOSS-Image在性能和应用场景上具有独特优势。其开源特性…
智客前沿 · 2026-10-16
Elorian公司发布了其首个AI模型Glimpse,该模型在科学图表推理和短视频字幕生成任务中表现优异,甚至超越了GPT-6 Astra。此外,Glimpse在其他视觉推理任务中也展现出强大的竞争力。Glimpse的发布标志着AI在多模态…
智客前沿 · 2026-10-16
Reflection公司推出了其首个开放权重模型——Beam,该模型专注于软件工程、复杂推理以及长时智能体任务。Beam模型现已通过Ollama平台开放使用,并限时免费开放。Beam的设计目标是为AI开发者提供更强大的工具支持,尤其在处理长…
智客前沿 · 2026-10-16
Hugging Face推出了一款名为MeddeX的医疗报告分析系统,该系统结合了QLoRA微调的LLaMA-3(8B)模型、检索增强生成(RAG)和多模态Gemini Vision层,旨在为医疗文档提供准确、简洁且有证据支持的摘要。Med…
智客前沿 · 2026-10-15
Hugging Face推出ACEdit模型,通过引入非对称条件机制和自强制训练方案,解决了多轮图像编辑中因分布偏移导致的退化问题。该技术利用教师模型提供可靠训练信号,确保学生模型在处理自身输出时保持高质量编辑效果。实验表明,ACEdit在…
智客前沿 · 2026-10-15
Hugging Face推出OmniXRef,这是一款统一的多模态多参考视频编辑框架,支持用户结合文本、图像和视频参考来控制源视频的多样化属性。OmniXRef通过单流扩散Transformer处理源视频和多模态上下文,并引入R^2-RoP…
智客信息 · 2026-10-15
IBM发布了Granite Switch 4.1,这是一个模块化的LLM(大型语言模型),支持自然语言对话、决策生成和语音转文本等任务。该模型通过适配器(Adapters)机制实现功能扩展,用户可以通过控制标记动态激活不同功能。Granit…
智客前沿 · 2026-10-15
Gen4P是一种用于从单目视频中恢复4D几何与运动的新框架。该技术利用预训练的生成视频模型,通过轻量级跨注意力解码器实现4D属性的预测,无需迭代去噪。Gen4P引入了按需查询机制和连续时间查询,提供了灵活的空间和时间采样能力,并通过集成预训…
智客前沿 · 2026-10-15
Hugging Face推出EVA-Cap框架,通过将字幕分解为原子音视频事件并实现事件级对齐,显著提升了音视频字幕生成的质量。该框架采用监督微调(SFT)和群组相对策略优化(GRPO)技术,在自建数据集EVA-Data上进行训练,专注于全…
智客前沿 · 2026-10-15
Hugging Face推出了一款名为Velox的创新模型,旨在解决视频生成中由于KV缓存膨胀导致的效率瓶颈问题。Velox通过使用基于几何流数据的区域级注意力路由技术,显著提升了视频生成的速度和效率。其核心机制包括使用视锥体切片表示历史块…
智客前沿 · 2026-10-15
Hugging Face推出了一款名为MaLoW的流式记忆框架,用于提升流式视觉语言模型(VLMs)的长期记忆能力。MaLoW通过将历史上下文内化为轻量级的LoRA权重更新,取代了传统压缩、检索或缓存机制,从而在保持当前输入的同时高效整合历…
智客前沿 · 2026-10-15
Hugging Face推出Intern-Decision系列模型(0.8B、2B、4B参数),旨在优化智能体在多模态环境下的决策效率。该模型通过自回归掩码语言建模技术,将自由文本响应转化为结构化选择和概率输出,显著降低延迟并简化模型与环境…
智客前沿 · 2026-10-15
Hugging Face推出了一种名为Speculative Forcing的新框架,旨在优化自回归视频生成效率。该方法通过预测何时可以安全地接受中间清洁估计作为最终输出,避免了不必要的计算,从而在保持生成质量的同时显著减少了计算量。在多个…
智客前沿 · 2026-10-15
本研究提出了一种基于图的多模态AI模型编排框架,通过专用控制节点协调多种AI技术(如规划、机器学习、约束编程和大型语言模型),并采用有向无环图和行为树来管理模型关系和执行序列。该方法利用数据连接器、计算服务和容器化部署框架,支持层次化、顺序…
智客信息 · 2026-10-15
NVIDIA正式发布Nemotron-3.5 Super-VL系列模型,参数规模达1200亿。该系列包括基础版本(Base)、NVFP4优化版本、BF16精度版本以及LiLiCorr推测解码技术。LiLiCorr解码技术通过优化长序列生成中…
智客前沿 · 2026-10-15
Meta正式发布Muse Spark Open,这是一款专为编程和智能体任务优化的多模态混合专家模型。该模型采用MoE架构,总参数量达8160亿,活跃参数42亿,支持高达100万token的上下文窗口,并可处理文本、图像、视频和音频等多模态…
智客前沿 · 2026-10-15
Hugging Face正式发布Granite Switch 4.1,这是一款集成聊天、决策与语音功能的多模态AI平台,旨在为开发者提供统一接口以简化复杂AI应用的开发流程。该版本通过优化多模态数据处理能力与推理效率,显著提升了AI系统在实…
智客前沿 · 2026-10-15
Meta发布了Muse Spark Open AI模型,宣称其为目前美国最强大的开源权重模型,并宣布与Apple合作优化该模型,使其能够在配备最新MLX框架的两台Apple M5 Ultra Mac Studios上高效运行。这一合作标志着…
智客前沿 · 2026-10-15
Meta正式发布Muse Spark Open,这是一款专为编程和智能体任务优化的开源大模型,现已上线Amazon SageMaker JumpStart。该模型采用MoE架构,总参数量达8160亿(活跃参数42亿),支持100万token…
智客信息 · 2026-10-15
Meta正式发布Muse Spark Open,这是一款专为编程和智能体任务设计的大规模开源模型。其参数量达8160亿(活跃参数42亿),上下文窗口支持100万token,并支持文本、图像、视频和音频等多模态数据。该模型在长时任务、复杂软件…
智客信息 · 2026-10-15
NVIDIA发布了Nemotron 3.5 Bolt 74B-A9B 24GB,这是一款专为本地化智能体任务设计的视觉语言模型(VLM)。该模型采用2-bit量化技术,适配24GB内存环境,可与其他应用并行运行。其核心优势在于平衡智能与速度…
智客前沿 · 2026-10-15
LlamaIndex推出了ExtractBench Pro,这是ExtractBench的扩展版本,旨在解决真实长尾文档中的复杂提取问题。该版本新增了六大挑战,包括复杂图表、领域术语、混乱布局等场景,通过合成数据生成技术生成高保真度的训练样…
智客前沿 · 2026-10-15
Hugging Face推出FLUX.3 Image Klein,这是其Diffusers图像生成框架的最新版本。该版本通过引入新的生成机制和优化技术,显著提升了图像生成的质量和效率。FLUX.3 Image Klein采用更高效的采样策略…
智客前沿 · 2026-10-15
arXiv近日发布了一项名为DecisionRobust的新基准测试平台,用于系统评估多模态决策模型在文本和视觉输入下的鲁棒性。该平台通过语义保留的文本扰动、图像扰动以及跨模态的提示注入等攻击手段,测试模型在复杂决策场景下的可靠性。实验结果…
智客前沿 · 2026-10-14
PrismaCoder团队推出了PrismaForge数据管道和PrismaCoder系列模型,旨在推动开源多模态代码智能的发展。PrismaForge通过合成评估标准(Rubric)生成高质量数据,解决了现有数据质量和多样性不足的问题。P…
智客前沿 · 2026-10-14
Hugging Face推出了一款名为CommerceGen-Studio的端到端框架,用于生成电商库存单元(SKU)的商业级主图。该框架采用三阶段流程,包括信息提取、语义重写和多条件生成,通过PERL-Agent蒸馏SKU元数据,Layo…
智客前沿 · 2026-10-14
Hugging Face提出了一种名为RepForcing的新方法,用于改进自回归视频生成的质量与效率。该方法通过在表示空间中进行监督学习,替代传统基于中间教师轨迹回归的初始化方式,从而实现更高效的视频生成。实验结果表明,RepForcin…
智客前沿 · 2026-10-14
Hugging Face推出Intern Lumina U2,这是一款多码本扩散大语言模型,旨在解决多模态生成中离散与连续表示之间的权衡问题。该模型通过在离散空间中表示多码本视觉标记,显著提升了视觉表示能力,同时保持与文本建模的兼容性。In…