智客信息 · 2026-09-25
Logolabs发布Agate模型:260M参数图像模型实现思考与渲染分离
Logolabs在Hugging Face平台发布了一款名为Agate的图像生成模型,该模型具有260M参数,并引入了独特的思考(Thinker)和渲染(Renderer)分离架构。这一设计旨在提升图像生成的逻辑性和可控性,使模型能够更有效…
智客专题 多模态与视频生成专题
文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。
· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容
智客信息 · 2026-09-25
Logolabs在Hugging Face平台发布了一款名为Agate的图像生成模型,该模型具有260M参数,并引入了独特的思考(Thinker)和渲染(Renderer)分离架构。这一设计旨在提升图像生成的逻辑性和可控性,使模型能够更有效…
智客前沿 · 2026-09-25
AWS通过Amazon SageMaker平台正式上线了Qwen3-TTS-12Hz-1.7B-Base模型,这是一款支持实时语音克隆的开源文本到语音(TTS)模型。该模型支持多语言语音克隆,能够从简短音频样本中捕捉说话人的声音特征,并生成…
智客前沿 · 2026-09-25
AWS宣布推出SkyRL与Amazon SageMaker HyperPod的集成方案,旨在加速多模态强化学习(RL)模型的训练过程。通过利用HyperPod的弹性集群基础设施和Ray分布式计算能力,用户可以高效地运行SkyRL框架,对Qw…
智客信息 · 2026-09-25
Infere发布了一篇关于LLM-as-a-Judge(以大语言模型为法官)的技术文章,深入探讨了如何利用大语言模型(LLM)在司法领域进行决策支持。该技术通过分析法律文本、案例和证据,模拟法官的推理过程,从而为法律从业者提供辅助决策支持。…
智客前沿 · 2026-09-25
arXiv发布了一项关于扩散模型的新研究,提出了一种名为CARE (Condition-Aware Representation Regularization) 的轻量级即插即用正则化框架。该框架通过动态调节特征分布以适应条件相似性,显著提…
智客前沿 · 2026-09-25
Hugging Face推出了名为WROP(World Reasoning with Object Permanence)的新数据集,旨在训练视频生成模型以具备物体恒存性推理能力。WROP包含150个基于认知科学设计的手工任务,分为六大认知…
智客信息 · 2026-09-25
GitHub近日开源了一款名为LLMSearchRecommender的AI工具,旨在通过大语言模型(LLMs)提升搜索与推荐系统的智能化水平。该工具利用LLMs对用户查询进行语义理解和上下文推理,从而提供更精准的搜索结果和个性化推荐。LL…
智客前沿 · 2026-09-24
Hugging Face推出TimeBraid系列模型,通过交错全局残差注意力层统一时间序列与语言模型,实现跨模态的知识继承与推理能力。TimeBraid结合了时间序列感知、理解和预测能力,以及语言模型的指令跟随与推理能力,在多个基准测试中…
智客前沿 · 2026-09-24
Shaohua Dong团队发布了一款名为RGBD20K的新型RGB-D语义分割数据集。该数据集包含160个细粒度类别、20,000对高质量标注的RGB-D图像对,并引入了创新的评分净化融合(SPF)方法,在多个基准测试中实现了最先进的性能…
智客前沿 · 2026-09-24
WanPE是一款由3970亿参数组成的提示增强模型,旨在通过导演级的电影化规划提升现代文本生成视频的质量。该模型基于1.05M真实视频数据进行训练,通过视频驱动的逆向构建和语义一致性GRPO(SC-GRPO)技术,显著提升了跨镜头和时序的用…
智客前沿 · 2026-09-24
ViRDM是一种无需教师模型和在线评论器的视频后训练方法,通过引入表示分布匹配(RDM)技术,显著降低了GPU内存使用量和训练时间,同时提升了少步因果视频生成的质量。该方法通过耦合随机截断的干净退出监督、轻量级VAE解码器和分阶段视频-雅可…
智客前沿 · 2026-09-24
Qwen团队推出Qwen-Planner-Agent,这是一种基于AI for AI的闭环式开发框架,旨在通过数据生产、模型训练和部署的协同迭代,实现智能体在复杂任务中的高效开发与持续优化。该框架在MobilePA-Bench测试中表现出色…
智客前沿 · 2026-09-24
Google推出了Gemini智能体的最新版本——Gemini 3.8 Live,并引入了实时虚拟化身功能。该功能允许用户与AI进行对话时,观看一个实时动画化的AI角色以唇形同步和面部表情变化进行互动。这一功能目前仅面向Gemini Ent…
智客前沿 · 2026-09-24
arXiv发布了一项关于早期术中急性肾损伤(AKI)预测的研究,提出了一种名为SynerT的新型混合时间序列模型。该模型结合了因果扩张时间卷积网络(TCN)和扩张循环层,用于编码术中生理轨迹。此外,研究还提出了两种模型变体:SynerT-M…
智客前沿 · 2026-09-24
ArXiv AI发布了一种名为MedGate-Fusion的多模态架构,用于中风风险预测。该架构结合了基于Transformer的首次就诊叙述嵌入与十种常规风险标志物,利用加拿大初级保健哨点监测网络(CPCSSN)的电子病历数据,构建了包含…
智客前沿 · 2026-09-24
宾夕法尼亚大学的研究团队提出了一种新型的多模态框架,用于预测胶质母细胞瘤(GBM)患者的生存率。该框架结合了Sheaf超图神经网络、概念瓶颈层和扩展充分性测试(EST)正则化技术,通过多模态MRI数据和临床元数据的整合,实现了高准确性与可解…
智客信息 · 2026-09-23
Apple的研究团队发布了LensVLM-9B,这是一款9B参数的视觉语言模型(VLM),能够扫描压缩文本图像并通过学习工具选择性地扩展相关页面至未压缩形式。该模型旨在优化处理大规模文本图像数据的效率,并提供更精准的上下文理解能力。Lens…
智客前沿 · 2026-09-23
Hugging Face的研究团队提出了一种名为RecCAR(Reciprocal Cross-modal Attention Regularization)的新方法,旨在解决多模态生成中视频与其他模态(如运动和音频)之间的跨模态注意力不对…
智客前沿 · 2026-09-23
上海AI实验室推出InternW0,这是其InternW物理世界模型系列的首个版本。InternW0通过全模态接口、异步多频处理和局部物理建模技术,实现了在部分观测和外部影响下的高效预测与机器人控制。其独特的非对称视频-动作架构结合流匹配技…
智客前沿 · 2026-09-23
Hugging Face发布了一篇关于自回归(AR)视频生成中记忆机制的系统性综述文章,重点探讨了如何克服生成序列扩展过程中上下文窗口、存储和计算限制的问题。该综述从五个视角(形式、功能、操作、学习和评估)对现有记忆机制进行了分类和深入分析…
智客前沿 · 2026-09-23
AWS推出了一种基于代理架构的对话式视频智能解决方案,通过单一AI代理实时解析用户自然语言问题,并调用Amazon Bedrock、Rekognition和Transcribe等AWS服务进行处理。该方案无需预先构建固定处理流程,可实现视频…
智客信息 · 2026-09-23
TrustedRouter 发布了其最新模型 GEV-1.0,该模型不仅在性能上超越了现有的 JEV 模型,还新增了对图像输入的支持。这一突破展示了 GEV-1.0 在处理多模态数据方面的潜力,为 AI 应用提供了更强大的工具支持。GEV-…
智客信息 · 2026-09-23
Nunchux宣布在AMD MI355X硬件上实现突破性视频生成技术,将原本需要5秒生成的视频缩短至1.3秒。该技术展示了在高性能硬件上优化视频生成效率的潜力,为AI驱动的视频创作和实时内容生成提供了新的可能性。这一成果不仅提升了视频生成速…
智客信息 · 2026-09-23
DrivingBench网站报道,GPT-6 Astra模型已获得驾驶汽车的能力,标志着AI在自动驾驶领域取得重大突破。这一进展意味着AI不仅能处理复杂的感知与决策任务,还能在真实世界中操控车辆,为自动驾驶技术的发展开辟了新的可能性。GPT…
智客前沿 · 2026-09-23
Google DeepMind 推出了新一代文本生成语音(TTS)模型 Gemini 3.8,该模型在语音自然度、情感表达以及多语言支持方面实现了显著提升。Gemini 3.8 能够生成更接近人类语音的输出,为智能语音助手、虚拟主播和多媒体…
智客信息 · 2026-09-23
RxFilm Studio是一款由AI智能体驱动的视频创作与编辑工具,旨在简化视频制作流程。它支持从创意构思、产品网站、图片或现有素材生成完整的视频内容,包括故事结构、剪辑与时间轴、特效、音效、旁白、背景音乐以及字幕与翻译等功能。该工具面向…
智客前沿 · 2026-09-23
arXiv近日发布了一项关于中风风险预测的研究,提出了一种名为MedGate-Fusion的多模态门控架构。该架构结合了基于Transformer的首次就诊叙述嵌入与十种常规风险标记物,通过整合非结构化临床叙述和生物标志物数据,显著提升了中…
智客前沿 · 2026-09-23
arXiv近日发布了一项关于Ovis-Embedding的研究,这是一种基于文本、图像、视频和音频原生集成的多模态嵌入技术。Ovis-Embedding通过共享多模态骨干网络,在统一表示空间中编码不同模态数据。其三大核心创新包括:原生多模态…
智客前沿 · 2026-09-22
Hugging Face推出了一种名为StableVQ的新方法,旨在解决现代自回归和掩码图像生成模型中离散视觉tokenizer训练稳定性不足的问题。StableVQ通过动态STE、区域VQ损失和解耦调度等创新机制,显著提升了编码器-解码器…
智客信息 · 2026-09-22
AntLing于2026年9月22日发布了Qwen Image 2.1 (Fast FP8)版本,这是一款专为图像生成设计的轻量级模型,体积小于10GB。该模型通过FP8量化技术,在保持高效性能的同时,生成图像质量达到高端水平。用户可通过U…