跳到主内容
智客 ZICQ

智客专题 多模态与视频生成专题

多模态与视频生成专题

文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。

· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容

智客信息 · 2026-09-25

Infere发布LLM-as-a-Judge:探索大语言模型在司法领域的应用

Infere发布了一篇关于LLM-as-a-Judge(以大语言模型为法官)的技术文章,深入探讨了如何利用大语言模型(LLM)在司法领域进行决策支持。该技术通过分析法律文本、案例和证据,模拟法官的推理过程,从而为法律从业者提供辅助决策支持。…

智客前沿 · 2026-09-25

arXiv提出CARE框架:提升扩散模型生成质量与训练效率

arXiv发布了一项关于扩散模型的新研究,提出了一种名为CARE (Condition-Aware Representation Regularization) 的轻量级即插即用正则化框架。该框架通过动态调节特征分布以适应条件相似性,显著提…

智客信息 · 2026-09-25

GitHub开源LLMSearchRecommender:AI驱动的搜索与推荐引擎框架

GitHub近日开源了一款名为LLMSearchRecommender的AI工具,旨在通过大语言模型(LLMs)提升搜索与推荐系统的智能化水平。该工具利用LLMs对用户查询进行语义理解和上下文推理,从而提供更精准的搜索结果和个性化推荐。LL…

智客前沿 · 2026-09-24

RGBD20K:大规模RGB-D语义分割数据集发布,推动多模态AI发展

Shaohua Dong团队发布了一款名为RGBD20K的新型RGB-D语义分割数据集。该数据集包含160个细粒度类别、20,000对高质量标注的RGB-D图像对,并引入了创新的评分净化融合(SPF)方法,在多个基准测试中实现了最先进的性能…

智客前沿 · 2026-09-24

WanPE发布:革新文本生成视频的导演级提示增强模型

WanPE是一款由3970亿参数组成的提示增强模型,旨在通过导演级的电影化规划提升现代文本生成视频的质量。该模型基于1.05M真实视频数据进行训练,通过视频驱动的逆向构建和语义一致性GRPO(SC-GRPO)技术,显著提升了跨镜头和时序的用…

智客前沿 · 2026-09-24

ViRDM发布:革新少步因果视频生成技术,显著提升生成效率与质量

ViRDM是一种无需教师模型和在线评论器的视频后训练方法,通过引入表示分布匹配(RDM)技术,显著降低了GPU内存使用量和训练时间,同时提升了少步因果视频生成的质量。该方法通过耦合随机截断的干净退出监督、轻量级VAE解码器和分阶段视频-雅可…

智客前沿 · 2026-09-24

Google发布Gemini 3.8 Live:支持实时虚拟化身交互

Google推出了Gemini智能体的最新版本——Gemini 3.8 Live,并引入了实时虚拟化身功能。该功能允许用户与AI进行对话时,观看一个实时动画化的AI角色以唇形同步和面部表情变化进行互动。这一功能目前仅面向Gemini Ent…

智客前沿 · 2026-09-24

arXiv发布SynerT:用于早期术中急性肾损伤预测的多模态框架

arXiv发布了一项关于早期术中急性肾损伤(AKI)预测的研究,提出了一种名为SynerT的新型混合时间序列模型。该模型结合了因果扩张时间卷积网络(TCN)和扩张循环层,用于编码术中生理轨迹。此外,研究还提出了两种模型变体:SynerT-M…

智客前沿 · 2026-09-24

MedGate-Fusion:多模态架构革新中风风险预测

ArXiv AI发布了一种名为MedGate-Fusion的多模态架构,用于中风风险预测。该架构结合了基于Transformer的首次就诊叙述嵌入与十种常规风险标志物,利用加拿大初级保健哨点监测网络(CPCSSN)的电子病历数据,构建了包含…

智客前沿 · 2026-09-24

宾夕法尼亚大学发布新型多模态框架,革新脑癌生存预测

宾夕法尼亚大学的研究团队提出了一种新型的多模态框架,用于预测胶质母细胞瘤(GBM)患者的生存率。该框架结合了Sheaf超图神经网络、概念瓶颈层和扩展充分性测试(EST)正则化技术,通过多模态MRI数据和临床元数据的整合,实现了高准确性与可解…

智客信息 · 2026-09-23

Apple发布LensVLM-9B:9B参数视觉语言模型革新文本压缩图像处理

Apple的研究团队发布了LensVLM-9B,这是一款9B参数的视觉语言模型(VLM),能够扫描压缩文本图像并通过学习工具选择性地扩展相关页面至未压缩形式。该模型旨在优化处理大规模文本图像数据的效率,并提供更精准的上下文理解能力。Lens…

智客前沿 · 2026-09-23

上海AI实验室发布InternW0:首个物理世界模型,革新人机交互效率

上海AI实验室推出InternW0,这是其InternW物理世界模型系列的首个版本。InternW0通过全模态接口、异步多频处理和局部物理建模技术,实现了在部分观测和外部影响下的高效预测与机器人控制。其独特的非对称视频-动作架构结合流匹配技…

智客前沿 · 2026-09-23

Hugging Face发布综述:自回归视频生成中的记忆机制解析

Hugging Face发布了一篇关于自回归(AR)视频生成中记忆机制的系统性综述文章,重点探讨了如何克服生成序列扩展过程中上下文窗口、存储和计算限制的问题。该综述从五个视角(形式、功能、操作、学习和评估)对现有记忆机制进行了分类和深入分析…

智客前沿 · 2026-09-23

AWS发布基于代理架构的对话式视频智能解决方案

AWS推出了一种基于代理架构的对话式视频智能解决方案,通过单一AI代理实时解析用户自然语言问题,并调用Amazon Bedrock、Rekognition和Transcribe等AWS服务进行处理。该方案无需预先构建固定处理流程,可实现视频…

智客信息 · 2026-09-23

TrustedRouter 发布 GEV-1.0:支持图像输入,性能超越 JEV 模型

TrustedRouter 发布了其最新模型 GEV-1.0,该模型不仅在性能上超越了现有的 JEV 模型,还新增了对图像输入的支持。这一突破展示了 GEV-1.0 在处理多模态数据方面的潜力,为 AI 应用提供了更强大的工具支持。GEV-…

智客信息 · 2026-09-23

Nunchux发布视频生成技术:基于AMD MI355X实现5秒视频生成仅需1.3秒

Nunchux宣布在AMD MI355X硬件上实现突破性视频生成技术,将原本需要5秒生成的视频缩短至1.3秒。该技术展示了在高性能硬件上优化视频生成效率的潜力,为AI驱动的视频创作和实时内容生成提供了新的可能性。这一成果不仅提升了视频生成速…

智客信息 · 2026-09-23

GPT-6 Astra发布:AI首次实现自动驾驶能力

DrivingBench网站报道,GPT-6 Astra模型已获得驾驶汽车的能力,标志着AI在自动驾驶领域取得重大突破。这一进展意味着AI不仅能处理复杂的感知与决策任务,还能在真实世界中操控车辆,为自动驾驶技术的发展开辟了新的可能性。GPT…

智客信息 · 2026-09-23

RxFilm Studio发布:AI智能体驱动的视频创作与编辑工具

RxFilm Studio是一款由AI智能体驱动的视频创作与编辑工具,旨在简化视频制作流程。它支持从创意构思、产品网站、图片或现有素材生成完整的视频内容,包括故事结构、剪辑与时间轴、特效、音效、旁白、背景音乐以及字幕与翻译等功能。该工具面向…

智客前沿 · 2026-09-23

arXiv发布MedGate-Fusion:多模态架构革新中风风险预测

arXiv近日发布了一项关于中风风险预测的研究,提出了一种名为MedGate-Fusion的多模态门控架构。该架构结合了基于Transformer的首次就诊叙述嵌入与十种常规风险标记物,通过整合非结构化临床叙述和生物标志物数据,显著提升了中…

智客前沿 · 2026-09-23

arXiv发布Ovis-Embedding:推进通用多模态嵌入技术新前沿

arXiv近日发布了一项关于Ovis-Embedding的研究,这是一种基于文本、图像、视频和音频原生集成的多模态嵌入技术。Ovis-Embedding通过共享多模态骨干网络,在统一表示空间中编码不同模态数据。其三大核心创新包括:原生多模态…

智客前沿 · 2026-09-22

Hugging Face发布StableVQ:提升向量量化训练稳定性的新方法

Hugging Face推出了一种名为StableVQ的新方法,旨在解决现代自回归和掩码图像生成模型中离散视觉tokenizer训练稳定性不足的问题。StableVQ通过动态STE、区域VQ损失和解耦调度等创新机制,显著提升了编码器-解码器…