跳到主内容
智客 ZICQ

智客专题 多模态与视频生成专题

多模态与视频生成专题

文生图 / 文生视频 / 语音克隆 / 多模态理解的模型横评与生产实践,覆盖 Sora / Veo / Kling / Suno 与开源多模态栈。

· 2026年9月15日 #多模态AI#视频生成#图像生成#多模态#语音生成#语音克隆#Sora#Veo#Kling#可灵#Suno · 30 / 638 篇内容

智客前沿 · 2026-09-17

Hugging Face发布RefineEdit:革新无训练提示图像编辑技术

Hugging Face推出了一种名为RefineEdit的无训练提示图像编辑框架,基于生成式优化网络(Generative Refinement Network)。该技术通过全局优化二进制图像编码,将编辑定位与内容生成相结合,允许在图像演…

智客前沿 · 2026-09-17

WeVisDoc发布:革新端到端文档解析框架,显著提升鲁棒性与性能

WeVisDoc是一种新型的两阶段数据驱动框架,旨在提升端到端文档解析的鲁棒性和准确性。该框架通过异构数据生成和结构保持的退化合成技术扩展语义、结构与外观覆盖范围,并通过诊断性探测机制优化解析器性能。在OmniDocBench v1.6和P…

智客前沿 · 2026-09-17

MiniMax发布Video DeltaNet:革新直播视频生成效率

MiniMax推出了Video DeltaNet (VDN),一种针对直播视频生成优化的混合注意力机制模型。VDN结合了局部Softmax注意力机制和双向线性记忆,以处理长距离视频上下文。其线性分支引入了视频增量注意力(VDA),每帧更新一…

智客信息 · 2026-09-17

Pangram发布AI检测器:文本与图像内容识别新工具

Pangram推出了一款针对文本和图像的AI检测工具,旨在帮助用户识别和区分AI生成内容与人类创作内容。该工具通过先进的AI算法,能够高效地检测文本或图像中的AI生成痕迹,为内容创作者、研究人员及平台提供可靠的内容验证支持。随着AI生成内容…

智客前沿 · 2026-09-16

LlamaIndex发布LlamaParse:革新智能文档处理平台

LlamaIndex推出了一款名为LlamaParse的智能文档处理平台,通过创新的代理式架构解决了传统IDP系统在文档多样性、非文本内容处理以及生产环境准确性方面的痛点。LlamaParse采用LLM编排层分析文档内容,并结合OCR、视觉…

智客信息 · 2026-09-16

Mistral发布ZAI-GLM 5.3:新一代AI模型上线

Mistral宣布其新一代AI模型ZAI-GLM 5.3正式上线。该模型在语言理解、生成能力以及多模态处理方面实现了显著提升,旨在为用户提供更强大的AI支持。ZAI-GLM 5.3的发布标志着Mistral在AI技术领域的持续创新,为开发者…

智客信息 · 2026-09-16

AI智能体能否实现代码库迁移?Kevin Scott深度探讨

本文探讨了AI智能体在代码库迁移中的潜力与挑战。Kevin Scott通过分析现有AI技术在代码理解和代码生成方面的能力,提出了智能体在处理复杂代码库迁移任务中的可能性。文章深入讨论了智能体如何理解代码结构、识别依赖关系以及生成可执行的代码…

智客信息 · 2026-09-16

Google发布Gemini 3.8:新一代AI模型上线

Google于2026年9月16日正式发布了新一代AI模型Gemini 3.8。该模型在性能、效率和功能方面实现了显著提升,旨在为开发者提供更强大的AI工具。Gemini 3.8通过优化推理速度和资源利用效率,进一步降低了AI应用的成本,同…

智客前沿 · 2026-09-15

PhysStream:支持细粒度物理控制的物理驱动视频生成模型发布

PhysStream是一款由CZZZ研究团队开发的物理驱动视频生成模型,旨在解决现有可控视频生成方法中依赖预定义控制计划或像素空间信号的问题。该模型通过结构化场景记忆(在线生成的位姿图和目标跟踪图)和稀疏速度增量信号,实现对多目标刚性场景的…

智客前沿 · 2026-09-15

ModAR:首个多模态自回归世界行为模型发布,显著提升AI预测性能

ModAR 是首个多模态自回归世界行为模型(WAM),通过自回归去噪多个未来模态(如深度图、DINO特征、点轨迹等),并基于这些模态预测未来行为。该模型在训练中系统研究了训练数据混合、预测模态和WAM公式对性能的影响,展示了其在预测点轨迹、…

智客前沿 · 2026-09-14

PhysBrain 1.5发布:统一物理环境理解与行动生成模型实现开源新突破

PhysBrain 1.5是一款旨在理解物理环境、生成行动并预测未来状态的多模态统一模型。该模型通过将语言响应、末端执行器运动和视觉目标编码为离散序列,并使用自回归的下一个词预测进行联合优化,实现了从观察、交互到环境变化的物理循环学习闭环。…

智客信息 · 2026-09-14

ArXiv发布LAMAE:多模态心脏表示学习新突破

ArXiv发布了一种名为LAMAE的新型多模态掩码自编码器,用于心脏疾病的跨模态表示学习。该模型通过共享潜在注意力模块,在潜在空间内直接交换信息,聚合多模态数据并处理缺失模态。在超过120万次MIMIC-IV住院数据上的预训练中,LAMAE…

智客前沿 · 2026-09-14

arXiv 发布 FINESSE:多模态金融事件序列模拟与基准数据集

arXiv 推出了名为 FINESSE 的金融事件序列模拟环境,这是一个基于代理的仿真框架,用于生成由多个相互依赖的事件流组成的合成结构化数据集。该框架支持对金融行为(如交易、支付、账户状态变化和政策干预)进行复杂交互的模拟,并生成支持四种…

智客信息 · 2026-09-14

Imageaicraft 发布 GPT Image 2:多模态 AI 图像生成与编辑工具

Imageaicraft 推出了一款名为 GPT Image 2 的 AI 图像生成与编辑工具,支持文本生成图像和图像生成图像两种模式。该工具基于 GPT 技术,旨在为用户提供更高效、更智能的图像创作体验。GPT Image 2 的发布标志…