PD-GS：音素驱动的3D高斯泼溅模型，精准提升数字人唇形同步与语言保真度

摘要：arXiv发布了一项关于AI驱动说话头生成的研究，提出了名为PD-GS（Phoneme-Driven Gaussian Splatting）的新方法。该方法通过引入时间对齐的音素令牌，并设计语言融合模块（LFM）自适应融合音频与音素信息，解决了传统3D高斯泼溅（3DGS）方法中唇部运动过平滑和“漏嘴”伪影问题。实验结果表明，PD-GS在HDTF基准上实现了最佳的唇形几何表现，并显著减少了发音闭合违规现象，生成更符合语言学的虚拟形象，为高保真数字人驱动提供了新的技术路径。

---

核心突破

PD-GS（Phoneme-Driven Gaussian Splatting）是一种创新的AI驱动说话头生成方法，旨在解决传统3D高斯泼溅（3DGS）方法中存在的唇部运动过平滑和“漏嘴”伪影问题。以下是主要技术亮点：

• 音素驱动的语言融合模块（LFM）：通过引入时间对齐的音素令牌，并设计LFM自适应融合连续音频与离散音素嵌入，模型能够在保持音频驱动动态的同时，强化对关键发音段的音素引导。
• 单目视频训练：PD-GS仅使用单目视频进行训练，通过图像重建和唇部关键点监督实现高效学习。
• 性能提升：在HDTF基准测试中，PD-GS实现了最佳的唇形几何表现（LMD 2.66），并显著减少了发音闭合违规现象，生成更符合语言学的虚拟形象。

技术解析

PD-GS的核心创新在于其语言融合模块（LFM），该模块能够将音频驱动的连续动态与音素驱动的离散信息进行有效融合。具体来说，LFM通过一个可学习的门控机制，根据当前音频上下文自适应地调整音素嵌入的权重，从而在保证平滑度的同时，提升对关键发音事件的准确性。

此外，PD-GS的训练过程完全依赖于单目视频数据，这使得该方法在实际应用中更具可扩展性和成本效益。

行业影响

PD-GS的提出为高保真数字人动画领域带来了新的突破，特别是在以下方面具有重要意义：

• 影视与游戏制作：提升虚拟角色的唇形同步和语言保真度，增强沉浸感。
• 虚拟助手与客服机器人：提供更自然、更准确的语音和视觉交互体验。
• 教育与培训：通过更真实的虚拟形象，提升在线教育和培训的效果。

开发者建议

对于开发者而言，PD-GS提供了一种新的技术路径，可以考虑将其集成到现有的3DGS框架中，以提升说话头生成的性能。同时，开发者可以探索将LFM模块应用于其他需要音频与视觉融合的任务，如视频生成和虚拟现实。

结论

PD-GS展示了音素驱动方法在提升AI驱动说话头生成质量方面的巨大潜力。随着技术的不断进步，未来的研究可以进一步优化LFM模块，并探索其在更多应用场景中的可能性。

—— 完 ——

主题标签： #音素驱动 关注 #3D高斯泼溅 关注 #数字人 关注 #唇形同步 关注 #语言融合 关注