BrainLoRA：基于参数高效微调（PEFT）的脑编码模型实现突破

摘要：BrainLoRA是一种基于参数高效微调（PEFT）的新方法，用于脑编码任务。该方法通过使用低秩适配器（LoRA）和轻量级输出层，在不依赖大量可训练参数的情况下，显著提升了大规模预训练模型在脑编码任务中的性能。BrainLoRA在Qwen3-Omni骨干模型上实现了Algonauts 2025挑战的最新SOTA性能，并展示了其在多模态骨干模型上的广泛适用性。此外，研究团队开发了多LoRA内核以加速模型集成训练，并在公共排行榜上排名第一。

---

1. 背景与挑战

脑编码模型旨在预测大脑对刺激的神经反应。传统方法通常依赖于冻结的预训练骨干模型进行特征提取，并使用少量可训练参数进行输出适配。然而，使用神经数据从头训练或完全微调大型模型面临巨大挑战，因为神经数据昂贵且有限。

2. BrainLoRA的核心突破

BrainLoRA通过参数高效微调（PEFT）技术解决了这一问题。其主要创新点包括：

• 低秩适配器（LoRA）：通过在预训练模型中注入少量可训练参数，显著降低训练成本，同时保持模型性能。
• 单次多时间点预测：利用骨干模型的因果结构，在单次前向传递中预测多个时间点，避免了滑动窗口带来的计算开销。
• 多模态骨干模型支持：该方法适用于多达1040亿参数的多模态骨干模型，是目前已知最大的脑编码适配模型。

3. 实验与结果

在九个不同的多模态骨干模型上，BrainLoRA均表现出稳定的性能提升。在与之前SOTA方法相同的Qwen3-Omni骨干模型上，BrainLoRA在Algonauts 2025挑战中取得了最佳公开性能。此外，BrainLoRA还展示了其对模态归因的鲁棒性，能够恢复传统方法通过单模态编码器构建的典型感觉地形图，并增强了音频输入和跨模态混合的贡献。

4. 扩展与优化

为了扩展适配模型的数量，研究团队开发了多LoRA内核，显著加速了多个LoRA在共享骨干模型上的联合训练。这使得BrainLoRA能够支持200多个适配模型的集成训练，并在公共排行榜上排名第一。

5. 结论与展望

BrainLoRA展示了PEFT在脑编码任务中的强大潜力。其高效的训练过程和优异的性能表现，使其成为脑科学和神经工程领域的重要工具。未来，研究团队计划进一步优化多LoRA内核，并探索其在更大规模模型和更复杂任务中的应用。

---

消息来源：Hugging Face Daily Papers (2026-10-19)

—— 完 ——

主题标签： #BrainLoRA 关注 #PEFT 关注 #脑编码 关注 #多模态模型 关注 #Hugging Face 关注