滑铁卢大学开源ProgramAsWeights:实现自然语言到本地神经程序的编译
文 / Mr.Xu 社区投稿
发布时间: · 8 次阅读
摘要:滑铁卢大学的研究团队开源了ProgramAsWeights(PAW),这是一个将英语函数描述编译为可在本地运行的神经程序的项目。PAW通过分离编译与推理过程,利用大型模型生成特定任务的权重,再由小型模型执行任务,从而实现高效且可重复使用的本地化程序运行。该项目旨在推动AI工具构建的创新,让开发者能够通过自然语言描述生成可集成的神经网络程序。
项目背景与目标
ProgramAsWeights(PAW)是由滑铁卢大学开发的一个开源研究项目,旨在通过自然语言描述生成可重复使用的神经程序,并支持本地运行。其核心思想是将编译过程与推理过程分离,利用大型模型生成特定任务的权重,再由一个较小的解释器模型执行任务。
技术实现
PAW的技术架构包括以下关键组件:
- 编译器:使用微调的Qwen3-4B模型生成LoRA适配器,用于冻结的Qwen3-0.6B解释器模型。
- 神经程序:包含两个部分——一个针对任务的LoRA适配器和一个伪程序(清理后的任务描述和少量输入/输出示例)。
- 训练过程:通过任务描述、输入和输出的三元组训练编译器,使其能够从任务描述和伪程序生成适配器,并最大化给定输入的正确输出概率。
主要优势
- 本地化运行:编译后的程序可以在本地运行,无需依赖外部API,提升了运行效率和隐私性。
- 可重用性:生成的神经程序可以保存、分发,并与普通代码组合使用。
- 高效性:编译过程仅需几秒钟,且在处理新输入时不再需要更大的编译器模型。
实验结果
PAW在FuzzyBench数据集上的表现优于直接提示的Qwen3-32B模型,0.6B解释器模型的精确匹配准确率达到73.4%。此外,PAW还引入了“通过训练进行编译”的模式,通过微调生成的适配器进一步提升语义准确率至83.6%。
应用场景与未来展望
PAW展示了AI在工具构建领域的潜力,未来有望成为开发者描述需求并生成可集成程序的重要工具。其应用场景包括自动化任务处理、复杂函数生成以及跨平台程序编译等。
开发者建议
建议开发者从编写小型验证集开始,编译规范并检查错误,然后根据需要修订规范或尝试微调编译器。PAW的长期愿景是让大型模型成为工具构建者,通过描述所需功能生成小型神经程序,并将其集成到自己的软件中。
结论
PAW代表了AI技术在程序生成和本地化运行方面的创新,为开发者提供了更高效、更灵活的解决方案,推动了AI与软件开发领域的深度融合。
—— 完 ——消息来源:Reddit r/MachineLearning (2026-09-19)
主题标签: #ProgramAsWeights #开源AI #自然语言处理 #神经程序编译 #滑铁卢大学
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区