幻兹快讯
MIT提出权重空间编程:LLM直接修改模型权重提升数学能力
幻兹快讯
2026年11月03日
阅读 2 次

2026年11月2日,麻省理工学院CSAIL团队发布新方法“权重空间编程”。研究人员利用GPT-6 Astra直接读取并修改阿里云Qwen3.5-0.8B模型权重,仅调整0.016%参数(131072个),即在MATH-500测试中准确率从7.9%升至48.1%。该方法绕过梯度下降与反向传播,通过定位MLP层重复推理路径并局部修正实现优化。实验还显示GSM8K与IFEval成绩显著提升,且未新增模型固有知识。研究旨在推动神经网络可解释性与高效微调。

Copyright © 幻兹网 | 幻兹智能 All Rights Reserved粤ICP备2026034579号粤公网安备44030002012995号
☰