本文作者来自复旦大学、上海交通大学和上海人工智能实验室。一作江书洋为复旦大学和实验室联培的博二学生，目前是实验室见习研究员，师从上海交通大学人工智能学院王钰教授。本文通讯作者为王钰教授与张娅教授。 低秩适配器（LoRA）能够在有监督微调中以约 5% 的可训练参数实现全参数微调 90% 性能。然而，在 LoRA 训练中，可学习参数不仅注入了知识，也学习到了数据集中的幻觉噪声。因为这种特性的存在，大多数的 LoRA 参数都将可学习秩设置为一个较小的值（8 或者 16），通过减小知识学习程度来避免幻觉，而这也限制了…