How Small Can You Go? A Controlled Study of LoRA Rank, Target Modules, and Quantization Trade-offs for Text-to-SQL on a 60M-Parameter Model
arXiv 论文 2607.25583v1 报告了对 60M 参数 T5-small 模型在 WikiSQL 基准上进行 LoRA 秩、目标模块和量化权衡的受控研究。结果显示，秩为 16 的 LoRA 达到 59.6% 的精确匹配准确率，而全微调为 71.2%，训练参数少于 1%，峰值 GPU 内存减少 31%。秩超过 16 没有带来可测量的准确率提升。
Development
- First ReportHow Small Can You Go? A Controlled Study of LoRA Rank, Target Modules, and Quantization Trade-offs for Text-to-SQL on a 60M-Parameter ModelarXiv cs.AI
- Current Assessment该研究补充了 PEFT 和量化在小型模型上的证据，表明在资源受限场景下，秩为 16 的 LoRA 是成本效益高的选择。这支持了在边缘设备或低预算环境中部署小模型的可行性，但需注意其准确率与全微调仍有差距。Agent Pulse · analysis
该论文对 60M 参数的 T5-small 模型在 WikiSQL 基准上进行了 LoRA 秩、目标模块和数值精度的受控单变量研究。结果表明，秩为 16 的 LoRA 在训练少于 1% 的参数和减少 31% 峰值 GPU 内存的情况下，达到了 59.6% 的精确匹配准确率，而全微调为 71.2%，差距为 11.6 个百分点。秩超过 16 没有带来可测量的准确率提升。研究将适配框架化为约束权衡，而非仅以准确率为目标。
在 60M 参数模型上，LoRA 秩为 16 时达到收益递减点，秩超过 16 无准确率提升，表明小模型存在最优秩。QLoRA 的 INT8 和 NF4 量化在摘要中提及，但具体准确率未给出。该研究为小模型的高效适配提供了经验数据，但结论可能受限于 T5-small 和 WikiSQL 的特定设置。
该研究补充了 PEFT 和量化在小型模型上的证据，表明在资源受限场景下，秩为 16 的 LoRA 是成本效益高的选择。这支持了在边缘设备或低预算环境中部署小模型的可行性，但需注意其准确率与全微调仍有差距。
对于资源受限的团队，该研究提供了在 60M 参数模型上使用 LoRA 秩 16 的量化收益，可降低微调成本和内存需求，但需权衡准确率下降。这有助于在预算有限时做出模型适配决策。
未来可验证的信号包括：在更大模型或更复杂基准上验证秩 16 的最优性，以及量化与 LoRA 组合的进一步研究。若后续研究在更多任务上复现该结果，可能推动小模型适配的标准化实践。