最新模子增量压缩时刻，一个80G 的 A100 GPU简略甘休加载多达50 个 7B 模子，从简显存约 8 倍，同期模子性能险些与压缩前的微调模子至极。

清华大学 NLP 执行室联袂 OpenBMB 开源社区、北京大学和上海财经大学的参议团队，建议Delta-CoMe。

这项时刻的中枢在于行使骨干模子与任务专用模子之间参数增量（即 Delta）的特质进行压缩，从而竣事有储支出和部署资本的大幅缩小。不仅有助于搞定资源瓶颈问题，更为多任务处理和模子部署开荒新的可能。

具体而言，Delta-CoMe 将低秩剖判和低比特量化时刻相结合，充分行使 Delta 参数的低秩秉性，建议了一种全新的搀杂精度压缩身手。这种身手不仅简略竣事接近无损的任务性能，还能显耀普及推理着力。

Delta-CoMe 本预先容

微调是增强预磨砺模子的遑急技能，不同任务每每需要不同的微调格式。举例 Luo et al. [ 1 ] 建议 RLEIF 通过 Evove-instruction 来增强模子数学推理才略；Wei et al. [ 2 ] 行使 Code snnipet 合成高质料的教唆数据来增多模子的代码才略。关联词，这些身手频繁依赖高质料数据，并需要全心遐想的政策智力竣事显耀的成果。

在一些场景中每每需要具有不同才略的 LLM 同期处理问题，举例多田户场景，多任务场景以及端侧场景等等。一种当然的搞定决策是部署单个通用模子算作骨干，联结多个具有颠倒才略的 Delta。

以 Bitdelta [ 3 ] 为例，它通过将模子的 Delta 压缩到 1-bit，有用保留了模子在问答等场景中的才略。尽管该压缩身手在存储和推理着力上弘扬出色，其在更复杂的任务（如数学推理和代码生成）上仍存在显著的才略瓶颈。

针对这一挑战，THUNLP 执行室纠合北京大学和上海财经大学建议 Delta-CoMe。这一身手结合低秩剖判和低比特量化时刻，不仅显耀普及了模子在复杂任务上的弘扬，还兼顾了压缩着力和本体应用需求，为模子的高效部署提供了一种新念念路。

与前东谈主的身手比较，Delta-CoMe 身手的优点在于：

结合低秩与低比特量化，行使了 Delta 低秩的特质，并发现低秩剖判后的 Delta 是长尾散播的；之后摄取搀杂精度量化进一步压缩

性能险些无损，比较于 BitDelta 等身手，在 Math, Code, Multi-modal 等复杂任务上，性能与压缩前的微调模子弘扬基本接近

推理速率普及，为搀杂精度量化竣事了 Triton kernel 算子，对比 Pytorch 的竣事格式，带来近 3 倍的推理速率普及

跨越 Delta-tuning，撑握多精度 Backbone，Delta-CoMe 在成果上显耀优于 LoRA 微调，并不错用在多种精度的 Backbone 上

具体而言，Delta-CoMe 领先摄取 SVD 进行低秩剖判，Delta 具有低秩性，经由低秩剖判之后，其特征值呈现出长尾散播的端正，仅有少数较大奇异值对应的奇异向量对最终的限度孝顺较大。

一个当然的认识，咱们不错凭证奇异值的大小进行搀杂精度量化，将较大的奇异值对应的奇异向量用较高精度暗示，而较小的奇异值对应的奇异向量用较低精度暗示。

执行限度

多个开源模子和 Benchmark 的执行考证了该身手的有用性。

使用 Llama-2 算作骨干模子，在数学、代码、对话、多模态等多个任务中进行执行，Delta-CoMe 展现出平均险些无损的性能。底下分手是 7B 模子和 13B 模子的执行成果。

此外，还在 Mistral、Llama-3 等其它骨干模子上对不同的压缩身手进行了考证。

为了普及搀杂精度量化的测度打算着力，竣事一个 Triton Kernel，比较于 Pytorch 的竣事格式，推理速率普及了约 3 倍。

执行限度标明，使用一块 80G 的 A100 GPU 不错加载 50 个 7B 模子。

终末，还比较了 Delta-Tuning 和 Delta-Compression 的成果互异（Delta-Tuning 指的是通过磨砺部分参数进行微调，Delta-Compression 指的是先进行全参数微调，再将微调带来的模子参数增量进行压缩）。其中 Delta-Tuning 摄取的是 LoRA。Delta-CoMe 对比 LoRA 在疏导的存储支出下，性能显耀普及。

Delta-CoMe 通过结合低秩剖判和低比特量化，不仅竣事了大幅度的存储压缩，还在复杂任务如数学推理、代码生成和多模态任务上保管了与压缩前模子至极的性能弘扬。比较于传统的微调身手，Delta-CoMe 展现出了更高的活泼性，尤其在多田户和多任务场景中具有显耀的应用价值。此外，借助 Triton kernel 的优化，推理速率获得了显耀普及，使得部署大限制模子成为可能。已往，这一身手的后劲不仅在于进一步优化模子存储和推理速率，也有望在更等闲的本体应用中激动大谈话模子的普及和高效运作。

参考文件

[ 1 ] Yu, L., Jiang, W., Shi, H., Jincheng, Y., Liu, Z., Zhang, Y., Kwok, J., Li, Z., Weller, A., and Liu, W.Metamath: Bootstrap your own mathematical questions for large language models. In The Twelfth International Conference on Learning Representations, 2023.

[ 2 ] Luo, Z., Xu, C., Zhao, P., Sun, Q., Geng, X., Hu, W., Tao, C., Ma, J., Lin, Q., and Jiang, D. Wizardcoder: Empowering code large language models with evol-instruct. arXiv preprint arXiv:2306.08568, 2023b

[ 3 ] Liu, J., Xiao, G., Li, K., Lee, J. D., Han, S., Dao, T., and Cai, T. Bitdelta: Your fine-tune may only be worth one bit. arXiv preprint arXiv:2402.10193, 2024b.

Paper 流畅：https://arxiv.org/abs/2406.08903

Github 流畅：https://github.com/thunlp/Delta-CoMe

—  完  —

投稿请发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 姿色主页流畅，以及关联格式哦

咱们会（尽量）实时回应你

点这里� � 关怀我，难忘标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日再见 ~  

---