arXiv Artificial Intelligence· Murat Bilgehan Ertan, Xiaochen Zhu, Phuong Ha Nguyen, Marten van Dijk, Srinivas Devadas·· 13 小时前AI 评分38
PACZero：通过符号量化实现语言模型的 PAC 隐私微调
PACZero: PAC-Private Fine-Tuning of Language Models via Sign Quantization
AI 导读
PACZero 提出一族基于 PAC Privacy 的零阶微调机制，将每次更新量化为单个比特（训练数据秘密子集上零阶更新的符号），在候选子集符号一致的步骤可零 MI 成本释放该比特，其余步骤则通过按每步 MI 预算校准的噪声信道传输。
推荐理由模型分析
PACZero 把 PAC Privacy 引入大模型零阶微调：将每次更新量化为符号位，多数步无需泄露信息，少数步经噪声信道发布，并给出零互信息下成员推断成功率不超过 50% 的界。作者在 SST-2、SQuAD 上以 1.3B–8B 模型、LoRA 与全参微调验证，零预算版本据称距非隐私零阶微调约 2 个百分点。适合关注隐私微调与 MIA 评测的研究者对照其信道设计与实验条件。
来源：arXiv Artificial Intelligence · arxiv.org