Ялгавар нууцлалын заавар: DP-SGD, DP-SAM, ба аюулгүй агрегатчиллын тайлбар
Зохиогч: Wendy Frey
Ялгавар нууцлал (DP) бол орчин үеийн машин сургалтын системүүдэд хэрэглэгчийн өгөгдлийг хамгаалахад шаардлагатай ядрагийн үндсэн элемент боллоо. Найдвартай байхыг хүлээснээс зүгээр, DP нь хувь хүний өгөгдөлд нөлөөлөхгүй байдлыг математик аргаар баталгаажуулдаг.
Энгийнээр тайлбарлавал, нэг хэрэглэгчийн өгөгдлийг устгасан эсвэл өөрчилсөн ч, загварын үр дүн бараг ижил байх ёстой.
Энэ санааг ихэвчлэн хоёр параметрээр тодорхойлдог:
- ε (эпсилон), хувь хүний талаарх ямар хэмжээний мэдээлэл алдагдах боломжтой (багасах нь дээр)
- δ (дельта), баталгааны утга төгс үйлчлэхгүй байх жижиг магадлал
Жинхэнэ ертөнцөд ML-д хийх ч challenge нь DP-ийг тодорхойлох биш, харин загварыг үйл ажиллагааг алдагдуулахгүйгээр үр дүнтэй ажиллуулах юм.
DP-SGD: Ялгавар Нууцлалын Морь
Ихэнх практик DP системүүд нь DP-SGD (Ялгавар Нууцлалтай Статистик Градент Доогуур Залгах) дээр суурилдаг. Энэ стандарт SGD-г хоёр гол үндсэн аргаар модификацлана.
DP-SGD хэрхэн ажилладаг вэ
Дээрх сургалтын жишээнүүдийн газрын гүний градиентуудыг шууд ашиглахын оронд, DP-SGD:
- Градиентын зогсоол, аливаа нэг жишээний нөлөөллийг хязгаарлах
- Шуугиан нэмж оруулах, хувь хүний хувь нэмрийг нууцлахад Гауссийн шуугиан нэмж оруулна
Энэ хослол нь нэг өгөгдлийн цэг хичнээн чухал болохыг хязгаарлахад тусалдаг.
DP-SGD-д гол параметрууд
| Параметр | Юуг хянадаг вэ | Яагаад чухал вэ |
|---|---|---|
| Зогсоолын норм | Жишээнд их хэмжээний градиентын хэмжээ | Гомдолтой жишээнүүдийг шинэчлэлийн хувьд хэзээ ч тодруулж болохгүй |
| Шуугианы үржүүлэгч | Нэмж оруулахаар зогсож буй Гауссын шуугианы хэмжээ | Нууцлалын ашиг тусын худалдааны нөлөөлөлд шууд нөлөөлдөг |
| Дэвшлийн хувь | Алхам тутамд өгөгдлийн хувийн хэмжээ | Нууцлалын төсвийг шууд хязгаарладаг |
| Эпох | Сургалтын тууштай давтамж | Олон дүрс = их нууцлалын зардал |
Нэг чухал практик анхаарал: эпсилон нь таамагласан зүйл биш. Энэ нь сургалтын явц дахь нууцлалын алдагдлыг тооцох нууцлалын нягтлан ашиглан тооцоологддог.
Аюулгүй агрегатчлал ба ялгавар нууцлал
Эдгээр хоёр ойлголт ихэвчлэн андуурдаг боловч тэдгээр нь өөр өөр асуудлуудыг шийддэг.
Аюулгүй агрегатчлал нь өгөгдлийг дамжуулах явцад хамгаалдаг, харин ялгавар нууцлал нь төгсгөлийн загварын гаралтыг хамгаалдаг.
| Онцлог | Аюулгүй агрегатчлал | Ялгавар нууцлал |
|---|---|---|
| Юуг хамгаалдаг вэ | Клиентын шинэчлэлтүүд дамжуулж буй үед | Загвараас мэдээлэл алдагдах |
| Хэзээ хамаарна | Холбоосын үеэр | Сургалтын дараа |
| Гол зорилго | Нэг бүрийн градиентуудыг нууцлах | Аль нэг хэрэглэгчийн нөлөөллийг хязгаарлах |
| Аюул занал | Сервер зөвхөн агрегатчлагдсан өгөгдлийг харна | Загварын гаралт мэдээллийг алдагдуулахгүй |
Үйлдвэрлэлийн системд тэдгээрийг хамтдаа ашигладаг:
Аюулгүй агрегатчлал + DP = эрч хүчтэй эцсийн нууцлал
DP-SAM: Нууцлалын нөхцөлд нарийвчлалыг нэмэгдүүлэх
DP-SGD-ийн хамгийн том сул тал бол шуугианаас үүдсэн гүйцэтгэл бууралт юм. Энд DP-SAM (Ялгавар Нууцлалтай Шарлатныг Анхаарах Минимум) орж ирдэг.
DP-SAM-ийг хөгжүүлэх санаа нь энгийн боловч хүчирхэг:
Загварыг хурц минимум (чухал бүс) дотор сургалтад оруулахын оронд, оптимизацийн зүгээр гадаргуугийн минимум рүү түлхдэг, учир нь загвар илүү тогтвортой байдаг.
Энэ нь тусалдаг, учир нь:
- шуугиан гадаргуугийн бүсэд бага нөлөөлдөг
- загвар нь DP хязгаарлалуудын дор илүү сайн хамааруулах
- стандарт DP-SGD-д харьцуулбал нарийвчлалын хохирол буурна
Энэ бол компьютерын зардал, учир нь SAM хэв маягийн сургалт нь нэмэлт оптимизацийн алхмууд шаарддаг.
Сравнение: DP-SGD vs DP-SAM
| Талбар | DP-SGD | DP-SAM |
|---|---|---|
| Нууцлалын баталгаа | Хүчтэй | Хүчтэй |
| Оптимизацийн зорилго | Стандарт сургалт | Гадаргуугийн минимум оптимизац |
| DP-д нарийвчлал | Ихэвчлэн бага | Ихэвчлэн өндөр |
| Компьютерийн зардал | Бага | Илүү их |
| Шилдэг ашиглалтын тохиолдол | Суурь DP сургалт | Үйлдвэрийн чанартай DP загварууд |
DP сургалтын практик үйл явц
Жинхэнэ хэрэгжүүлэлтэд DP-г гүйцэтгэх нь онолын талаас илүү нарийн тохиргоо болон хяналтандаа төвлөрдөг.
Гадны ажилд дараах алхамуудыг дагаж мөрдөнө:
- Нууцлалын зорилгыг тодорхойлох (ε, δ)
- DP-SGD-тай суурь загварыг сургалтанд оруулах
- Ашиг тус ба нууцлалын худалдааны хэмжээг үнэлэх
- Аюулгүй агрегатчлал хэрэглэх (федерал бүтцийг тооцоолох)
- Нэрлэмж хангалттай бол ДП-SAM-ийг туршиж үзэх
- Сүүлчийн баталгаажуулалтад нууцлалын нягтлан ашиглах
- Дүгнэлтүүдийг хуваалцах ба хяналтыг хадгалах
Сүүлийн орхилт
Ялгавар нууцлал бол нэгэн арга барил биш, харин системийн дизайны хандлага юм.
DP-SGD нь үндсийг тавьж өгдөг, аюулгүй агрегатчлал нь инфра бүтцийн аюулгүй байдлыг бэхжүүлдэг, DP-SAM нь нууцлалын шуугиан хэтэрсэн үед гүйцэтгэлийг сэргээхэд тусалдаг.
Практикт, жинхэнэ системүүдийн ихэнх нь эдгээр гурвын хослолыг ашигладаг бөгөөд тусгайлан нэг арга хэрэгсэл дээр ялган үндэс суурь тавьдаггүй.
