Differensial Məhfili Tutorialu: DP‑SGD, DP‑SAM və Təhlükəsiz Toplama İzahlı
Müəllif: Wendy Frey
Differensial Məhfili (DP), istifadəçi məlumatlarının qorunmasının seçmə deyil, tələb olduğu müasir maşın öyrənmə sistemlərinin əsas tikinti bloku halına gəlib. Güvənə etibar etmək əvəzinə, DP fərdi məlumat nöqtələrinin son modelə əhəmiyyətli dərəcədə təsir etmədiyini riyazi cəhətdən təmin edir.
Daha sadə ifadə ilə, bir istifadəçi məlumatı silinsə və ya dəyişdirilsə, modelin çıxışı demək olar ki, eyni qalmalıdır.
Bu fikir adətən iki parametr vasitəsilə formalizə edilir:
- ε (epsilon), fərdi məlumat haqqında nə qədər informasiya sızdırıla bilər (aşağı daha yaxşıdır)
- δ (delta), təminatın tam olaraq doğrulmaya biləcəyi kiçik bir ehtimal
Gerçək dünyadakı ML-də çətinlik DP-nin tərifi deyil, onun model performansını məhv etmədən səmərəli işləməsini təmin etməkdir.
DP-SGD: Differensial Məhfili üçün Əsas Alət
Ən praktik DP sistemləri DP-SGD (Differensial Məhfili Stokastik Qradient Enmə) əsasında qurulub. Bu, standart SGD-ni iki əsas şəkildə dəyişdirir.
DP-SGD necə işləyir
Hər bir təlim nümunəsindən olan xam qradientləri birbaşa istifadə etmək əvəzinə, DP-SGD:
- Qradientlərin kəsilməsi, hər hansı bir nümunənin təsirini məhdudlaşdırır
- Səs əlavə etmə, fərdi töhfələri gizlətmək üçün Qaus səsi əlavə edir
Bu birləşmə, heç bir tək məlumat nöqtəsinin öyrənmə prosesinə hakim ola bilməməsini təmin edir.
DP-SGD-də əsas parametrlər
| Parametr | Nəyi idarə edir | Niyə əhəmiyyəti vardır |
|---|---|---|
| Kəsmə norması | Hər bir nümunəyə maksimum qradient ölçüsü | Çıxıntıların yeniləmələri domin etməsinin qarşısını alır |
| Səsin əmsalı | Əlavə olunan Qaus səsinin miqdarı | Birbaşa məxfilik-benefit ticarətini təsir edir |
| Nümunə götürmə dərəcəsi | Hər addımda məlumatın fraksiyası | Məlumatın istehlakını təsir edir |
| Epoxalar | Təlim dövr sayısı | Daha çox epox= daha çox məxfilik xərci |
Bir vacib praktiki qeyd: epsilon “intuisiya ilə seçilən” bir şey deyil. Bu, məxfilik hesabatçısı istifadə edilərək hesablanır, bu da təlim müddətində birikmiş məxfilik itkisini izləyir.
Təhlükəsiz Toplama vs Differensial Məhfili
Bu iki anlayış tez-tez qarışıqlığa səbəb olur, lakin fərqli problemləri həll edir. Təhlükəsiz Toplama məlumatları məlumat ötürülməsi zamanı qoruyur, fərdi Məhfili isə son model çıxışını qoruyur.
| Xüsusiyyət | Təhlükəsiz Toplama | Differensial Məhfili |
|---|---|---|
| Nəyi qoruyur | Müştəri yeniləmələri yolda | Modeldən informasiya sızması |
| Nə zaman tətbiq olunur | Kommunikasiya zamanı | Təlimdən sonra |
| Əsas məqsəd | Fərdi qradientləri gizlətmək | Hər hansı bir istifadəçinin təsirini məhdudlaşdırmaq |
| Təhlükə modeli | Server yalnız toplanmış məlumatı görür | Model çıxışı informasiya sızdırmamalıdır |
İstehsal sistemlərində isə bunlar tez-tez birlikdə istifadə olunur:
Təhlükəsiz Toplama + DP = daha güclü uçtan uca məxfilik
DP-SAM: Məhfili İdarə Edərkən Dəqiqliyi Artırmaq
DP-SGD-nin ən böyük çatışmazlıqlarından biri səs səbəbindən performansın pisləşməsidir. Burada DP-SAM (Differensial Məhfili üçün Kəskinliyi Qavrama Minimallaşdırması) meydana çıxır.
DP-SAM arxasında duran fikir sadə, ancaq güclüdür: təlim prosesini kəskin minimumlarda (həssas bölgələr) yerinə yetirmək yerinə, optimallaşdırmanı səngin minimumlara doğru yönləndirir, burada model daha stabil olur.
Bu, aşağıdakı səbəblərdən faydalıdır:
- səsin təsiri səngin bölgələrdə daha azdır
- model DP məhdudiyyətləri altında daha yaxşı generalizasiya edir
- dəqiqlik itkisi standart DP-SGD ilə müqayisədə azaldılır
Ticarət, hesablamalı xərclərdir, çünki SAM tərzindəki təlim əlavə optimallaşdırma addımlarını tələb edir.
Müqayisə: DP-SGD vs DP-SAM
| Cəhət | DP-SGD | DP-SAM |
|---|---|---|
| Məhfili təminatı | Güclü | Güclü |
| Optimallaşdırma məqsədi | Standart təlim | Səngin minimum optimallaşdırması |
| DP altında dəqiqlik | Tez-tez aşağı | Adətən yüksək |
| Hesablama xərci | Aşağı | Yüksək |
| Ən yaxşı istifadə nümunəsi | Təməl DP təlimi | İstehsal keyfiyyətli DP modelləri |
DP Təlimi üçün Praktiki İş Prosesi
Gerçək tətbiqlərdə DP-nin həyata keçirilməsi daha çox nəzəriyyə ilə deyil, diqqətli tənzimləmə və izləmə ilə bağlıdır.
Tipik iş prosesi belə görünür:
- Məhfili hədəfini müəyyən edin (ε, δ)
- DP-SGD ilə əsas modeli təlim edin
- Məlumatın faydası ilə məxfilik arasında ticarəti qiymətləndirin
- Təhlükəsiz Toplamanı tətbiq edin (əgər federasiyalı quruluş varsa)
- Dəqiqlik kifayət etmədikdə DP-SAM ilə təcrübə aparın
- Son təsdiq üçün məxfilik hesabatçısından istifadə edin
- Uyğunluq və auditi üçün nəticələri sənədləşdirin
Son Nəticə
Differensial Məhfili tək bir texnika deyil, bir sistem dizayn yanaşmasıdır.
DP-SGD təməli təmin edir, Təhlükəsiz Toplama infrastrukturun təhlükəsizliyini gücləndirir və DP-SAM isə məxfilik səsi çox bahalı olduqda performansı bərpa etməyə kömək edir.
Praktikada, əksər real dünya sistemləri tək bir üsuldan izolyasiyalı olaraq daha çox üçünün birləşməsinə əsaslanır.
