Differencialinė privatumas: DP‑SGD, DP‑SAM ir saugi agregacija paaiškinta
Autorius: Wendy Frey
Diferencialinė privatumas (DP) tapo pagrindine sudedamąja dalimi šiuolaikinėse mašininio mokymosi sistemose, kur vartotojų duomenų apsauga nėra pasirinkimo galimybė, o reikalavimas. Vietoj to, kad remtųsi pasitikėjimu, DP suteikia matematinę garantiją, kad atskiri duomenų taškai neturi reikšmingos įtakos galutiniam modeliui.
Paprasčiau tariant, net jei vieno vartotojo duomenys bus pašalinti arba pakeisti, modelio išvestis turėtų likti beveik tokia pati.
Ši idėja paprastai formalizuojama per du parametrus:
- ε (epsilon), kiek informacijos apie atskirą asmenį gali nutekėti (mažesnis yra geriau)
- δ (delta), nedidelė tikimybė, kad garantija gali nevisiškai veikti
Realiame ML iššūkis nėra DP apibrėžimas, o efektyvus jo veikimas, nesugadinant modelio našumo.
DP-SGD: Diferencialinės privatumo darbo arklys
Dauguma praktinių DP sistemų yra sukurtos remiantis DP-SGD (Diferencialinė privatumo stochastinis gradientų nusileidimas). Jis modifikuoja standartinį SGD dviem pagrindiniais būdais.
Kaip veikia DP-SGD
Vietoj to, kad tiesiogiai naudotų žalius gradientus iš kiekvieno mokymo pavyzdžio, DP-SGD taiko:
- Gradientų klipavimas, riboja bet kurio atskiro mėginio įtaką
- Triukšmo injekcija, prideda gauso triukšmą, kad paslėptų atskirų indėlių poveikį
Ši kombinacija užtikrina, kad nė vienas atskiras duomenų taškas negalėtų dominuoti mokymosi procese.
Pagrindiniai parametrai DP-SGD
| Parametras | Ką jis kontroliuoja | Kodėl tai svarbu |
|---|---|---|
| Klipavimo norma | Maksimalus gradientų dydis per mėginį | Neleidžia užsienyje dominuoti atnaujinimams |
| Triukšmo daugininkas | Pridedamo gauso triukšmo kiekis | Tiesiogiai veikia privatumo naudingumo santykį |
| Pavyzdžių kiekis | Duomenų dalis per žingsnį | Veikia privatumo biudžeto suvartojimą |
| Epochų skaičius | Mokymo pereisų skaičius | Daugiau epochų = didesnė privatumo kaina |
Vienas svarbus praktinis pastebėjimas: epsilon nėra kažkas, ką pasirinkate „intuicija“. Jis skaičiuojamas naudojant privatumo apskaitininką, kuris seka kumuliatyvų privatumo nuostolį mokymo proceso metu.
Saugaus agregavimo vs diferencinė privatumas
Šios dvi sąvokos dažnai painiojamos, tačiau jos išsprendžia skirtingas problemas.
Saugus agregavimas apsaugo duomenis perduodant, tuo tarpu diferencinė privatumas apsaugo galutinę modelio išvestį.
| Bruožas | Saugus agregavimas | Diferencialinė privatumas |
|---|---|---|
| Ką jis saugo | Klientų atnaujinimus perdavimo metu | Informacijos nutekėjimą iš modelio |
| Kada jis taikomas | Komunikacijos metu | Po mokymo |
| Pagrindinis tikslas | Paslėpti atskirus gradientus | Apriboti bet kurio vartotojo poveikį |
| Grėsmės modelis | Serveris mato tik agreguotus duomenis | Modelio išvestis neturi nutekėti informacijos |
Gamybos sistemose jie dažnai naudojami kartu:
Saugus agregavimas + DP = stipresnis privatumo užtikrinimas
DP-SAM: Tikslumo gerinimas laikantis privatumo apribojimų
Vienas didžiausių DP-SGD trūkumų yra našumo sumažėjimas dėl triukšmo. Čia pasirodo DP-SAM (Diferencialiai privatus jautrumo sąmoningas minimizavimas).
DP-SAM idėja paprasta, bet galinga: vietoj to, kad mokytų modelį aštriuose minimumuose (jautriuose regionuose), jis stumia optimizavimą link lyginių minimumų, kur modelis yra stabilesnis.
Tai yra naudinga, nes:
- triukšmas lyginiuose regionuose turi mažesnį poveikį
- modelis geriau generalizuojasi laikantis DP apribojimų
- tikslumo praradimas sumažinamas, palyginti su standartiniu DP-SGD
Atsvara yra skaičiavimo kaina, nes SAM tipo mokymas reikalauja papildomų optimizavimo žingsnių.
Palyginimas: DP-SGD vs DP-SAM
| Aspektas | DP-SGD | DP-SAM |
|---|---|---|
| Privatumo garantija | Stipri | Stipri |
| Optimizavimo tikslas | Standartinis mokymas | Lyginių minimumų optimizavimas |
| Tikslumas laikantis DP | Dažnai mažesnis | Paprastai didesnis |
| Skaičiavimo kaina | Mažesnė | Didesnė |
| Geriausias naudojimo atvejis | Bazinis DP mokymas | Gamybos kokybės DP modeliai |
Praktinis DP mokymo procesas
Realiuose diegimuose DP įgyvendinimas yra labiau susijęs su teorija ir daugiau su atidžiu derinimu bei stebėjimu.
Tipiškas darbo srautas atrodo taip:
- Apibrėžti privatumo tikslą (ε, δ)
- Mokyti bazinį modelį su DP-SGD
- Įvertinti naudingumo ir privatumo santykį
- Taikyti saugų agregavimą (jei federuota nustatymas)
- Eksperimentuoti su DP-SAM, jei tikslumas yra nepakankamas
- Naudoti privatumo apskaitininką galutinei validacijai
- Dokumentuoti rezultatus, kad atitiktų ir auditorijos reikalavimus
Galutinė išvada
Diferencialinė privatumas nėra viena technika, o sistemos projektavimo požiūris.
DP-SGD užtikrina pagrindą, saugus agregavimas stiprina infrastruktūros saugumą, o DP-SAM padeda atkurti našumą, kai privatumo triukšmas tampa per brangus.
Praktikoje dauguma realių sistemų remiasi visų trijų deriniu, o ne viena atskira metoda.
