Farklılaştırılmış Gizlilik Eğitimi: DP‑SGD, DP‑SAM ve Güvenli Toplama Açıklandı
Wendy Frey tarafından
Farklılaştırılmış Gizlilik (DP), kullanıcı verilerinin korunmasının zorunlu olduğu modern makine öğrenimi sistemlerinin temel bir yapı taşı haline gelmiştir. Güvene dayalı bir yaklaşım yerine, DP bireysel veri noktalarının nihai model üzerinde önemli ölçüde etkisi olmadığını matematiksel olarak garanti eder.
Daha basit terimlerle, bir kullanıcının verileri kaldırıldığında veya değiştirildiğinde, modelin çıktısının hemen hemen aynı kalması gerekir.
Bu fikir genellikle iki parametre ile formel hale getirilir:
- ε (epsilon), birey hakkında ne kadar bilgi sızabileceği (daha düşük daha iyidir)
- δ (delta), garantinin mükemmel şekilde geçerli olmama olasılığına dair küçük bir olasılık
Gerçek dünya makine öğrenimindeki zorluk, DP’yi tanımlamak değil, model performansını bozmadan verimli bir şekilde çalıştırmaktır.
DP-SGD: Farklılaştırılmış Gizliliğin Çalışma Gücü
Pratik DP sistemlerinin çoğu, DP-SGD (Farklılaştırılmış Gizli Stokastik Gradyan İnişi) üzerine inşa edilmiştir. Bu, standart SGD’yi iki önemli şekilde değiştirir.
DP-SGD nasıl çalışır
Her bir eğitim örneğinden doğrudan ham gradyanlar yerine, DP-SGD şu işlemleri uygular:
- Gradyan kesme, tek bir örneğin etkisini sınırlama
- Gürültü ekleme, bireysel katkıları gizlemek için Gauss gürültüsü ekleme
Bu kombinasyon, tek bir veri noktasının öğrenme sürecini domine etmesini engeller.
DP-SGD'deki Ana Parametreler
| Parametre | Neyi Kontrol Eder | Neden Önemlidir |
|---|---|---|
| Kesme normu | Her bir örneğin maksimum gradyan boyutu | Aykırı değerlerin güncellemeleri etkilemesini engeller |
| Gürültü çarpanı | Eklenen Gauss gürültüsünün miktarı | Gizlilik-üyük etkileşimini doğrudan etkiler |
| Örnekleme oranı | Her adımda veri oranı | Gizlilik bütçesi tüketimini etkiler |
| Dönemler | Eğitim geçiş sayısı | Daha fazla dönem = daha fazla gizlilik maliyeti |
Önemli bir pratik nokta: epsilon, “içgüdüye göre seçilecek” bir şey değildir. Bir gizlilik muhasebecisi kullanılarak, eğitim süresince biriken gizlilik kaybı takip edilerek hesaplanır.
Güvenli Toplama ile Farklılaştırılmış Gizlilik
Bu iki kavram sıklıkla karıştırılır, ancak farklı problemleri çözerler.
Güvenli Toplama veriyi iletim sırasında korurken, Farklılaştırılmış Gizlilik nihai model çıktısını korur.
| Özellik | Güvenli Toplama | Farklılaştırılmış Gizlilik |
|---|---|---|
| Neyi korur | Müşteri güncellemeleri aktarımda | Modelden bilgi sızması |
| Ne zaman geçerlidir | İletişim sırasında | Eğitim sonrası |
| Ana hedef | Tekil gradyanları gizlemek | Herhangi bir kullanıcının etkisini sınırlamak |
| Tehdit modeli | Sunucu yalnızca birleşik veriyi görür | Model çıktısının bilgi sızdırmaması gerekir |
Üretim sistemlerinde genellikle birlikte kullanılırlar:
Güvenli Toplama + DP = daha güçlü uçtan uca gizlilik
DP-SAM: Gizlilik Kısıtları Altında Doğruluğu İyileştirmek
DP-SGD'nin en büyük dezavantajlarından biri gürültü nedeniyle performans kaybıdır. İşte bu noktada DP-SAM (Farklılaştırılmış Gizli Keskinlik Farkındalığı ile Minimizasyon) devreye girer.
DP-SAM'ın arkasındaki fikir basit ama güçlüdür:
gizli minimumlarda (duyarlı bölgelerde) modelin eğitilmesi yerine, optimizasyonu düz minimumlara yönlendirir, burada model daha istikrarlıdır.
Bu yardımcı olur çünkü:
- gürültü düz bölgelerde daha az etki yapar
- model DP kısıtları altında daha iyi genelleme yapar
- standart DP-SGD'ye kıyasla doğruluk kaybı azalır
Ticari maliyet, çünkü SAM tarzı eğitim ek optimizasyon adımları gerektirir.
Karşılaştırma: DP-SGD ile DP-SAM
| Açı | DP-SGD | DP-SAM |
|---|---|---|
| Gizlilik garantisi | Güçlü | Güçlü |
| Optimizasyon hedefi | Standart eğitim | Düz minimum optimizasyonu |
| DP altında doğruluk | Genelde daha düşük | Genelde daha yüksek |
| Hesaplama maliyeti | Daha düşük | Daha yüksek |
| En iyi kullanım durumu | Temel DP eğitimi | Üretim kalitesinde DP modelleri |
DP Eğitimi için Pratik İş Akışı
Gerçek dağıtımlarda, DP’yi uygulamak, teoriden ziyade dikkatli ayarlama ve izleme ile ilgilidir.
Tipik bir iş akışı şu şekilde görünür:
- Gizlilik hedefini tanımlayın (ε, δ)
- DP-SGD ile temel modeli eğitin
- Fayda ile gizlilik arasındaki etkileşimi değerlendirin
- Güvenli Toplama uygulayın (eğer federatif sistem varsa)
- Doğruluk yetersizse DP-SAM ile deney yapın
- Son doğrulama için gizlilik muhasebecisini kullanın
- Uyumluluk ve denetlenebilirlik için sonuçları belgelendirin
Sonuç
Farklılaştırılmış Gizlilik tek bir teknik değil, bir sistem tasarım yaklaşımıdır.
DP-SGD temeli sağlar, Güvenli Toplama altyapı güvenliğini güçlendirir ve DP-SAM, gizlilik gürültüsü çok maliyetli hale geldiğinde performansı geri kazanmanıza yardımcı olur.
Pratikte, çoğu gerçek dünya sistemi, tek bir yönteme bağlı kalmadan, üçünün bir kombinasyonuna dayanmaktadır.
