ဒရမ်ထရူလ္မွှန်မှုသင်တန်း: DP-SGD, DP-SAM နှင့် မှိုက်မှုစုစည်းမှုရှင်းလင်းစေခြင်း

ဒရမ်ထရူလ္မွှန်မှုပြုဆောင်မှု (DP) သည် အသုံးပြုသူဒေတာကာကွယ်မှုသည် မဖြစ်မနေလိုအပ်သော အရေးပါသော ထုတ်ကုန်များတွင် မွန်မာစက်မှုများတွင် အခြေခံအဆောက်အအုံတစ်ခု ဖြစ်လာပါသည်။ ယုံကြည်မှုအပေါ်မယုံကြည်ပဲ ရှင်းလင်းအောင်ပြောပါက DP သည် တစ်ဦးချင်းစီ၏ ဒေတာအချက်အလက်များသည် နောက်ဆုံးပေါ်မော်ဒယ်ကို အရှိန်အဟုန် ဝန်ထမ်းနိုင်မှု မရှိဘဲ နှိမ်နင်းထားသည်။

လွယ်ကူစွာပြောရအောင် တစ်ဦးချင်း၏ ဒေတာကို ဖယ်ရှားခြင်း သို့မဟုတ် ပြောင်းလဲခြင်းဖြစ်ပုံမှ မဆို မော်ဒယ်ထွက်ကုန်သည် အပေါ်ယံအရာတို့သည် အတူတူပဲဖြစ်ပါ သည်။

ဒီအကြောင်းအရာကို အခြားသောဇယားနှစ်ခုဖြင့် နက်ရှိုင်းစွာဖွဲ့စည်းထားသည်။

• ε (epsilon), တစ်ဦးချင်း၏အကြောင်းအရာကို ဘယ်လောက်ကြာခတ်နိုင်သည်(နိမ့်သည် ပိုကောင်းသည်)
• δ (delta), သင်ခန်းကောင်မပါသော အနည်းငယ်သောဖြစ်စဉ်

လုပ်ငန်းလောကမှ ML တွင် မူကွဲသည် DP ကို သတ်မှတ်ခြင်းမဟုတ်ပဲ မော်ဒယ်လုပ်ဆောင်မှုကို ကျွန်ုပ်တို့သည် သက်ဆိုင်စွာထိန်းညှိရန် အလုပ်လုပ်ဆောင်ရန်ဖြစ်သည်။

DP-SGD: ဒရမ်ထရူလ္မွှန်မှု၏ အလုပ်လုပ်သော ငါးတွေနာက်

အများဆုံး လက်တွေ့ DP စိတ်ကူးများသည် DP-SGD (ဒရမ်ထရူလ္မွှန်မှုတိုက်ရိုက် သင်္ချာကြောဖြစ်သူ) အပေါ် အခြေခံသည်။ ၎င်းသည် ပုံမှန် SGD ကို နှစ်ချက်ဖြစ်စေသော အ ရိုးရှင်းအင်္ဂါရပ်နှစ်ခု ချိုးဖျက်သည်။

DP-SGD မိတ်ဆက်ခြင်း

လေ့ကျင့်မှုဥပမာများမှ ရှုပ်ထွေးသောထုတ်ကုန်ရယူခြင်းပဲမဟုတ်ပါ၊ DP-SGD သည်:

1. အကြောင်းအရာခွဲခြမ်းခြင်း, တစ်ခုချင်းစီ၏ အရေးပါမှုကို သတ်မှတ်ထားသည်
2. အသံစွာဖြစ်ထွန်းဆောင်ရွက်မှု, တစ်ဦးချင်းစီ၏ နှစ်သက်ချက်များကို ဖျောက်ဖျက်ရန် Gaussian အသံ ထည့်သွင်းခြင်း

ဒီညှိနှိုင်းမှုသည် တစ်ဦးချင်းသားတစ်ခုမနက်ဖြန်ပေါ်ရှိကြောင်းကို သေချာစွာ ဆော့ရွံ့တင်ထားသည်။

DP-SGD တွင် အရေးပါသောဂုဏ်သတ္တိများ

အရေးကြီးသော လက်တွေ့မှတ်ချက်တစ်ခုမှာ ε သည် သင် "လျှောက်ထားရတွက်" မဟုတ်ပါဘူး။ ၎င်းသည် လုံခြုံရေးစာရင်းရှင်းသူ အသုံးပြု၍တွက်ချက်ထားသည်၊ သင်တန်းများတွင် လုံခြုံရေးကုန်ကျစရိတ်သက်သေသက်သေ ယူဆင်သင့်သည်။

မှိုက်မှုစုစည်းခြင်း နှင့် ဒရမ်ထရူလ္မွှန်မှု

ဒီထုံးတမ်းနှစ်ခုသည် သွားလွှားကြားရနည်းလမ်းများမိုင်းခြင်း သည် ပြစ်ဒဏ် မခံထားရသော အေရာင်နှစ်ခုဖြစ်သည် ကာကွယ်နေပြီး ထိန်းသိမ်းမှု မှိုက်မှုမှုများအကြောင်းသည် အသုံးချခြင်းဖြစ်သည်။

ထုတ်ကုန်စနစ်များတွင် ပို၍လူကြီးမင်းသင့်မစဉ်ကတှာအကောင်းဆုံးသက်သေရှာမစဉ် -

မှိုက်မှုစုစည်းခြင်း + DP = လုံးဝအဆင့်မြှင့်တင်မှု

DP-SAM: အခြားအခြားမျေပုံစံများကဲ့သို့စက်ကွင်းများ

DP-SGD ၏အကြီးအကျယ်သော အခက်ခဲတစ်ခုမှာ အစွင်အနှစ်များ၏ အရည်အသွေးကျပိုကွဲစေနိုင်သည်။ ဒါကြောင့် DP-SAM (ဒရမ်ထရူလ္မွှန်မှုတိုက်ရိုက်ဒီဇိုင်းဘုရားကျောင်း) သည် ဆောင်ရွက်လိုသူကို ထပ်မံကူညီပါသည်။

DP-SAM ၏ အတွင်းသားကို ဆောင်ရွက်ခြင်းဖြဆုသောကြာ မြောက်မား စက်တို့ကို လုပ်ဆောင်သည် - ဖိတ်ရယ်ရက်ဖြစ်မှုများဖြင့်။

ဟုဆို၏:

• အသံသည် ဝင်ဒေသများ၏ ရွှတ်မှုများအပေါ်မှာ အကျိုးသက်ရောက်မှုသည်မရှိပါ
• Model ၏အရွေးများသည် DP အစိုးရများ၏ သတိပြု ၏တ-wa
• ကောင်းမှုတိုးတက်လာသည်

အပေးအဆွဲမှာ ကွန်ပျူတာကုန်ကျမှုဖြစ်၍ သက်ရောက်မှုများသည် အသံစွာရလဒ်ကို ပြန်လည် လိုက်နာသည်။

နှိုင်းယှဉ်ခြင်း: DP-SGD vs DP-SAM