Liisanka xogta: asal, kormeer iyo lahaansho

Liisanka xogta waa xakamaynta ugu weyn ee injineeradu haystaan marka ay tababaraan moodooyinka si ay uga fogaadaan khataraha sharciga iyo sumcadda. Liisanka cad, asal la diiwaangeliyey, iyo kormeer joogto ah waxay ka dhigaan corpus aan caddeynin badeecad la kormeeri karo oo kooxuhu difaaci karaan maxkamadda iyo warbaahinta.

LIISANKA XOGTA: NOOCYADA IYO MACNAHAYGA

Liisamada waxay ka jawaabaan su’aal cad: maxay xuquuqda haydiyuhu oggolaanayaa. Creative Commons waxay dukumiintiga lix liisan CC ah iyo CC0, go’aanka hantida dadweynaha, mid walbana wuxuu ka ganacsanayaa magacaabista, xuquuqda ganacsi, iyo rukhsadaha remix. Ilaha CC BY ama CC0 waa kuwo fudud oo loogu talagalay tababarka moodooyinka, ilaha CC BY-SA waxay abuuraan waajibaad la wadaagayo oo soo baxa saameynta xogta la dhisay, iyo qodobbada NC ama ND waxay mamnuucayaan isticmaalka ganacsiga ama loo beddelaayo. Markay xogta la calaamadiyo "dadweyne" laakiin aysan haysan metadata liisan oo mashiinka la akhriyi karo, weli waxaad qaadaysaa khatarta sharciga sababtoo ah xadka ogolaanshaha waa aan caddeyn. Magacaab liisanka, nooca, iyo liisanka liiska xogta si kooxaha hoos yimaada ay go'aan binary uga gaari karaan dib-u-isticmaalka. Tani ma aha mid aragti ah. Creative Commons waxay bixisaa metadata la akhriyi karo iyo deedh la hagaajiyey oo kooxuhu waa inay ku daraan feylasha.

DIiwaangelinta ASALKA IYO SOCDAALKA KORMEER

Asalka ma aha halkii muuqaal ee README. Isticmaal heerarka jira: W3C PROV waxay qeexdaa walxaha, hawlgallada, iyo wakiilada taariikhda, halka nidaamka metadata e DataCite uu bixinayo goobo loogu talagalay abuurayaasha, taariikhaha, iyo aqoonsiyada joogtada ah; DataCite waxay soo saartay casriyeyn si ay u fududeyso diiwaangelinta xiriirada heer xogta ah 2026. Si wax ku ool ah, diiwaangeli saddex qodob oo ugu yaraan ah ee wax kasta: URL ilaha ama DOI, aqoonsiga liisanka iyo nooca, iyo tallaabada geedi socodka ee ka xaday ama beddelay shayga. "Datasheets for Datasets" oo ay qoreen Gebru et al. ayaa weli ah qaabka ugu wanaagsan ee kaararka xogta ee la akhriyi karo; Liiska Nafaqada Xogta ee Mashruuca Nafaqada ayaa ah beddel kooban oo loogu talagalay iftiinka ku saleysan khatarta.

Kormeerka, isku dar imtixaanno go'an iyo baaritaanno tirakoob. Imtixaanno go'an waxaa ka mid ah hashyada feylka, calaamadaha liisan ee gudaha, iyo liiska wakhtiyada isha. Baaritaanno tirakoob waxaa ku jira tijaabinta qoraallada ama sawirrada iyo socodsiinta imtixaannada la mid ah ee lagu ogaanayo qanitaan xaq leh oo la isticmaalayo MinHash ama ku dheregsan deris. Kormeer wax ku ool ah wuxuu helayaa boqolkiiba yar oo rekoodhada ah oo qaada khatarta sharciga ugu weyn; xoogga saar halkaas.

Waxaan aragnay saddex guuldarro oo caadi ah oo dhacda. Marka hore, dhaqanno dadweyne badiyaa ma helaan goobo liisan. Marka labaad, kooxaha waxay isku xiraan "la heli karo” iyo “liisan loogu talagalay dib-u-isticmaal.” Marka saddexaad, tirtirka maaha mid dhameystiran, iyo qisaskii xuquuqda leh ayaa badanaa ku sii noolaanaya tirtiridda ilaa aad ka hubiso iyadoo la barbar dhigo la mid ah, ma ahan hasha saxda ah.

TALLAABOOYINKA WAX KU OOL AH EE KHTARTA DHIMAYA

1. Dhiib liis: dalbashada isha, calaamadda liisanka, iyo tallaabada gaadhista ka hor inta aan feyl kasta gelin tababarka. 2. Mudnaanta siiya baaritaannada liisanka otomatiga ah iyo baaritaannada iswaafajinta ee xirmooyinka khatarta sare leh sida wararka cusub, waxyaabaha lacag lagu qoro, iyo ururada farshaxanka. 3. Halka liisamada ka maqan yihiin, dooro CC0 ama beddelka si cad loo liis gareeyey, ama ka saar waxyaabaha.

Kani waa is-afgarad wax ku ool ah. Baaritaannada otomaatiga ah waxay soo saaraan khaladaad been ah waxayna u baahan yihiin dib-u-eegista aadanaha. Ka saarida xogta aan caddaadka ahayn waxay yareysaa daboolka waxayna saameyn kartaa moodooyinka. Wadahadalada liisanka leh daabacayaasha waxay qaadataa waqti iyo lacag laakiin waxay yareysaa khatarta sharciga, sida dacwadda Getty Images v. Stability AI iyo kiisas la xiriira qoraaga oo kooxaha ka dhigtay kuwo taxaddar leh; shirkadaha iyo rakibaadda sida Bloomberg Law iyo dacwadaha Getty waxay muujinayaan in muuqaalka sharciga uu weli aan la xalin.

QODBOYINKA DHIGAN

Isticmaal kaarka xogta gaaban oo ku saabsan cada corpus. Ku tiirsan W3C PROV ee lineage la akhriyi karo iyo goobo DataCite ah oo loogu talagalay aqoonsiyo joogto ah. Kormeerka hashka oo leh iswaafaq, oo daaweynta liisamada maqan sida aan la isku halleyn karin. Qorshayaasha xogta synthetic oo yareeya khatarta, fiiri qoraalladeena ku saabsan khadka synthetic iyo ku xidhida LLM gaarka ah ee qoraallada la xiriira: khadadka xogta synthetic iyo ku xidhida LLM gaarka ah.

Waxaan qiyaasaynaa in liisanka disciplinariga ah iyo asalka ay ku yareeyaan heerka sharciga ku saabsan kala bixinta qiyaastii kala badh kooxaha badeecada, sababtoo ah waxay bedelaan qiyaasta aagaga diiwaangelin la raaci karo; doodda isha ku qortaa waa in maxkamaduhu wali go'aansadaan in isticmaalka tababarka uu yahay mid xadgudub leh xitaa iyadoo aan metadata dhaafsan lahayn, sidaas darteed dukumiintiga waxay yareysaa laakiin ma baabi’iyo khatarta sharciga.