데이터셋 라이센스: 출처, 감사 및 소유권

데이터셋 라이센스는 모델 훈련 시 엔지니어가 법적 및 평판 위험에 대해 가지는 가장 큰 영향을 미치는 통제 수단이다. 명확한 라이센스, 기록된 출처 및 정기적인 감사는 모호한 자료를 감사 가능한 제품으로 전환하여 팀이 법원과 언론에서 방어할 수 있게 한다.

데이터셋 라이센스: 유형 및 그 의미

라이센스는 하나의 구체적인 질문에 답한다: 권리 보유자가 허용하는 사용은 무엇인가. 크리에이티브 커먼즈는 여섯 가지 주요 CC 라이센스와 CC0, 즉 퍼블릭 도메인 헌납을 문서화하며, 각각은 저작권 표시, 상업적 권리 및 리믹스 권한을 거래한다. CC BY 또는 CC0 출처는 모델 훈련에 대해 명확하며, CC BY-SA 출처는 파생 데이터셋에 전파될 수 있는 동일하게 공유할 의무를 생성하고, NC 또는 ND 조항은 상업적 또는 적응적 사용을 금지할 수 있다. 데이터셋이 "공공"으로 태그되었지만 기계 판독 가능한 라이센스 메타데이터가 부족할 경우, 허가 경계가 애매하기 때문에 여전히 법적 위험을 초래한다. 라이센스, 버전 및 라이센서를 데이터셋 매니페스트에 명시하여 하류 팀이 재사용에 관한 이진 결정을 내릴 수 있게 하라. 이는 이론적인 것이 아니다. 크리에이티브 커먼즈는 기계 판독 가능한 메타데이터와 팀이 파일과 함께 삽입해야 할 표준화된 계약서를 제공한다.

출처 기록 및 감사 실행

출처는 README의 한 단락이 아니다. 기존 표준을 사용하라: W3C PROV는 혈통을 위한 엔티티, 활동 및 에이전트를 정의하고, DataCite의 메타데이터 스키마는 제작자, 날짜 및 영구 식별자를 위한 필드를 제공한다; DataCite는 2026년에 데이터셋 수준 관계를 기록하기 쉽게 하기 위해 스키마를 업데이트하였다. 실제로, 모든 자산에 대해 세 가지 최소한의 정보를 기록하라: 출처 URL 또는 DOI, 라이센스 식별자 및 버전, 자산을 크롤링하거나 변환한 수집 파이프라인 단계. Gebru et al.의 "Datasheets for Datasets"는 여전히 인간이 읽을 수 있는 데이터셋 카드의 최상의 템플릿이다; 데이터 영양 프로젝트의 데이터셋 영양 라벨은 위험 중심의 공개를 위한 간결한 대안이다.

감사를 위해 결정론적 검사와 통계적 검사를 결합하라. 결정론적 검사에는 파일 해시, 내장 라이센스 태그 및 출처 타임스탬프의 매니페스트가 포함된다. 통계적 검사는 텍스트 또는 이미지를 샘플링하고 MinHash 또는 임베딩 최근접 이웃을 사용하여 알려진 저작권 자료에 대해 유사성을 검사하는 것이 포함된다. 실용적인 감사는 가장 큰 법적 위험을 갖는 소수의 기록을 찾는다; 그곳에 집중하라.

우리는 세 가지 일반적인 실패를 관찰했다. 첫째, 공공 크롤에는 종종 라이센스 필드가 없다. 둘째, 팀은 "보기 가능"과 "재사용이 허가된" 것을 혼동한다. 셋째, 중복 제거는 거의 완벽하지 않으며, 유사도로 확인하지 않는 한 기억된 저작권 스니펫이 중복 제거를 피한다.

위험을 줄이기 위한 실용적인 단계

1. 매니페스트를 강제하라: 어떤 파일이 훈련에 들어오기 전에 출처, 라이센스 라벨 및 수집 단계를 요구하라. 2. 최근 뉴스, 유료 콘텐츠 및 예술 컬렉션과 같은 고위험 하위 집합에 대해 자동 라이센스 검사 및 유사성 검색을 우선시하라. 3. 라이센스가 없는 경우 CC0 또는 명시적으로 라이센스된 대체품을 선호하거나 콘텐츠를 제거하라.

이것들은 실용적인 거래다. 자동 스캔은 잘못된 긍정 반응을 생성하며 인적 검토가 필요하다. 모호한 데이터를 제거하면 범위가 줄어들고 모델에 편향을 초래할 수 있다. 출판사와의 라이센스 협상은 시간과 비용이 소요되지만 법적 대기 위험을 줄이는데, Getty Images 대 Stability AI 소송 사례와 관련 저자 소송이 팀들을 경계하게 만들었다. Bloomberg Law와 Getty의 자체 소송은 법적 지형이 여전히 불확실함을 보여준다.

간단한 요약

모든 자료에 짧은 데이터셋 카드를 사용하라. W3C PROV를 기계 판독 가능한 혈통에, DataCite 필드를 영구 식별자에 의존하라. 해시와 유사성으로 감사를 수행하고, 누락된 라이센스를 신뢰할 수 없는 것으로 취급하라. 노출을 줄이는 합성 데이터 전략에 대해서는 관련 게시물에서 합성 파이프라인 및 개인 LLM 배포에 관한 우리의 메모를 참고하라: 합성 데이터 파이프라인 및 개인 LLM 배포.

우리는 규율 있는 라이센스와 출처 기록이 대부분의 제품 팀의 법적 불확실성을 대략 절반으로 줄인다고 추정한다. 이는 추측을 추적 가능한 기록으로 대체하기 때문이며, 반론은 법원이 완벽한 메타데이터가 있더라도 훈련 사용이 침해라고 판단할 수 있으므로 문서화가 법적 위험을 줄이지만 없애지 않는다는 것이다.