Powrót do blogaTechniczne

Powtarzalna prywatność: presety ML

Anonimizacja danych treningowych ML musi być spójna i powtarzalna. Jeśli naukowcy danych A i B stosują różne typy encji, zbiory treningowe stają się niespójne.

June 7, 20266 min czytania
ML training datareproducible privacyGDPR AI ActCNIL enforcementdata science compliance

Powtarzalna prywatność: dlaczego zespoły ML potrzebują presetów, a nie tylko dokumentacji

IOD zatwierdził plan anonimizacji. Obejmuje cztery elementy: imiona i nazwiska, adresy e-mail, numery telefonów i daty urodzenia. Metodą jest Replace. Plan ma cztery strony i znajduje się w firmowym wiki compliance.

Dwunastu naukowców danych czyta go podczas spotkania inauguracyjnego. Każdy samodzielnie konfiguruje narzędzie. Część dodaje krajowe numery identyfikacyjne. Część dodaje adresy IP. Część przełącza się na Redact. Trzy miesiące później zbiory danych nie są spójne.

CNIL skontrolowała kilka firm AI w 2024 roku. Problem: niewłaściwe wykorzystanie danych osobowych w zbiorach modeli. Nie pytano wyłącznie o to, czy anonimizacja nastąpiła. Pytano o spójność jej stosowania.

Dokumentacja jest potrzebna. Nie wystarcza. Rozwiązaniem jest preset.

Dlaczego zbiory danych ML potrzebują własnej konfiguracji

Budowanie zbiorów danych do trenowania modeli ma unikalne wymagania. Nie dzieli ich ogólna anonimizacja dokumentów.

Replace, nie Redact. Modele trenowane na tekście, gdzie imiona stają się [REDACTED], uczą się tego tokenu jako znacznika pozycji nazwy. To szkodzi modelowi. Replace zamienia Jana Kowalskiego na Piotra Nowaka. Model widzi prawdziwe wzorce nazw. Nie widzi tokenu maskującego.

Ten sam proces dla wszystkich rekordów. Zbiór danych, w którym 70% imion jest zastąpionych, a 30% to [REDACTED], wysyła mieszane sygnały. Każdy rekord musi przejść przez te same kroki.

Ta sama lista encji. Jeśli zbiór danych zawiera dane zdrowotne, usunięcie imion, ale pozostawienie dat urodzenia w części rekordów tworzy luki. Wszyscy dwunastu naukowców danych musi usuwać te same typy.

Brak nadmiernego usuwania. Usuwanie dat będących znacznikami czasu — a nie datami urodzenia — zmniejsza jakość zbioru bez zysku dla compliance. Zatwierdzony preset określa dokładnie, które elementy należy usunąć.

Powtarzalne wyniki. Jeśli zbiór danych musi być przetworzony ponownie — na przykład po znalezieniu pominiętego typu encji — preset daje ten sam wynik za każdym razem. Doraźne konfiguracje tego nie zapewniają.

Problem dwunastu naukowców danych

Finansowy zespół ML w Europie używa zbiorów danych z logów klientów. IOD zatwierdził cel — wykrywanie oszustw — z jedną regułą: wszystkie imiona, adresy e-mail, numery telefonów i identyfikatory płatności muszą zostać zastąpione przed rozpoczęciem pracy z modelem.

Bez presetów:

  • Osoba 1 usuwa imiona, adresy e-mail i numery telefonów — ale pomija identyfikatory płatności
  • Osoba 2 uwzględnia identyfikatory płatności, ale używa Redact zamiast Replace
  • Osoba 3 ściśle przestrzega dokumentu proceduralnego
  • Osoby 4-12 działają w różny sposób

Złączony zbiór danych jest częściowo niezgodny i częściowo nadmiernie przetworzony. IOD nie może go poświadczyć.

Z presetem zatwierdzonym przez IOD:

  • IOD tworzy preset ML Dev — Wykrywanie oszustw z dokładnymi typami encji i metodą Replace
  • Preset trafia do wszystkich dwunastu osób z jedną regułą: używać go do całej pracy ze zbiorami danych
  • Nikt nie może zmienić presetu bez zgody IOD

Każda osoba teraz produkuje ten sam wynik. Złączony zbiór danych jest spójny. Coroczny audyt AI przechodzi bez wyników. W poprzednim roku były trzy wyniki z powodu niespójnej pracy ze zbiorami danych.

RODO i Akt o AI

Zaktualizowano dla roku 2026

Europejski Akt o AI wszedł w życie w pełni w sierpniu 2024 roku. Dodaje reguły dla systemów AI wykorzystujących dane osobowe do trenowania modeli. Systemy AI wysokiego ryzyka muszą dokumentować swoje zbiory danych, w tym zastosowaną anonimizację.

Art. 5 ust. 1 lit. b) RODO — zasada ograniczenia celu — blokuje wykorzystanie danych osobowych bez jasnej podstawy prawnej. Sprawy CNIL z 2024 roku skupiały się na tej luce: dane zebrane dla jednej usługi, wykorzystywane do trenowania modeli bez ważnej podstawy lub anonimizacji.

Presety pomagają spełnić obydwa zestawy reguł:

  • Nazwa i konfiguracja presetu: udokumentowana metoda
  • Logi przetwarzania: dowód zastosowania metody
  • Zatwierdzenie IOD: zarejestrowane zatwierdzenie konfiguracji

Tworzy to ścieżkę audytu, której wymagają obydwa przepisy. Szczegóły obowiązków art. 10 — patrz przewodnik po danych treningowych dla EU AI Act.

Konfiguracja presetu dla zbiorów danych NLP

Typy do uwzględnienia w większości zbiorów danych NLP:

  • PERSON — Replace podobnymi imionami
  • EMAIL_ADDRESS — Replace syntetycznymi adresami
  • PHONE_NUMBER — Replace syntetycznymi numerami
  • CREDIT_CARD / IBAN — Replace lub Redact
  • LOCATION — Replace podobnymi miejscami, jeśli lokalizacja ma znaczenie; Redact, jeśli nie
  • DATE_OF_BIRTH — Redact; często potrzebne jest grupowanie wiekowe

Typy często pomijane:

  • Ogólne daty — znaczniki czasu pomagają modelom temporalnym
  • Nazwy organizacji — pomagają modelom rozpoznawania encji nazewniczych
  • Adresy URL — pomagają modelom linków i odniesień

Lider ML i IOD ustalają te reguły w zatwierdzonym presecie. Członkowie zespołu go stosują. Nie podejmują decyzji konfiguracyjnych.

Presety jako pamięć instytucjonalna

Przed presetami. Właściwa konfiguracja encji żyła w głowach trzech naukowców danych. Przeszli przez przegląd compliance. Dwoje odeszło w trzecim kwartale. Wiedza odeszła razem z nimi.

Po presetach. Konfiguracja żyje w presecie ML Dev — Rekordy klientów v2.1. Log wersji pokazuje kiedy został stworzony, kto go zatwierdził i co zmieniło się od v2.0. Nowi członkowie zespołu używają presetu i korzystają z całej wbudowanej w niego wiedzy.

Wersja 2.1 dodała wykrywanie IBAN po tym, jak przegląd stwierdził jego brak. Wersja 2.0 została zatwierdzona w lutym 2025 roku. Log jest kompletny.

Jak działają logi przetwarzania i procesy przeglądu IOD — patrz przewodnik po anonimizacji danych treningowych ML zgodnej z RODO.

Presety kontra wzorzec CNIL

Sprawy AI CNIL z 2024 roku ustanawiają wyraźny wzorzec. Pytają nie tylko o to, co zostało usunięte, ale jak było zarządzane. Współdzielony preset z zapisem zatwierdzenia IOD i logami przetwarzania odpowiada na to bezpośrednio.

Doraźna konfiguracja nie. Ta sama luka istnieje w sprawach innych europejskich organów ochrony danych podążających za logiką CNIL. Więcej o podejściu CNIL do AI — patrz przewodnik po zgodności AI z RODO według CNIL.

Podsumowanie

Dokumentacja mówi członkom zespołu, co robić. Presety sprawiają, że łatwo — i egzekwowalnie — robić to samo za każdym razem.

Dla zbiorów danych treningowych ML spójność jest zarówno wymogiem prawnym, jak i technicznym. Preset spełnia oba jednocześnie.

Organizacje nadzorcze badające praktyki AI chcą dowodów jednolitej anonimizacji. Preset stosowany w ten sam sposób do całej pracy ze zbiorami danych to najjaśniejszy dowód, jaki możesz im przedstawić.

Źródła

Gotowy, aby chronić swoje dane?

Rozpocznij anonimizację PII z 273 typami podmiotów w 48 językach.