Powrót do blogaTechniczne

FOIA: anonimizacja z tygodni do godzin

Rząd federalny wydał w 2024 roku szacunkowo 500 mln dolarów na obsługę wniosków FOIA, głównie na ręczne zaciemnianie danych.

May 28, 20268 min czytania
FOIA automationgovernment AIARPA-HDSARpublic records redaction

FOIA: AI skraca zaciemnianie danych z tygodni do godzin

Aktualizacja na 2026 rok.

Rząd federalny wydał w 2024 roku szacunkowo 500 mln dolarów na obsługę wniosków FOIA. Większość tego kosztu stanowiło ręczne zaciemnianie (redakcja) danych. Zaległości w DOJ przekroczyły 100 000 otwartych wniosków.

ARPA-H ogłosiła w 2025 roku zamówienie na oprogramowanie AI do zaciemniania danych. HHS stwierdziło, że jego jednostka CMS potrzebuje narzędzi opartych na AI. Praca ręczna stworzyła zaległości, których pracownicy nie byli w stanie nadrobić.

Pytanie się zmieniło. Nie chodzi już o to, czy automatyzować. Chodzi o to, jak to zrobić w sposób, który obroni się przed sądem.

Problem zaległości na poziomie federalnym

Zgodnie z 5 U.S.C. §552 agencje muszą odpowiedzieć w ciągu 20 dni roboczych. W praktyce wiele z nich potrzebuje miesięcy. Niektóre – lat.

Zaległości DOJ liczące ponad 100 000 wniosków to mniej więcej 2 miliardy minut ręcznej weryfikacji. Zakładając zaledwie 20 minut na wniosek. Przy stawkach rozliczeniowych administracji koszt pracy sięga miliardów.

Większość tego czasu pochłania jedno zadanie. Pracownicy przeglądają strony w poszukiwaniu nazwisk, adresów i numerów telefonów. Nie wymaga to osądu prawnika. Wymaga dopasowywania wzorców. Algorytm robi to w kilka sekund.

Czego wymagały ARPA-H i HHS

ARPA-H poszukiwała oprogramowania AI do zaciemniania danych na potrzeby przetwarzania dokumentów FOIA. Zadeklarowane wymagania były następujące:

  • Automatyczne wykrywanie danych osobowych objętych wyłączeniami 6 i 7(C).
  • Przetwarzanie wsadowe dużych zbiorów dokumentów.
  • Obsługa mieszanych formatów: PDF, Word i e-mail.
  • Dokumentacja ścieżki audytu.
  • Wynik, który obroni się w odpowiedzi na wniosek FOIA.

HHS/CMS doszło do tego samego wniosku. Rosnące wolumeny i niezmienna liczba pracowników sprawiły, że ręczna weryfikacja przestała być możliwa do utrzymania. Te agencje nie goniły za nową technologią. Rozwiązywały kryzys zgodności.

Stan i samorządy: mniej zasobów, te same zasady

Agencje federalne mają wyspecjalizowane biura FOIA i budżety prawne. Władze stanowe i lokalne mają te same obowiązki prawne, ale znacznie mniej zasobów.

CPRA w Kalifornii wymaga odpowiedzi w ciągu 10 dni kalendarzowych. Hrabstwo z trzyosobowym zespołem prawnym nie jest w stanie przepracować 2 000 dokumentów w tym terminie. Możliwości są ograniczone:

  1. Odmowa lub opóźnienie – co rodzi ryzyko prawne.
  2. Zatrudnienie pracowników tymczasowych – drogie i powolne.
  3. Automatyzacja mechanicznej fazy zaciemniania danych.

Opcja 3 jest teraz w zasięgu ręki. To samo przetwarzanie wsadowe, z którego korzystają agencje federalne, jest dostępne dla działów prawnych hrabstw. Bez długich procedur zakupowych. Zobacz nasz przegląd zgodności, aby dowiedzieć się, jak przepisy o dokumentach publicznych stosują się w różnych jurysdykcjach.

DSAR w UE: ten sam problem

Wnioski osób, których dane dotyczą (DSAR) z art. 15 RODO tworzą równoległe wyzwanie dla organizacji w UE. W przeciwieństwie do FOIA obowiązki DSAR dotyczą wszystkich organizacji przetwarzających dane osobowe. Mała firma SaaS może otrzymać taką samą liczbę DSAR jak duży bank.

Praktyczne wyzwanie odzwierciedla FOIA. Organizacja musi przedstawić wszystkie dane przechowywane o konkretnej osobie. Dane osobowe osób trzecich muszą zostać zaciemnione w odpowiedzi. Termin wynosi 30 dni.

Każdy DSAR dotyczący archiwów e-mail, zgłoszeń do wsparcia i rekordów zamówień może oznaczać setki dokumentów do sprawdzenia. W organizacjach obsługujących 20–50 DSAR miesięcznie ręczna weryfikacja wymaga jednego lub więcej pracowników na pełny etat. Automatyzacja wsadowa zmniejsza to do pracy w niepełnym wymiarze.

Przetwarzanie na komputerze dla wrażliwych rejestrów

Niektóre agencje nie mogą korzystać z narzędzi internetowych. Dane, które muszą pozostać w systemach agencji, wymagają przetwarzania lokalnego.

Aplikacja Desktop anonym.legal została zbudowana z myślą o takim przypadku:

  • Aplikacja Desktop odczytuje pliki na sprzęcie agencji; wykrywanie działa w hostowanym w UE API – to jedna dozwolona wymiana danych.
  • Połączenie odbywa się przez internet i jest ograniczone listą dozwolonych wyłącznie do anonym.legal – wymagane jest aktywne połączenie.
  • Przebiegi wsadowe obejmują 1–5 000 plików naraz.
  • Obsługiwane formaty: PDF, DOCX, XLSX, TXT, CSV, JSON, XML.
  • Przetworzone pliki są pakowane do archiwum ZIP.
  • Dołączony jest eksport CSV i JSON z metadanymi dla poszczególnych plików.

Dla agencji ze ścisłymi zasadami rezydencji danych, ale z dopuszczonym połączeniem zewnętrznym, to właściwe rozwiązanie: aplikacja Desktop używa tego samego modelu wykrywania – XLM-RoBERTa z 273 typami encji – co platforma internetowa. Dla agencji z prawdziwie odizolowaną siecią (air-gap) i zerową łącznością zewnętrzną aplikacja Desktop się nie nadaje; nasz produkt siostrzany anonym.plus uruchamia wykrywanie w całości na urządzeniu.

Szczegóły konfiguracji znajdziesz w dokumentacji aplikacji Desktop.

Uwagi dotyczące wdrożenia

Ścieżki audytu. Procesy rządowe wymagają zapisów tego, co zaciemniono, na jakiej podstawie i przez kogo. Metadane wsadowe obejmują pierwsze dwa elementy. Kierowanie dokumentów wyjątkowych do weryfikacji przez pracowników obejmuje resztę.

Spójność. Odpowiedź FOIA, w której nazwisko jest zaciemnione w jednym dokumencie, a pominięte w innym, tworzy ekspozycję prawną. Stała konfiguracja automatyczna usuwa tę niespójność.

Materiały SBU. Wiele dokumentów rządowych jest wrażliwych, ale nieutajnionych. Przetwarzanie lokalne obsługuje pliki SBU bez użycia sieci. Przetwarzanie internetowe z odpowiednimi umowami DPA obejmuje pliki inne niż SBU.

Format wyniku. Metoda Redact używa zastąpienia czarnym paskiem. Odpowiada to wyglądowi standardowych zaciemnień FOIA i nadaje się do przedstawienia przed sądem. Podejście z tokenami – takimi jak [REDACTED - Exemption 6] – dodaje jawne wskazanie wyłączenia dla bardziej szczegółowych rejestrów.

Podsumowanie

FOIA to obowiązek prawny. Termin 20 dni roboczych nie jest celem. Gdy wolumen wniosków przekracza możliwości pracowników, pojawiają się uchybienia.

Wsadowe zaciemnianie danych oparte na AI nie zastępuje osądu prawnego. Usuwa fazę mechaniczną – znajdowanie i oznaczanie standardowych danych osobowych w tysiącach dokumentów. Ta faza pochłania 70–80% czasu weryfikacji. Pracownicy mogą wtedy skupić się na 10–20% dokumentów, w których liczy się kontekst.

ARPA-H i HHS/CMS obie to dostrzegły. Władze stanowe i lokalne oraz organizacje z UE objęte obowiązkami DSAR stoją przed tym samym wyzwaniem. Zobacz nasz przegląd bezpieczeństwa i zgodności, aby dowiedzieć się, jak zbudowane są obronne procesy zaciemniania danych.

Kiedy to podejście ma ograniczenia

Automatyzacja mechanicznej fazy zaciemniania danych to właściwy podział pracy – czas pracowników należy do decyzji wymagających osądu, a nie do przeglądania stron w poszukiwaniu nazwisk. Obowiązują jednak trzy ograniczenia.

Przetwarzanie lokalne kontroluje miejsce przechowywania, a nie jakość wykrywania. W agencjach z dopuszczonym połączeniem zewnętrznym aplikacja Desktop utrzymuje pliki na sprzęcie agencji, a wykrywanie działa na serwerach anonym.legal – to rozwiązuje kwestię rezydencji danych, ale nie sprawia, że zaciemnianie jest dokładniejsze. W agencjach z prawdziwie zerową łącznością anonym.plus uruchamia tę samą klasę modelu w całości na urządzeniu. Tak czy inaczej, pominięte nazwisko pozostaje pominięte, niezależnie od tego, czy plik kiedykolwiek opuścił budynek. Kontrola lokalizacji i jakość wykrywania to osobne gwarancje, a traktowanie przetwarzania lokalnego tak, jakby potwierdzało kompletność, jest błędem kategorii, który warto nazwać wprost.

Dołączony model offline starzeje się bez celowych aktualizacji. anonym.plus zamraża model wykrywania na urządzeniu w wersji, która została zainstalowana; nowe formaty identyfikatorów, kody spraw specyficzne dla agencji i zmieniające się układy dokumentów nie będą rozpoznawane, dopóki ktoś celowo nie zaktualizuje pakietu, a w odizolowanej sieci nie ma automatycznego odświeżania. Hostowane wykrywanie anonym.legal – używane przez aplikację Desktop i platformę internetową tam, gdzie istnieje aktywne połączenie – aktualizuje się natomiast automatycznie. Aktualizacje modelu w przypadku offline należy planować i testować jako zadanie operacyjne oraz po każdej z nich ponownie weryfikować na bieżących próbkach dokumentów, bo inaczej dokładność po cichu spada, podczas gdy proces wygląda, jakby działał dokładnie tak jak wcześniej.

Standard obronności wymaga osądu człowieka, a nie wyniku narzędzia. Czysty raport wsadowy i dziennik audytu wspierają odpowiedź na wniosek FOIA lub DSAR, ale jej nie stanowią. Rozstrzygnięcia między wyłączeniem 6 a 7(C), rozróżnienia między osobą urzędową a prywatną oraz kwestie tajemnicy zawodowej to ustalenia prawne. W tysiącach dokumentów systematyczny błąd w konfiguracji jest powielany tysiące razy, więc skala wsadowa wzmacnia pojedynczy błąd, zamiast go uśredniać. Fazę mechaniczną można zautomatyzować; obowiązek należytej staranności pozostaje przy weryfikującym prawniku, a kolejka wyjątków musi być odpowiednio obsadzona.

Źródła

Gotowy, aby chronić swoje dane?

Rozpocznij anonimizację PII z 273 typami podmiotów w 48 językach.