FOIA: dirbtinis intelektas sutrumpina užtamsinimą nuo savaičių iki valandų
Atnaujinta 2026 m.
JAV federalinė vyriausybė 2024 m. FOIA užklausų apdorojimui išleido apie 500 mln. $. Didžioji šių išlaidų dalis teko rankiniam užtamsinimui. DOJ nebaigtų užklausų kaupas viršijo 100,000 atvirų užklausų.
ARPA-H 2025 m. paskelbė pirkimą dirbtinio intelekto užtamsinimo programinei įrangai. HHS nustatė, kad jos CMS padaliniui reikia dirbtinio intelekto pagrįstų įrankių. Rankinis darbas sukūrė užklausų kaupą, kurio darbuotojai negalėjo sumažinti.
Klausimas pasikeitė. Jis nebėra apie tai, ar automatizuoti. Jis apie tai, kaip tai padaryti taip, kad atlaikytų teisme.
Federalinio kaupo problema
Pagal 5 U.S.C. §552 agentūros privalo atsakyti per 20 darbo dienų. Praktiškai daugelis užtrunka mėnesius. Kai kurios – metus.
DOJ kaupas iš 100,000+ užklausų prilygsta maždaug 2 milijardams minučių rankinės peržiūros. Tai darant prielaidą, kad tik 20 minučių vienai užklausai. Pagal valdžios įkainius darbo sąnaudos siekia milijardus.
Didžioji dalis to laiko skiriama vienai užduočiai. Darbuotojai peržiūri puslapius ieškodami vardų, adresų ir telefono numerių. Tam nereikia teisininko sprendimo. Reikia šablonų atpažinimo. Algoritmas tai padaro per sekundes.
Ko reikalavo ARPA-H ir HHS
ARPA-H ieškojo dirbtinio intelekto užtamsinimo programinės įrangos FOIA dokumentų apdorojimui. Jų nurodyti reikalavimai buvo:
- Exemption 6 ir 7(C) asmens duomenų automatinis atpažinimas.
- Didelių dokumentų rinkinių paketinis apdorojimas.
- Mišrių formatų palaikymas: PDF, Word ir el. paštas.
- Audito pėdsako dokumentacija.
- Apginamas rezultatas FOIA atsakymui.
HHS/CMS priėjo prie tos pačios išvados. Augantys kiekiai ir nekintantis personalas padarė rankinę peržiūrą netvarią. Šios agentūros negaudė naujų technologijų. Jos sprendė atitikties krizę.
Valstijos ir vietos lygmuo: mažiau išteklių, tos pačios taisyklės
Federalinės agentūros turi specialias FOIA tarnybas ir teisinius biudžetus. Valstijų ir vietos valdžios institucijos susiduria su tomis pačiomis teisinėmis pareigomis turėdamos gerokai mažiau išteklių.
Kalifornijos CPRA reikalauja atsakymų per 10 kalendorinių dienų. Apskrities trijų žmonių teisės komanda per šį laiką negali apdoroti 2,000 dokumentų. Galimybės ribotos:
- Atsisakyti arba vilkinti – tai kuria teisinę riziką.
- Samdyti laikinus darbuotojus – brangu ir lėta.
- Automatizuoti mechaninį užtamsinimo etapą.
Trečias variantas (3) dabar pasiekiamas. Tas pats paketinis apdorojimas, kurį naudoja federalinės agentūros, prieinamas apskričių teisės skyriams. Nereikia ilgų pirkimo terminų. Žr. mūsų atitikties apžvalgą, kaip viešųjų įrašų taisyklės taikomos skirtingose jurisdikcijose.
ES DSAR: ta pati problema
BDAR 15 straipsnio duomenų subjekto prieigos prašymai (DSAR) kelia lygiagrečią problemą ES organizacijoms. Skirtingai nei FOIA, DSAR pareigos taikomos visoms organizacijoms, tvarkančioms asmens duomenis. Maža SaaS įmonė gali gauti tiek pat DSAR kaip didelis bankas.
Praktinis iššūkis atspindi FOIA. Organizacija turi pateikti visus apie konkretų asmenį laikomus duomenis. Trečiųjų asmenų asmens duomenys turi būti užtamsinti atsakyme. Terminas – 30 dienų.
Kiekvienas DSAR, apimantis el. pašto archyvus, pagalbos užklausas ir užsakymų įrašus, gali reikšti šimtus tikrintinų dokumentų. Organizacijoms, tvarkančioms 20–50 DSAR per mėnesį, rankinei peržiūrai reikia vieno ar daugiau etatinių darbuotojų. Paketinė automatizacija sumažina tai iki ne visos darbo dienos darbo.
Darbalaukio apdorojimas jautriems įrašams
Kai kurios agentūros negali naudoti žiniatinklio įrankių. Duomenims, kurie turi likti agentūros sistemose, reikia vietinio apdorojimo.
anonym.legal darbalaukio programa sukurta šiam naudojimo atvejui:
- Darbalaukio programa skaito failus paties agentūros aparatinėje įrangoje; aptikimas vyksta ES talpinamame API – vienintelis leidžiamas kreipinys į išorę ir atgal.
- Ryšys yra internetinis ir leidžiamųjų sąraše apribotas tik anonym.legal – būtinas tiesioginis ryšys.
- Paketinis apdorojimas vienu metu apdoroja 1–5,000 failų.
- Palaikomi formatai: PDF, DOCX, XLSX, TXT, CSV, JSON, XML.
- Apdoroti failai supakuojami į ZIP archyvą.
- Įtrauktas CSV ir JSON eksportas su metaduomenimis kiekvienam failui.
Agentūroms su griežtomis duomenų buvimo vietos taisyklėmis, bet leidžiamu išoriniu ryšiu, tai tinkamas sprendimas: darbalaukio programa naudoja tą patį aptikimo modelį – XLM-RoBERTa su 273 esybių tipais – kaip ir žiniatinklio platforma. Agentūroms su tikrai izoliuotu tinklu ir be jokio išorinio ryšio darbalaukio programa netinka; mūsų sesininis produktas anonym.plus aptikimą vykdo visiškai įrenginyje.
Nustatymo informacijos ieškokite mūsų darbalaukio programos dokumentacijoje.
Diegimo pastabos
Audito pėdsakai. Vyriausybės darbo procesams reikalingi įrašai apie tai, kas buvo užtamsinta, kokiu pagrindu ir kas tai padarė. Paketo metaduomenys apima pirmus du. Išimčių dokumentų nukreipimas darbuotojų peržiūrai apima likusį.
Nuoseklumas. FOIA atsakymas, kuris viename dokumente užtamsina vardą, o kitame jo nepastebi, kuria teisinę riziką. Fiksuota automatizuota konfigūracija pašalina šį nenuoseklumą.
SBU medžiaga. Daug vyriausybės dokumentų yra jautrūs, bet neįslaptinti. Vietinis apdorojimas tvarko SBU failus nenaudojant tinklo. Žiniatinklio apdorojimas su tinkamais DPA susitarimais apima ne SBU failus.
Išvesties formatas. Redact metodas naudoja juodos juostos pakeitimą. Tai atitinka standartinių FOIA užtamsinimų išvaizdą ir tinka teismo dokumentams. Žymų metodas – pavyzdžiui, [REDACTED - Exemption 6] – prideda aiškią išimties nuorodą išsamesniems įrašams.
Esmė
FOIA yra teisinė pareiga. 20 darbo dienų terminas nėra tikslas. Kai užklausų kiekiai viršija tai, ką darbuotojai gali apdoroti, seka nesėkmės.
Dirbtinio intelekto paketinis užtamsinimas nepakeičia teisinio sprendimo. Jis pašalina mechaninį etapą – standartinių asmens duomenų radimą ir žymėjimą tūkstančiuose dokumentų. Šis etapas suryja 70–80% peržiūros laiko. Tuomet darbuotojai gali susitelkti į 10–20% dokumentų, kuriuose svarbus kontekstas.
ARPA-H ir HHS/CMS abu tai pamatė. Valstijų ir vietos valdžios institucijos bei ES organizacijos, turinčios DSAR pareigų, susiduria su tuo pačiu iššūkiu. Žr. mūsų saugumo ir atitikties apžvalgą, kaip struktūrizuojami apginami užtamsinimo darbo procesai.
Kada šis metodas turi ribų
Mechaninio užtamsinimo etapo automatizavimas yra teisingas darbo pasidalijimas – darbuotojų laikas skirtas sprendimams, o ne puslapių peržiūrai ieškant vardų. Tačiau galioja trys apribojimai.
Vietinis apdorojimas kontroliuoja saugojimo vietą, o ne aptikimo kokybę. Agentūroms su leidžiamu išoriniu ryšiu darbalaukio programa laiko failus agentūros aparatinėje įrangoje, o aptikimas vyksta anonym.legal serveriuose – tai išsprendžia duomenų buvimo vietos klausimą, bet nepadaro užtamsinimo tikslesnio. Agentūroms su tikrai nuliniu ryšiu anonym.plus tos pačios klasės modelį vykdo visiškai įrenginyje. Šiaip ar taip, praleistas vardas lieka praleistas, nesvarbu, ar failas kada nors paliko pastatą. Vietos kontrolė ir aptikimo kokybė yra atskiros garantijos, o vietinio apdorojimo laikymas pilnumo patvirtinimu yra kategorijos klaida, kurią verta įvardyti tiesiai.
Į komplektą įtrauktas neprisijungus veikiantis modelis sensta be tyčinių atnaujinimų. anonym.plus užšaldo savo įrenginyje esantį aptikimo modelį toje versijoje, kuri buvo įdiegta; nauji identifikatorių formatai, agentūrai specifiniai bylų kodai ir kintantys dokumentų maketai nebus atpažįstami, kol kas nors tyčia neatnaujins komplekto, o izoliuotame tinkle automatinio atnaujinimo nėra. anonym.legal talpinamas aptikimas – naudojamas darbalaukio programoje ir žiniatinklio platformoje, kur yra tiesioginis ryšys – vietoj to atnaujinamas automatiškai. Suplanuokite ir išbandykite modelio atnaujinimus kaip operacinę užduotį neprisijungimo atveju ir po kiekvieno atnaujinimo pakartotinai patvirtinkite pagal dabartinius dokumentų pavyzdžius, kitaip tikslumas tyliai blogėja, o procesas atrodo veikiantis lygiai taip pat kaip anksčiau.
Apginamumo standartas reikalauja žmogaus sprendimo, o ne įrankio išvesties. Švari paketo ataskaita ir audito žurnalas palaiko FOIA ar DSAR atsakymą, bet jo nesudaro. Exemption 6 ir 7(C) sprendimai, pareigūno ir privataus asmens skirtumai bei privilegijų klausimai yra teisiniai sprendimai. Tūkstančiuose dokumentų sisteminis konfigūracijos praleidimas pakartojamas tūkstančius kartų, todėl paketo mastas padidina vieną klaidą, o ne ją išlygina. Mechaninį etapą galima automatizuoti; pagrįsto rūpestingumo pareiga lieka peržiūrinčiam teisininkui, o išimčių eilė turi būti atitinkamai aprūpinta darbuotojais.