Назад на блоготТехнички

FOIA: редакцијата од недели на часови

Федералната влада во 2024 година потроши околу 500 милиони долари за обработка на FOIA барања, претежно за рачна редакција.

May 28, 20268 мин читање
FOIA automationgovernment AIARPA-HDSARpublic records redaction

FOIA: вештачката интелигенција ја скратува редакцијата од недели на часови

Ажурирано за 2026.

Федералната влада во 2024 година потроши околу 500 милиони долари за обработка на FOIA барања. Најголемиот дел од тој трошок беше рачна редакција. Заостатокот кај DOJ надмина 100.000 отворени барања.

ARPA-H во 2025 година објави набавка на софтвер за редакција со вештачка интелигенција. HHS утврди дека неговата единица CMS има потреба од алатки со вештачка интелигенција. Рачната работа создаде заостатоци што персоналот не можеше да ги разреши.

Прашањето се промени. Повеќе не е дали да се автоматизира. Прашањето е како тоа да се направи на начин што ќе издржи пред суд.

Проблемот со федералниот заостаток

Според 5 U.S.C. §552, агенциите мора да одговорат во рок од 20 работни дена. Во пракса, многу од нив траат месеци. Некои години.

Заостатокот на DOJ од 100.000+ барања изнесува приближно 2 милијарди минути рачен преглед. Тоа претпоставува само 20 минути по барање. Според државните тарифи по час, трошокот на трудот достигнува милијарди.

Најголемиот дел од тоа време оди на една задача. Персоналот ги прелистува страниците за имиња, адреси и телефонски броеви. Тоа не бара правна проценка. Бара препознавање на обрасци. Алгоритамот го прави тоа за секунди.

Што бараа ARPA-H и HHS

ARPA-H бараше софтвер за редакција со вештачка интелигенција за обработка на FOIA документи. Нивните наведени барања беа:

  • Автоматско препознавање на лични податоци според изземањата Exemption 6 и 7(C).
  • Групна обработка на големи збирки документи.
  • Поддршка за мешани формати: PDF, Word и е-пошта.
  • Документација на ревизорска трага.
  • Одбранлив излез за одговор на FOIA барање.

HHS/CMS дојде до истиот заклучок. Растечкиот обем и непроменетиот број вработени го направија рачниот преглед неодржлив. Овие агенции не јурнаа по нова технологија. Решаваа криза на усогласеност.

Државно и локално ниво: помалку ресурси, исти правила

Федералните агенции имаат посветени FOIA канцеларии и правни буџети. Државите и локалните власти ги имаат истите правни обврски со многу помалку ресурси.

CPRA во Калифорнија бара одговори во рок од 10 календарски дена. Округ со правен тим од тројца не може да обработи 2.000 документи во тој рок. Опциите се ограничени:

  1. Да одбие или одложи – што создава правен ризик.
  2. Да вработи привремен персонал – скапо и бавно.
  3. Да ја автоматизира механичката фаза на редакција.

Опцијата 3 сега е достапна. Истата групна обработка што ја користат федералните агенции е достапна за правните оддели на окрузите. Не се потребни долги рокови за набавка. Во нашиот преглед на усогласеност погледнете како правилата за јавни евиденции се применуваат низ јурисдикциите.

DSAR во ЕУ: истиот проблем

Барањата на субјектите на податоци за пристап (DSAR) според член 15 од GDPR создаваат паралелен предизвик за организациите во ЕУ. За разлика од FOIA, обврските за DSAR важат за сите организации што обработуваат лични податоци. Мала SaaS компанија може да прими ист број DSAR како голема банка.

Практичниот предизвик е сличен на FOIA. Организацијата мора да ги достави сите податоци што ги чува за одредено лице. Личните податоци на трети лица мора да се редигираат од одговорот. Рокот е 30 дена.

Секој DSAR што допира до архиви на е-пошта, билети за поддршка и евиденции на нарачки може да значи стотици документи за проверка. За организации што обработуваат 20–50 DSAR месечно, рачниот преглед бара еден или повеќе вработени со полно работно време. Групната автоматизација го сведува тоа на работа со скратено работно време.

Обработка на десктоп за чувствителни евиденции

Некои агенции не можат да користат веб-базирани алатки. Податоци што мора да останат во системите на агенцијата бараат локална обработка.

Десктоп апликацијата на anonym.legal е изградена за овој случај на употреба:

  • Десктоп апликацијата чита датотеки на сопствениот хардвер на агенцијата; откривањето се извршува на API сместен во ЕУ, единствената дозволена комуникација.
  • Врската е интернет-базирана и ограничена само на anonym.legal – потребна е активна врска.
  • Групните обработки опфаќаат 1–5.000 датотеки одеднаш.
  • Поддржани формати: PDF, DOCX, XLSX, TXT, CSV, JSON, XML.
  • Обработените датотеки се пакуваат како ZIP архива.
  • Вклучен е извоз во CSV и JSON со метаподатоци по датотека.

За агенции со строги правила за локација на податоците, но со дозволена надворешна врска, ова е вистинското решение: десктоп апликацијата го користи истиот модел за откривање – XLM-RoBERTa со 273 типа ентитети – како и веб-платформата. За агенции со вистински воздушно изолирана мрежа и без никаква надворешна поврзаност, десктоп апликацијата не доаѓа предвид; нашиот сестрински производ anonym.plus наместо тоа го извршува откривањето целосно на уредот.

Детали за поставувањето погледнете во нашата документација за десктоп апликацијата.

Забелешки за спроведувањето

Ревизорски траги. Владините работни текови бараат евиденции што е редигирано, врз каква основа и од кого. Метаподатоците од групната обработка ги покриваат првите две. Насочувањето на документите со исклучоци кон преглед од персонал го покрива остатокот.

Доследност. FOIA одговор што во еден документ го редигира името, а во друг го пропушта, создава правна изложеност. Фиксната автоматска конфигурација ја отстранува таа недоследност.

SBU материјали. Многу владини документи се чувствителни, но некласифицирани. Локалната обработка ги обработува SBU датотеките без користење на мрежа. Веб-обработката со соодветни DPA договори ги покрива датотеките што не се SBU.

Излезен формат. Методот Redact користи замена со црна лента. Тоа одговара на изгледот на стандардните FOIA редакции и е погодно за поднесување пред суд. Пристапот со ознаки – на пример [REDACTED - Exemption 6] – додава изрично наведување на изземањето за подетални евиденции.

Суштината

FOIA е законска обврска. Рокот од 20 работни дена не е цел. Кога обемот на барања надминува што може персоналот, следуваат пропусти.

Групната редакција со вештачка интелигенција не ја заменува правната проценка. Ја отстранува механичката фаза – наоѓање и означување на стандардни лични податоци во илјадници документи. Таа фаза троши 70–80 % од времето за преглед. Персоналот потоа може да се фокусира на 10–20 % од документите каде контекстот е важен.

И ARPA-H и HHS/CMS го согледаа ова. Државите, локалните власти и организациите во ЕУ со обврски за DSAR се соочуваат со истиот предизвик. Во нашиот преглед на безбедност и усогласеност погледнете како се структурирани одбранливите работни текови за редакција.

Кога овој пристап има ограничувања

Автоматизацијата на механичката фаза на редакција е исправна поделба на трудот – времето на персоналот му припаѓа на проценките, а не на прелистување страници за имиња. Но важат три ограничувања.

Локалната обработка го контролира чувањето, а не квалитетот на откривањето. За агенции со дозволена надворешна врска, десктоп апликацијата ги држи датотеките на хардверот на агенцијата додека откривањето се извршува на серверите на anonym.legal – тоа ја решава локацијата на податоците, но не ја прави редакцијата поточна. За агенции со вистински нулта поврзаност, anonym.plus наместо тоа ја извршува истата класа модел целосно на уредот. Така или инаку, пропуштено име е пропуштено, без оглед дали датотеката некогаш ја напуштила зградата. Контролата на локацијата и квалитетот на откривањето се одвоени гаранции, а третирањето на локалната обработка како да ја потврдува целосноста е категориска грешка што вреди јасно да се именува.

Вградениот модел без врска застарува без намерни ажурирања. anonym.plus го замрзнува својот модел за откривање на уредот на верзијата што била инсталирана; нови формати на идентификатори, шифри на предмети специфични за агенцијата и променливи распореди на документи нема да бидат препознаени додека некој намерно не го ажурира пакетот, а во изолирана мрежа нема автоматско освежување. Хостираното откривање на anonym.legal – што го користат десктоп апликацијата и веб-платформата каде што постои активна врска – наместо тоа се ажурира автоматски. Распоредот и тестирањето на ажурирањата на моделот планирајте ги како оперативна задача за случајот без врска и по секое повторно валидирајте на актуелни примероци од документи, инаку точноста незабележливо опаѓа додека се чини дека цевководот работи сосема исто како претходно.

Стандардот на одбранливост бара човечка проценка, а не излез на алатка. Чист извештај за групната обработка и ревизорски дневник поддржуваат одговор на FOIA или DSAR, но не го сочинуваат. Одлуките меѓу Exemption 6 и 7(C), разликите меѓу службени и приватни лица и прашањата за привилегија се правни утврдувања. Низ илјадници документи систематски пропуст во конфигурацијата се репродуцира илјадници пати, па групниот обем ја зголемува единечната грешка наместо да ја израмни. Механичката фаза може да се автоматизира; обврската за разумна грижа останува кај адвокатот што прегледува, а редот на исклучоци мора да биде соодветно екипиран.

Извори

Подготвени да ги заштитите вашите податоци?

Започнете со анонимизација на PII со 273 типови на ентитети на 48 јазици.