FOIA: ШІ скорочує редагування з тижнів до годин
Оновлено для 2026 року.
Федеральний уряд витратив на обробку запитів FOIA у 2024 році приблизно 500 млн доларів. Більшість цих витрат припала на ручне редагування (зачищення) документів. Заборгованість Міністерства юстиції США перевищила 100.000 відкритих запитів.
ARPA-H у 2025 році оголосило закупівлю програмного забезпечення зі ШІ для редагування. HHS визнало, що його підрозділ CMS потребує інструментів на основі ШІ. Ручна робота створила заборгованість, яку персонал не міг ліквідувати.
Питання змінилося. Йдеться вже не про те, чи автоматизувати. Йдеться про те, як зробити це так, щоб воно витримало перевірку в суді.
Проблема федеральної заборгованості
Відповідно до 5 U.S.C. §552, агентства мають відповісти протягом 20 робочих днів. На практиці багато хто витрачає місяці. Дехто — роки.
Заборгованість Міністерства юстиції понад 100.000+ запитів дорівнює приблизно 2 мільярдам хвилин ручної перевірки. Це за умови лише 20 хвилин на запит. За державними розцінками витрати на працю сягають мільярдів.
Більшість цього часу йде на одне завдання. Працівники переглядають сторінки в пошуках імен, адрес і телефонних номерів. Для цього не потрібне судження юриста. Потрібне зіставлення шаблонів. Алгоритм робить це за секунди.
Що вимагали ARPA-H і HHS
ARPA-H шукало програмне забезпечення зі ШІ для редагування під час обробки документів FOIA. Їхні заявлені вимоги були такими:
- Автоматичне виявлення персональних даних, що підпадають під виняток Exemption 6 і 7(C).
- Пакетна обробка великих наборів документів.
- Підтримка змішаних форматів: PDF, Word та електронна пошта.
- Документація журналу аудиту.
- Результат, який можна обґрунтувати у відповіді на запит FOIA.
HHS/CMS дійшли того самого висновку. Зростання обсягів за незмінної чисельності персоналу зробило ручну перевірку неспроможною. Ці агентства не гналися за новою технологією. Вони розв'язували кризу відповідності вимогам.
Штати та місцевий рівень: менше ресурсів, ті самі правила
Федеральні агентства мають спеціальні офіси FOIA та юридичні бюджети. Штати та органи місцевої влади мають ті самі правові обов'язки за значно менших ресурсів.
CPRA Каліфорнії вимагає відповідей протягом 10 календарних днів. Округ із юридичною командою з трьох осіб не може опрацювати 2.000 документів за такий строк. Варіанти обмежені:
- Відмовити або затягнути — що створює юридичний ризик.
- Найняти тимчасовий персонал — дорого й повільно.
- Автоматизувати механічну фазу редагування.
Варіант 3 тепер досяжний. Та сама пакетна обробка, яку використовують федеральні агентства, доступна юридичним відділам округів. Тривалих процедур закупівлі не потрібно. У нашому огляді відповідності дивіться, як правила щодо публічних записів застосовуються в різних юрисдикціях.
EU DSAR: та сама проблема
Запити суб'єктів даних (DSAR) за статтею 15 GDPR створюють паралельну проблему для організацій ЄС. На відміну від FOIA, обов'язки за DSAR поширюються на всі організації, що обробляють персональні дані. Мала SaaS-компанія може отримувати стільки ж DSAR, скільки й великий банк.
Практична проблема віддзеркалює FOIA. Організація має надати всі дані, які вона зберігає про конкретну особу. Персональні дані третіх осіб слід вилучити з відповіді. Строк — 30 днів.
Кожен DSAR, що стосується архівів електронної пошти, заявок до підтримки та записів про замовлення, може означати сотні документів для перевірки. Для організацій, які обробляють 20–50 DSAR на місяць, ручна перевірка вимагає одного чи більше працівників на повну ставку. Пакетна автоматизація зводить це до роботи на неповну ставку.
Настільна обробка для чутливих записів
Деякі агентства не можуть використовувати вебінструменти. Дані, що мають залишатися в системах агентства, потребують локальної обробки.
Desktop App від anonym.legal створено для цього випадку використання:
- Desktop App читає файли на власному обладнанні агентства; виявлення виконується через API, розміщений у ЄС, — єдиний дозволений обмін даними.
- З'єднання працює через інтернет і обмежене списком дозволених лише адресою anonym.legal — потрібне активне з'єднання.
- Пакетні запуски обробляють від 1 до 5.000 файлів за раз.
- Підтримувані формати: PDF, DOCX, XLSX, TXT, CSV, JSON, XML.
- Оброблені файли пакуються в архів ZIP.
- Експорт у CSV і JSON з метаданими для кожного файлу входить до комплекту.
Для агентств із суворими правилами щодо місця зберігання даних, але з дозволеним зовнішнім з'єднанням, це відповідне рішення: Desktop App використовує ту саму модель виявлення — XLM-RoBERTa із 273 типами сутностей — що й вебплатформа. Для агентств із по-справжньому ізольованою мережею без жодного зовнішнього зв'язку Desktop App не підходить; наш споріднений продукт anonym.plus натомість виконує виявлення повністю на пристрої.
Докладніше про налаштування дивіться в документації Desktop App.
Примітки щодо впровадження
Журнали аудиту. Державні робочі процеси вимагають записів про те, що було відредаговано, на якій підставі й ким. Метадані пакета охоплюють перші два пункти. Решту охоплює спрямування виняткових документів на перевірку персоналом.
Послідовність. Відповідь на FOIA, у якій ім'я зачищено в одному документі, але пропущено в іншому, створює юридичну вразливість. Фіксована автоматизована конфігурація усуває таку неузгодженість.
Матеріали SBU. Багато державних документів є чутливими, але не секретними. Локальна обробка опрацьовує файли SBU без використання мережі. Вебобробка з належними угодами DPA охоплює файли, що не є SBU.
Формат результату. Метод Redact використовує заміну чорною смугою. Це відповідає вигляду стандартних зачищень у FOIA і підходить для подання до суду. Підхід із токенами — наприклад, [REDACTED - Exemption 6] — додає явне посилання на виняток для докладніших записів.
Підсумок
FOIA — це юридичний обов'язок. Строк у 20 робочих днів — не орієнтир. Коли обсяги запитів перевищують можливості персоналу, настають збої.
Пакетне редагування на основі ШІ не замінює юридичного судження. Воно усуває механічну фазу — пошук і маркування стандартних персональних даних у тисячах документів. Ця фаза поглинає 70–80% часу перевірки. Тоді персонал може зосередитися на 10–20% документів, де важливий контекст.
ARPA-H і HHS/CMS обидва це побачили. Штати, органи місцевої влади та організації ЄС, що мають обов'язки за DSAR, стикаються з тією самою проблемою. У нашому огляді безпеки та відповідності дивіться, як структуровано робочі процеси редагування, що витримують перевірку.
Коли цей підхід має обмеження
Автоматизація механічної фази редагування — правильний розподіл праці: час персоналу належить рішенням, що потребують судження, а не переглядові сторінок у пошуках імен. Але діють три обмеження.
Локальна обробка контролює зберігання, а не якість виявлення. Для агентств із дозволеним зовнішнім з'єднанням Desktop App тримає файли на обладнанні агентства, тоді як виявлення виконується на серверах anonym.legal — це розв'язує питання місця зберігання даних, але не робить редагування точнішим. Для агентств із по-справжньому нульовою зв'язністю anonym.plus натомість виконує модель того самого класу повністю на пристрої. Так чи так, пропущене ім'я лишається пропущеним, незалежно від того, залишав файл будівлю чи ні. Контроль місця розташування й якість виявлення — окремі гарантії, а сприймати локальну обробку так, ніби вона засвідчує повноту, — категоріальна помилка, яку варто назвати прямо.
Вбудована офлайн-модель застаріває без свідомих оновлень. anonym.plus фіксує свою модель виявлення на пристрої на тій версії, яку було встановлено; нові формати ідентифікаторів, специфічні для агентства коди справ і змінювані макети документів не розпізнаватимуться, доки хтось навмисно не оновить пакет, а в ізольованій мережі автоматичного оновлення немає. Розміщене виявлення anonym.legal — яке використовують Desktop App і вебплатформа там, де є активне з'єднання, — натомість оновлюється автоматично. Плануйте й тестуйте оновлення моделі як операційне завдання для офлайн-випадку та повторно перевіряйте на актуальних зразках документів після кожного з них, інакше точність непомітно знижується, а конвеєр, здається, працює достоту як раніше.
Стандарт обґрунтованості вимагає людського судження, а не результату роботи інструмента. Чистий звіт пакета й журнал аудиту підтримують відповідь на FOIA або DSAR, але самі нею не є. Вибір між Exemption 6 і 7(C), розрізнення службових і приватних осіб та питання привілеїв — це правові рішення. У тисячах документів систематичний промах у конфігурації відтворюється тисячі разів, тож масштаб пакета примножує одну помилку, а не згладжує її. Механічну фазу можна автоматизувати; обов'язок розумної обачності залишається за юристом, який перевіряє, а черга винятків має бути відповідно забезпечена персоналом.