返回博客技术

FOIA:将编辑涂黑从数周缩短到数小时

2024 年美国联邦政府在 FOIA 处理上估计花费了 500M 美元,其中大部分是人工涂黑。

May 28, 20268 分钟阅读
FOIA automationgovernment AIARPA-HDSARpublic records redaction

FOIA:AI 将涂黑编辑从数周缩短到数小时

2026 年更新。

2024 年美国联邦政府在 FOIA 处理上估计花费了 500M 美元。其中大部分成本来自人工涂黑编辑。DOJ 的积压已超过 100,000 件未结请求。

ARPA-H 在 2025 年发布了一项 AI 涂黑软件的采购。HHS 发现其 CMS 部门需要 AI 驱动的工具。人工作业造成的积压让工作人员无法清理。

问题已经转变。不再是是否要自动化,而是如何以经得起法庭检验的方式去做。

联邦积压问题

根据 5 U.S.C. §552,各机构必须在 20 个工作日内作出答复。实际上,许多机构需要数月,有些甚至需要数年。

DOJ 超过 100,000 件的积压大约相当于 2 billion 分钟的人工审查。这还只是假设每件请求 20 分钟。按政府的计费标准,人工成本高达数十亿。

这些时间大部分花在一项任务上:工作人员逐页扫描姓名、地址和电话号码。这不需要律师的判断,只需要模式匹配。算法几秒钟就能完成。

ARPA-H 和 HHS 的要求

ARPA-H 寻求用于 FOIA 文档处理的 AI 涂黑软件。他们明确提出的要求是:

  • 自动识别豁免条款 6 和 7(C) 涉及的个人数据。
  • 大批量文档集的批量处理。
  • 混合格式支持:PDF、Word 和电子邮件。
  • 审计追踪文档。
  • 可用于 FOIA 答复的、经得起检验的输出。

HHS/CMS 得出了相同的结论。数量不断增长而人员编制不变,使人工审查难以为继。这些机构并非在追逐新技术,而是在解决一场合规危机。

州和地方:资源更少,规则相同

联邦机构设有专门的 FOIA 办公室和法律预算。州和地方政府承担同样的法律义务,资源却少得多。

加利福尼亚州的 CPRA 要求在 10 个日历日内作出答复。一个只有三人法务团队的县,无法在该期限内处理 2,000 份文档。可选方案有限:

  1. 拒绝或拖延——这会带来法律风险。
  2. 雇用临时人员——昂贵且缓慢。
  3. 将机械性的涂黑阶段自动化。

方案 3 现在已触手可及。联邦机构使用的同样的批量处理,县级法务部门也可以使用。无需漫长的采购周期。有关公共记录规则在各司法辖区如何适用,请参阅我们的合规概览。

欧盟 DSAR:同样的问题

GDPR 第 15 条的数据主体访问请求(DSAR)给欧盟组织带来了类似的挑战。与 FOIA 不同,DSAR 义务适用于所有处理个人数据的组织。一家小型 SaaS 公司可能收到与大型银行同样数量的 DSAR。

实际挑战与 FOIA 如出一辙。组织必须提供所持有的关于特定个人的全部数据。回复中必须涂黑第三方的个人数据。期限是 30 天。

每一份涉及电子邮件归档、支持工单和订单记录的 DSAR,都可能意味着要检查数百份文档。对于每月处理 20–50 份 DSAR 的组织,人工审查需要一名或多名全职员工。批量自动化可将其降为兼职工作。

敏感记录的桌面处理

有些机构无法使用基于网页的工具。必须留在机构系统内的数据需要本地处理。

anonym.legal 桌面应用正是为这一用例而构建:

  • 桌面应用在机构自己的硬件上读取文件;检测在欧盟托管的 API 上运行,这是唯一被允许的一次往返。
  • 连接基于互联网,并且仅允许连接到 anonym.legal——需要实时连接。
  • 批量运行一次可处理 1–5,000 个文件。
  • 支持的格式:PDF、DOCX、XLSX、TXT、CSV、JSON、XML。
  • 处理后的文件打包为 ZIP 压缩包。
  • 包含 CSV 和 JSON 导出,附带每个文件的元数据。

对于有严格数据驻留规定、但允许外部连接的机构,这正合适:桌面应用使用与网络平台相同的检测模型——具有 273 种实体类型的 XLM-RoBERTa。对于拥有真正物理隔离网络、完全没有外部连接的机构,桌面应用不适用;我们的姊妹产品 anonym.plus 则完全在设备上运行检测。

有关设置的详细信息,请参阅我们的桌面应用文档。

实施说明

审计追踪。 政府工作流程需要记录涂黑了什么、依据什么、由谁涂黑。批量元数据涵盖前两项。将例外文档转交人工审查则涵盖其余部分。

一致性。 一份 FOIA 答复如果在一份文档中涂黑了某个姓名,却在另一份中漏掉,就会带来法律风险。固定的自动化配置可消除这种不一致。

SBU 材料。 许多政府文档敏感但不属于涉密文件。本地处理可以在不使用网络的情况下处理 SBU 文件。签有适当 DPA 协议的网页处理则涵盖非 SBU 文件。

输出格式。 Redact 方法使用黑条替换。这与标准 FOIA 涂黑的外观一致,适合法庭提交。令牌方法——例如 [REDACTED - Exemption 6]——会为更详细的记录添加明确的豁免条款引用。

结论

FOIA 是一项法律义务。20 个工作日的期限不是目标。当请求量超出工作人员的处理能力时,就会出现失误。

AI 驱动的批量涂黑并不取代法律判断。它去除的是机械阶段——在成千上万份文档中查找并标记标准的个人数据。这一阶段占用了 70–80% 的审查时间。这样,工作人员就可以专注于那 10–20% 需要结合上下文判断的文档。

ARPA-H 和 HHS/CMS 都看到了这一点。面临 DSAR 义务的州和地方政府以及欧盟组织面临同样的挑战。有关如何构建经得起检验的涂黑工作流程,请参阅我们的安全与合规概览。

这种方法的局限

将机械性的涂黑阶段自动化是正确的分工——工作人员的时间应该用在需要判断的事项上,而不是逐页扫描姓名。但有三点局限。

本地处理控制的是保管,而非检测质量。 对于允许外部连接的机构,桌面应用让文件保留在机构硬件上,而检测在 anonym.legal 的服务器上运行——这解决了数据驻留问题,但并不会使涂黑更准确。对于真正零连接的机构,anonym.plus 则完全在设备上运行同类模型。无论哪种方式,漏掉的姓名都是漏掉了,不管文件是否离开过大楼。位置控制和检测质量是两种不同的保证,把本地处理当作对完整性的证明,是一种值得明确指出的范畴错误。

内置的离线模型若不刻意更新就会过时。 anonym.plus 将其设备端检测模型固定在安装时的版本;新的标识符格式、机构特有的案件编码和不断演变的文档版式,在有人有意更新该捆绑包之前不会被识别,而且在隔离网络上没有自动刷新。anonym.legal 的托管检测——桌面应用和网络平台在有实时连接时使用——则会自动更新。请把模型更新作为离线情形下的运维任务来安排和测试,并在每次更新后用当前的文档样本重新验证,否则准确度会悄悄下降,而流水线看上去仍和以前一模一样地工作。

可辩护性标准需要人的判断,而不是工具的输出。 一份干净的批处理报告和一份审计日志可以支持 FOIA 或 DSAR 的答复,但它们本身并不构成答复。豁免条款 6 与 7(C) 的取舍、公职人员与私人的区分以及特权问题,都是法律上的认定。在成千上万份文档中,配置里的系统性遗漏会被重复成千上万次,因此批量规模放大了单个错误,而不是将其平均掉。机械阶段可以自动化;合理注意义务仍由复核律师承担,例外队列也必须相应配备人员。

来源

准备好保护您的数据了吗?

开始使用 273 种实体类型在 48 种语言中匿名化 PII。