ブログに戻るテクニカル

FOIA:墨消しを数週間から数時間へ

2024年に米連邦政府がFOIA処理に費やした費用は、推定で500M ドルで、その大半は手作業による墨消しでした。

May 28, 20268 分で読めます
FOIA automationgovernment AIARPA-HDSARpublic records redaction

FOIA:AIが墨消しを数週間から数時間に短縮

2026年版に更新。

2024年に米連邦政府がFOIA処理に費やした費用は、推定で500M ドルでした。そのコストの大半は手作業による墨消しでした。DOJの未処理分は、100,000 件を超える未決の請求に達しました。

ARPA-Hは2025年に、AI墨消しソフトウェアの調達を公示しました。HHSは、傘下のCMS部門にAI搭載ツールが必要だと判断しました。手作業が積み上げた未処理分を、職員は解消できなくなっていたのです。

問題は変わりました。自動化するかどうかではありません。法廷で通用する形でどう自動化するかです。

連邦政府の未処理問題

5 U.S.C. §552に基づき、機関は20営業日以内に回答しなければなりません。実際には、多くが数か月かかります。数年かかるものもあります。

DOJの100,000+ 件の未処理分は、手作業による審査でおよそ2 billion 分に相当します。これは、一件あたりわずか20分と仮定した場合です。政府の請求単価では、人件費は数十億に達します。

その時間の大半は、一つの作業に費やされます。職員が、氏名、住所、電話番号を探してページをスキャンするのです。これに弁護士の判断は要りません。必要なのはパターンの照合です。アルゴリズムなら数秒で終わります。

ARPA-HとHHSが求めたもの

ARPA-Hは、FOIA文書の処理のためのAI墨消しソフトウェアを求めました。示された要件は次のとおりです。

  • 適用除外6および7(C)の個人データの自動識別。
  • 大規模な文書群のバッチ処理。
  • 混在した形式のサポート:PDF、Word、メール。
  • 監査証跡の文書化。
  • FOIA回答に耐えうる出力。

HHS/CMSも同じ結論に達しました。増え続ける件数と変わらない人員では、手作業の確認は持続できなくなりました。これらの機関は新しい技術を追いかけていたのではありません。コンプライアンスの危機を解決しようとしていたのです。

州と地方:少ないリソース、同じ規則

連邦機関には、専任のFOIA部門と法務予算があります。州や地方の政府は、同じ法的義務を、はるかに少ないリソースで負っています。

カリフォルニア州のCPRAは、10暦日以内の回答を求めています。三人の法務チームしかない郡では、その期間内に2,000 件の文書をこなすことはできません。選択肢は限られています。

  1. 拒否または遅延する — 法的リスクを生みます。
  2. 臨時職員を雇う — 高価で遅いです。
  3. 機械的な墨消しの段階を自動化する。

選択肢3は、いまや手の届くところにあります。連邦機関が使っているのと同じバッチ処理を、郡の法務部門も利用できます。長い調達期間は不要です。公文書規則が各管轄でどう適用されるかは、当社のコンプライアンス概要をご覧ください。

EUのDSAR:同じ問題

GDPR第15条のデータ主体アクセス請求(DSAR)は、EUの組織に同様の課題を生みます。FOIAと異なり、DSARの義務は個人データを扱うすべての組織に適用されます。小さなSaaS企業が、大手銀行と同じ件数のDSARを受け取ることもあります。

実務上の課題はFOIAと同じです。組織は、特定の個人について保有するすべてのデータを提示しなければなりません。第三者の個人データは、回答から墨消しされなければなりません。期限は30日です。

メールのアーカイブ、サポートチケット、注文記録にまたがる一件のDSARは、確認すべき文書が数百件になることもあります。月に20–50 件のDSARを扱う組織では、手作業の確認に一人以上の専任職員が必要です。バッチの自動化は、それをパートタイムの作業に減らします。

機密記録のためのデスクトップ処理

Webベースのツールを使えない機関もあります。機関のシステム内に留めなければならないデータには、ローカル処理が必要です。

anonym.legalのデスクトップアプリは、このユースケースのために作られています。

  • デスクトップアプリは機関自身のハードウェア上でファイルを読み取ります。検出はEUホスト型APIで実行され、これが許可された唯一の往復通信です。
  • 接続はインターネット経由で、anonym.legalのみに許可リストで限定されています。ライブ接続が必要です。
  • バッチ実行では、一度に1–5,000 件のファイルを処理できます。
  • 対応形式:PDF、DOCX、XLSX、TXT、CSV、JSON、XML。
  • 処理済みのファイルは、ZIPアーカイブとしてまとめられます。
  • ファイルごとのメタデータを含むCSVおよびJSONのエクスポートが付属します。

厳格なデータ所在地の規則があり、外部への接続は許可されている機関には、これが適しています。デスクトップアプリは、Webプラットフォームと同じ検出モデル、つまり273 種類のエンティティに対応するXLM-RoBERTaを使います。真のエアギャップ・ネットワークで外部との接続がまったくない機関には、デスクトップアプリは適合しません。当社の姉妹製品であるanonym.plusは、代わりに検出を完全にデバイス上で実行します。

セットアップの詳細は、当社のデスクトップアプリのドキュメントをご覧ください。

導入上の注意点

監査証跡。 政府のワークフローでは、何を、どのような根拠で、誰が墨消ししたかの記録が必要です。バッチのメタデータが前の二つをカバーします。例外文書を職員の確認に回すことで、残りをカバーします。

一貫性。 ある文書では氏名を墨消ししながら、別の文書では見逃したFOIA回答は、法的なリスクを生みます。固定された自動化の設定は、この不一致をなくします。

SBU資料。 政府文書の多くは、機微ですが機密指定ではありません。ローカル処理なら、ネットワークを使わずにSBUファイルを処理できます。適切なDPA契約を結んだWebベースの処理は、SBU以外のファイルをカバーします。

出力形式。 Redact方式は黒いバーによる置き換えを使います。これは標準的なFOIAの墨消しの見た目に一致し、法廷への提出に適しています。トークン方式、たとえば [REDACTED - Exemption 6] は、より詳細な記録のために、適用除外の根拠の明示的な引用を加えます。

結論

FOIAは法的義務です。20営業日という期限は目標ではありません。請求の件数が職員の処理能力を超えると、失敗が生じます。

AIによるバッチ墨消しは、法的判断に取って代わるものではありません。機械的な段階、つまり何千もの文書にわたって標準的な個人データを見つけて印を付ける作業を取り除きます。その段階は、審査時間の70–80%を占めています。職員は、文脈が重要になる10–20%の文書に集中できます。

ARPA-HとHHS/CMSは、どちらもこれに気づきました。DSARの義務に直面する州・地方政府とEUの組織も、同じ課題に直面しています。信頼できる墨消しのワークフローがどう構成されるかは、当社のセキュリティとコンプライアンスの概要をご覧ください。

このアプローチの限界

機械的な墨消しの段階を自動化することは、正しい役割分担です。職員の時間は、判断を要する場面に使うべきで、氏名を探してページをスキャンすることに使うべきではありません。ただし、三つの限界があります。

ローカル処理が管理するのは保管であり、検出の品質ではありません。 外部接続が許可されている機関では、デスクトップアプリはファイルを機関のハードウェア上に留めますが、検出はanonym.legalのサーバー上で実行されます。これはデータ所在地の問題を解決しますが、墨消しをより正確にするわけではありません。真に接続のない機関では、代わりにanonym.plusが同じ種類のモデルを完全にデバイス上で実行します。どちらの場合も、見逃された氏名は、ファイルが建物の外に出たかどうかにかかわらず、見逃されたままです。保管場所の管理と検出の品質は別々の保証であり、ローカル処理を完全性の証明であるかのように扱うのは、はっきり指摘しておくべきカテゴリーの誤りです。

同梱されたオフラインモデルは、意図的に更新しなければ古くなります。 anonym.plusは、デバイス上の検出モデルを、インストールされたバージョンのまま固定します。新しい識別子の形式、機関固有の案件コード、変化する文書レイアウトは、誰かが意図的にバンドルを更新するまで認識されず、隔離されたネットワークでは自動更新もありません。anonym.legalのホスト型検出、つまりライブ接続のある環境でデスクトップアプリとWebプラットフォームが使うものは、代わりに自動で更新されます。オフラインの場合は、モデルの更新を運用上のタスクとして計画してテストし、更新のたびに最新の文書サンプルで再検証してください。そうしないと、パイプラインはこれまでと同じように動いているように見えたまま、精度が静かに劣化します。

防御可能性の基準が求めるのは、ツールの出力ではなく人間の判断です。 きれいなバッチレポートと監査ログは、FOIAやDSARの回答を裏付けますが、回答そのものではありません。適用除外6か7(C)かの判断、公人と私人の区別、特権の問題は、法的な判断です。何千もの文書にわたって、設定上の体系的な見逃しは何千回も繰り返されるため、バッチの規模は一つの誤りを平均化するのではなく、拡大します。機械的な段階は自動化できますが、合理的な注意義務は審査する弁護士に残り、例外キューにはそれに見合った人員を配置しなければなりません。

出典

データを保護する準備はできましたか?

48言語で273のエンティティタイプを使用してPIIを匿名化し始めましょう。