FOIA. Արհեստական բանականությունը խմբագրումը շաբաթներից հասցնում է ժամերի
Թարմացված է 2026 թվականի համար։
2024 թվականին դաշնային կառավարությունը FOIA հարցումների մշակման վրա ծախսել է մոտ 500 միլիոն դոլար։ Այդ ծախսի մեծ մասը ձեռքով խմբագրումն էր (սևացումը)։ DOJ-ի կուտակումը գերազանցել է 100,000 բաց հարցումը։
ARPA-H-ը 2025 թվականին գնում հայտարարեց արհեստական բանականությամբ խմբագրման ծրագրային ապահովման համար։ HHS-ը պարզեց, որ իր CMS ստորաբաժանումը կարիք ունի արհեստական բանականությամբ աշխատող գործիքների։ Ձեռքի աշխատանքը ստեղծել էր կուտակումներ, որոնք աշխատակիցները չէին կարողանում մաքրել։
Հարցը փոխվել է։ Այն այլևս չի վերաբերում նրան, թե արդյոք ավտոմատացնել։ Խոսքը վերաբերում է նրան, թե ինչպես անել դա այնպես, որ այն դատարանում դիմանա։
Դաշնային կուտակման խնդիրը
5 U.S.C. §552-ի համաձայն՝ գործակալությունները պետք է պատասխանեն 20 աշխատանքային օրվա ընթացքում։ Գործնականում շատերը ծախսում են ամիսներ։ Ոմանք՝ տարիներ։
DOJ-ի 100,000+ հարցումների կուտակումը հավասար է ձեռքով վերանայման մոտ 2 միլիարդ րոպեի։ Սա ենթադրում է հարցումի համար ընդամենը 20 րոպե։ Պետական սակագներով աշխատուժի ծախսը հասնում է միլիարդների։
Այդ ժամանակի մեծ մասը գնում է մեկ առաջադրանքի վրա։ Աշխատակիցները էջերը սկանավորում են՝ անուններ, հասցեներ և հեռախոսահամարներ փնտրելով։ Դա փաստաբանի դատողություն չի պահանջում։ Այն պահանջում է օրինաչափությունների համադրում։ Ալգորիթմը դա անում է վայրկյաններում։
Ինչ էին պահանջում ARPA-H-ը և HHS-ը
ARPA-H-ը փնտրում էր արհեստական բանականությամբ խմբագրման ծրագրային ապահովում FOIA փաստաթղթերի մշակման համար։ Նրանց նշված պահանջներն էին.
- Exemption 6-ի և 7(C)-ի ենթակա անձնական տվյալների ավտոմատ նույնականացում։
- Փաստաթղթերի մեծ հավաքածուների խմբաքանակային մշակում։
- Խառը ձևաչափերի աջակցություն՝ PDF, Word և էլփոստ։
- Աուդիտի հետքի փաստաթղթավորում։
- Պաշտպանելի արդյունք FOIA պատասխանի համար։
HHS/CMS-ը հանգեց նույն եզրակացության։ Աճող ծավալները և անփոփոխ կադրային համալրումը ձեռքով վերանայումը դարձրին անկայուն։ Այս գործակալությունները նոր տեխնոլոգիայի հետևից չէին ընկել։ Նրանք լուծում էին համապատասխանության ճգնաժամ։
Նահանգային և տեղական մակարդակ. ավելի քիչ ռեսուրսներ, նույն կանոնները
Դաշնային գործակալություններն ունեն հատուկ FOIA գրասենյակներ և իրավական բյուջեներ։ Նահանգային և տեղական իշխանությունները բախվում են նույն իրավական պարտականություններին՝ զգալիորեն քիչ ռեսուրսներով։
Կալիֆոռնիայի CPRA-ն պահանջում է պատասխաններ 10 օրացուցային օրվա ընթացքում։ Երեք հոգանոց իրավական թիմով շրջանը չի կարող այդ ժամկետում մշակել 2,000 փաստաթուղթ։ Տարբերակները սահմանափակ են.
- Մերժել կամ ձգձգել՝ ինչը իրավական ռիսկ է ստեղծում։
- Վարձել ժամանակավոր աշխատակիցներ՝ թանկ և դանդաղ։
- Ավտոմատացնել խմբագրման մեխանիկական փուլը։
Տարբերակ 3-ն այժմ հասանելի է։ Նույն խմբաքանակային մշակումը, որը օգտագործում են դաշնային գործակալությունները, հասանելի է շրջանային իրավական բաժիններին։ Երկար գնումների ժամկետներ չեն պահանջվում։ Տե՛ս մեր համապատասխանության ակնարկը՝ իմանալու համար, թե ինչպես են հանրային գրառումների կանոնները կիրառվում տարբեր իրավազորություններում։
ԵՄ DSAR-ներ. նույն խնդիրը
GDPR-ի 15-րդ հոդվածի համաձայն տվյալների սուբյեկտի հասանելիության հարցումները (DSAR) զուգահեռ մարտահրավեր են ստեղծում ԵՄ կազմակերպությունների համար։ FOIA-ից տարբերվող՝ DSAR պարտականությունները վերաբերում են անձնական տվյալներ մշակող բոլոր կազմակերպություններին։ Փոքր SaaS ընկերությունը կարող է ստանալ նույն ծավալի DSAR-ներ, ինչ խոշոր բանկը։
Գործնական մարտահրավերը արտացոլում է FOIA-ն։ Կազմակերպությունը պետք է տրամադրի կոնկրետ անձի մասին պահվող բոլոր տվյալները։ Երրորդ անձանց անձնական տվյալները պետք է խմբագրվեն պատասխանից։ Վերջնաժամկետը 30 օր է։
Էլփոստի արխիվների, աջակցության հայտերի և պատվերի գրառումների վրա ազդող յուրաքանչյուր DSAR կարող է նշանակել ստուգման ենթակա հարյուրավոր փաստաթղթեր։ Ամսական 20–50 DSAR մշակող կազմակերպությունների համար ձեռքով վերանայումը պահանջում է մեկ կամ ավելի լրիվ դրույքով աշխատակից։ Խմբաքանակային ավտոմատացումը դա հասցնում է կես դրույքի աշխատանքի։
Աշխատասեղանի մշակում զգայուն գրառումների համար
Որոշ գործակալություններ չեն կարող օգտագործել վեբ հիմքով գործիքներ։ Տվյալները, որոնք պետք է մնան գործակալության համակարգերում, պահանջում են տեղային մշակում։
anonym.legal-ի Desktop App-ը ստեղծված է այս կիրառման համար.
- Desktop App-ը կարդում է ֆայլերը գործակալության սեփական սարքավորման վրա. հայտնաբերումն աշխատում է ԵՄ-ում հոսթավորվող API-ի վրա՝ միակ թույլատրված փոխանակությամբ։
- Կապը ինտերնետային է և թույլատրված ցանկում սահմանափակված է միայն anonym.legal-ով՝ կենդանի կապը պարտադիր է։
- Խմբաքանակային աշխատանքները միանգամից մշակում են 1-ից 5,000 ֆայլ։
- Աջակցվող ձևաչափեր՝ PDF, DOCX, XLSX, TXT, CSV, JSON, XML։
- Մշակված ֆայլերը փաթեթավորվում են որպես ZIP արխիվ։
- Ներառված են CSV և JSON արտահանում՝ յուրաքանչյուր ֆայլի մետատվյալներով։
Տվյալների պահպանման խիստ կանոններ ունեցող, բայց արտաքին կապ թույլատրող գործակալությունների համար սա հարմար լուծում է. Desktop App-ը օգտագործում է նույն հայտնաբերման մոդելը՝ XLM-RoBERTa՝ 273 միավորի տեսակով, ինչ վեբ հարթակը։ Իրապես անջատված ցանցով և առանց արտաքին կապի գործակալությունների համար Desktop App-ը հարմար չէ. մեր քույր արտադրանքը՝ anonym.plus-ը, հայտնաբերումն ամբողջությամբ կատարում է սարքի վրա։
Կարգավորման մանրամասների համար տե՛ս Desktop App-ի փաստաթղթերը։
Իրականացման նշումներ
Աուդիտի հետքեր։ Պետական աշխատանքային գործընթացները պահանջում են գրառումներ՝ ինչն է խմբագրվել, ինչ հիմքով և ում կողմից։ Խմբաքանակի մետատվյալները ընդգրկում են առաջին երկուսը։ Մնացածը ընդգրկում է բացառիկ փաստաթղթերը աշխատակիցների վերանայմանը ուղղելը։
Համահունչություն։ FOIA պատասխանը, որը մի փաստաթղթում սևացնում է անունը, բայց մյուսում բաց է թողնում, իրավական խոցելիություն է ստեղծում։ Ֆիքսված ավտոմատացված կոնֆիգուրացիան վերացնում է այդ անհամապատասխանությունը։
SBU նյութեր։ Շատ պետական փաստաթղթեր զգայուն են, բայց ոչ գաղտնի։ Տեղային մշակումը SBU ֆայլերը մշակում է առանց ցանցի օգտագործման։ Վեբ հիմքով մշակումը պատշաճ DPA համաձայնագրերով ընդգրկում է ոչ SBU ֆայլերը։
Ելքային ձևաչափ։ Redact մեթոդն օգտագործում է սև շերտով փոխարինում։ Սա համապատասխանում է ստանդարտ FOIA խմբագրումների տեսքին և հարմար է դատարան ներկայացնելու համար։ Թոքենային մոտեցումը՝ օրինակ՝ [REDACTED - Exemption 6], ավելացնում է բացառության հստակ հղում ավելի մանրամասն գրառումների համար։
Ամփոփում
FOIA-ն իրավական պարտականություն է։ 20 աշխատանքային օրվա ժամկետը նպատակ չէ։ Երբ հարցումների ծավալը գերազանցում է աշխատակիցների հնարավորությունները, հաջորդում են ձախողումներ։
Արհեստական բանականությամբ խմբաքանակային խմբագրումը չի փոխարինում իրավական դատողությանը։ Այն վերացնում է մեխանիկական փուլը՝ հազարավոր փաստաթղթերում ստանդարտ անձնական տվյալների գտնելը և նշելը։ Այդ փուլը սպառում է վերանայման ժամանակի 70–80%-ը։ Աշխատակիցները կարող են այնուհետև կենտրոնանալ փաստաթղթերի այն 10–20%-ի վրա, որտեղ համատեքստը կարևոր է։
ARPA-H-ը և HHS/CMS-ը երկուսն էլ դա տեսան։ Նահանգային և տեղական իշխանությունները և ԵՄ կազմակերպությունները, որոնք բախվում են DSAR պարտականությունների հետ, կանգնած են նույն մարտահրավերի առջև։ Տե՛ս մեր անվտանգության և համապատասխանության ակնարկը՝ իմանալու համար, թե ինչպես են կառուցվում պաշտպանելի խմբագրման աշխատանքային գործընթացները։
Երբ այս մոտեցումն ունի սահմանափակումներ
Խմբագրման մեխանիկական փուլի ավտոմատացումը աշխատանքի ճիշտ բաժանումն է. աշխատակիցների ժամանակը պատկանում է դատողություն պահանջող որոշումներին, ոչ թե անուններ փնտրելով էջեր սկանավորելուն։ Բայց գործում են երեք սահմանափակում։
Տեղային մշակումը վերահսկում է պահպանումը, ոչ թե հայտնաբերման որակը։ Արտաքին կապ թույլատրող գործակալությունների համար Desktop App-ը ֆայլերը պահում է գործակալության սարքավորման վրա, մինչդեռ հայտնաբերումն աշխատում է anonym.legal-ի սերվերների վրա. սա լուծում է տվյալների բնակության հարցը, բայց խմբագրումը ավելի ճշգրիտ չի դարձնում։ Իրապես զրոյական կապ ունեցող գործակալությունների համար anonym.plus-ը նույն դասի մոդելն ամբողջությամբ աշխատեցնում է սարքի վրա։ Ամեն դեպքում՝ բաց թողնված անունը բաց է մնում՝ անկախ նրանից, թե ֆայլը երբևէ լքել է շենքը, թե ոչ։ Տեղակայման վերահսկողությունը և հայտնաբերման որակը առանձին երաշխիքներ են, և տեղային մշակումը ամբողջականության վկայական համարելը կատեգորիայի սխալ է, որը արժե ուղղակի անվանել։
Ներկառուցված, օֆլայն մոդելը հնանում է առանց դիտավորյալ թարմացումների։ anonym.plus-ը սարքի վրայի հայտնաբերման մոդելը սառեցնում է տեղադրված տարբերակի վրա. նույնացուցիչների նոր ձևաչափերը, գործակալության հատուկ գործերի կոդերը և զարգացող փաստաթղթերի դասավորությունները չեն ճանաչվի, քանի դեռ ինչ-որ մեկը դիտավորյալ չի թարմացրել փաթեթը, և մեկուսացված ցանցում ավտոմատ թարմացում չկա։ anonym.legal-ի հոսթավորվող հայտնաբերումը՝ որն օգտագործում են Desktop App-ը և վեբ հարթակը, որտեղ կա կենդանի կապ, փոխարենը թարմացվում է ավտոմատ։ Օֆլայն դեպքի համար մոդելի թարմացումները պլանավորեք և փորձարկեք որպես գործառնական առաջադրանք, և յուրաքանչյուրից հետո վերստուգեք ընթացիկ փաստաթղթերի նմուշների վրա, այլապես ճշգրտությունը աննկատ նվազում է, մինչդեռ խողովակաշարը կարծես աշխատում է ճիշտ առաջվա պես։
Պաշտպանելիության ստանդարտը պահանջում է մարդու դատողություն, ոչ թե գործիքի արդյունք։ Խմբաքանակի մաքուր հաշվետվությունը և աուդիտի մատյանը աջակցում են FOIA կամ DSAR պատասխանին, բայց չեն հանդիսանում այն։ Exemption 6-ի և 7(C)-ի միջև ընտրությունը, պաշտոնական և մասնավոր անձանց տարբերակումը և արտոնությունների հարցերը իրավական որոշումներ են։ Հազարավոր փաստաթղթերում կոնֆիգուրացիայի համակարգային բացթողումը վերարտադրվում է հազարավոր անգամներ, ուստի խմբաքանակի մասշտաբը մեծացնում է մեկ սխալը, ոչ թե հարթեցնում այն։ Մեխանիկական փուլը կարելի է ավտոմատացնել. խելամիտ հոգատարության պարտականությունը մնում է վերանայող փաստաբանին, և բացառությունների հերթը պետք է համապատասխանաբար համալրվի աշխատակիցներով։