ความรับผิดสองทางจากการปิดทับที่ไม่เหมาะสม
ทีมกฎหมายเผชิญรูปแบบความล้มเหลวในการปิดทับสองประการ และทั้งสองสร้างความรับผิด
การปิดทับน้อยเกินไป เปิดเผยเนื้อหาที่ได้รับสิทธิ์ ข้อมูลทางธุรกิจที่เป็นความลับ หรือข้อมูลส่วนบุคคลที่ควรถูกระงับ ฝ่ายที่เปิดเผยข้อมูลได้เปิดเผยเนื้อหาที่ตนมีสิทธิ์ และในบางกรณีมีหน้าที่ต้องปกป้อง
การปิดทับมากเกินไป ระงับข้อมูลที่ตอบสนองซึ่งฝ่ายตรงข้ามมีสิทธิ์รับ ฝ่ายที่เปิดเผยข้อมูลได้ขัดขวางกระบวนการค้นพยาน อาจซ่อนหลักฐานไว้เบื้องหลังข้ออ้างเรื่องสิทธิ์ที่ไม่ชอบด้วยกฎหมาย ศาลถือว่าการปิดทับมากเกินไปเป็นการละเมิดการค้นพยานที่อาจถูกลงโทษ
เครื่องมือปิดทับด้วย AI ที่ให้ความสำคัญกับ recall มากกว่าความแม่นยำ โดยทำเครื่องหมายเนื้อหาที่อาจละเอียดอ่อนสูงสุด จะสร้างรูปแบบความล้มเหลวที่สองอย่างเป็นระบบ เมื่อเครื่องยนต์ปิดทับ AI ปิดทับ 80% ของเนื้อหาเอกสารเพื่อให้แน่ใจว่าไม่พลาดสิ่งที่มีสิทธิ์ เอกสารที่ได้ก็ไม่มีประโยชน์ในทางปฏิบัติและอาจถูกลงโทษ
Athletics Investment Group v. Schnitzer Steel (2024)
คดีปี 2024 ของ Athletics Investment Group v. Schnitzer Steel แสดงให้เห็นถึงการตอบสนองของศาลต่อการปิดทับที่ไม่เหมาะสมใน e-discovery
คดีนี้เกี่ยวกับข้อพิพาททางการค้าที่เอกสารที่ฝ่ายหนึ่งเปิดเผยมีการปิดทับที่ฝ่ายตรงข้ามท้าทาย ศาลตรวจสอบเนื้อหาที่ถูกปิดทับและพบว่าการปิดทับเกินกว่าที่กฎหมายสิทธิ์หรือหลักคำสอนความลับอนุญาต
ผลที่ตามมา: บทลงโทษด้านการค้นพยาน ศาลกำหนดโทษต่อฝ่ายที่เปิดเผยเอกสารสำหรับการปิดทับที่ไม่เหมาะสม ซึ่งเป็นมาตรการที่ใช้ได้ตาม Federal Rule of Civil Procedure 37 สำหรับการละเมิดการค้นพยาน ฝ่ายที่เปิดเผยรับภาระจากการใช้กระบวนการปิดทับที่ไม่เพียงพอ
คดีนี้มีความสำคัญไม่ใช่เพราะบทลงโทษจากการปิดทับมากเกินไปเป็นเรื่องใหม่ แต่เพราะเกิดขึ้นในบริบทการฟ้องร้องที่เครื่องมือรีวิวด้วย AI เป็นเรื่องปกติแล้ว คำถามที่คดีนี้ตั้งขึ้นคือทีมกฎหมายได้ประเมินลักษณะความแม่นยำของเครื่องมือปิดทับ AI ก่อนนำไปใช้หรือไม่
ปัญหาความแม่นยำ 22.7%
Presidio ซึ่งเป็นเครื่องยนต์ตรวจจับ PII แบบโอเพนซอร์สที่พัฒนาโดย Microsoft และใช้กันอย่างแพร่หลายในแอปพลิเคชันเทคโนโลยีทางกฎหมาย ทำได้ ความแม่นยำ 22.7% บนเอกสารทางกฎหมายในการทดสอบอิสระ
ความแม่นยำวัดว่าการระบุผลบวกของเครื่องมือถูกต้องบ่อยแค่ไหน ความแม่นยำ 22.7% หมายความว่าประมาณ 77 จาก 100 รายการที่เครื่องมือระบุว่าละเอียดอ่อนไม่เป็นไปตามเกณฑ์ความละเอียดอ่อนที่ถูกระบุ
สำหรับแอปพลิเคชัน e-discovery นี่มีผลทางปฏิบัติโดยตรง ชุดเอกสาร 10,000 รายการที่ประมวลผลด้วยเครื่องมือที่ทำได้ความแม่นยำ 22.7% จะมีการปิดทับหลายพันรายการที่ไม่มีพื้นฐานด้านสิทธิ์หรือความลับที่ชอบด้วยกฎหมาย ฝ่ายที่เปิดเผยที่อาศัยผลลัพธ์นั้นเผชิญกับการเปิดเผยแบบเดียวกับฝ่ายใน Athletics Investment Group: เอกสารที่ฝ่ายตรงข้ามจะท้าทาย ศาลที่จะตรวจสอบเนื้อหาที่ถูกปิดทับ และบทลงโทษหากการปิดทับไม่สามารถพิสูจน์ได้
ตัวเลข 22.7% สะท้อนถึงการกำหนดค่าแบบ out-of-box ของ Presidio บนเนื้อหาทางกฎหมาย ไม่ใช่เครื่องมือปิดทับด้วย AI ทั้งหมด แต่แสดงถึงประสิทธิภาพพื้นฐานของเครื่องยนต์โอเพนซอร์สที่ใช้กันมากที่สุดในการผสานรวมเทคโนโลยีทางกฎหมาย
ปัญหาความแม่นยำนั้นเป็นเชิงโครงสร้าง: ระบบรู้จำเอนทิตี้ด้วย NLP ที่ฝึกบนคลังข้อความทั่วไปทำงานต่างกันในภาษากฎหมายซึ่งใช้คำศัพท์เฉพาะ คำย่อ รูปแบบเอกสาร และโครงสร้างการอ้างอิงที่แตกต่างจากข้อมูลการฝึก เครื่องมือที่ทำได้ความแม่นยำที่ยอมรับได้บนบันทึกทางการแพทย์หรืองบการเงินอาจทำงานได้แย่กว่ามากบนบันทึกการให้การ จดหมายโต้ตอบ และเอกสารประกอบสัญญา
สิ่งที่การวิเคราะห์เนื้อหา AI Chatbot เผยให้เห็น
บริบทสำหรับการนำ AI มาใช้ในการปฏิบัติทางกฎหมายถูกกำหนดโดยข้อมูลการใช้งาน: 27.4% ของเนื้อหา AI chatbot เป็นข้อมูลละเอียดอ่อน ตามการวิเคราะห์อิสระของรูปแบบการใช้ AI ขององค์กร
ตัวเลขนี้อธิบายสิ่งที่พนักงานส่งไปยังเครื่องมือ AI เมื่อใช้สำหรับงาน ไม่ใช่ข้อมูลที่พวกเขาตั้งใจแชร์ แต่เป็นเนื้อหาที่ละเอียดอ่อนโดยบังเอิญ สำหรับนักกฎหมายที่ใช้ AI เพื่อร่างจดหมาย สรุปการให้การ วิเคราะห์สัญญา หรือค้นคว้ากฎหมาย เนื้อหาที่ละเอียดอ่อนเข้าสู่แพลตฟอร์ม AI เป็นผลพลอยได้จากงานปกติ
ตัวเลข 27.4% แสดงว่าเกือบสามในสิบการโต้ตอบกับเครื่องมือ AI ในสภาพแวดล้อมทางกฎหมายเกี่ยวข้องกับเนื้อหาละเอียดอ่อน ได้แก่ ข้อมูลลูกค้า การสื่อสารที่มีสิทธิ์ กลยุทธ์คดีที่เป็นความลับ หรือข้อมูลของฝ่ายตรงข้าม เนื้อหานั้นถึงโครงสร้างพื้นฐานของผู้ให้บริการ AI ในรูปแบบที่ใช้งานได้ เว้นแต่จะมีมาตรการควบคุมทางเทคนิคสกัดกั้นก่อน
สำหรับสำนักงานกฎหมายที่ประเมินท่าทีด้านความปลอดภัย AI, 27.4% ไม่ใช่ความเสี่ยงเล็กน้อย แต่เป็นสมมติฐานพื้นฐาน: เกือบหนึ่งในสามของการใช้ AI ในสภาพแวดล้อมทางกฎหมายจะเกี่ยวข้องกับเนื้อหาที่ต้องการการปกป้อง
ห่วงโซ่ความรับผิดที่ต่อเนื่อง
การปิดทับมากเกินไปและการเปิดเผยข้อมูลผ่านเครื่องมือ AI สร้างห่วงโซ่ความรับผิดที่แตกต่างแต่เกี่ยวโยงกันสำหรับทีมกฎหมาย
ห่วงโซ่ความรับผิดจากการปิดทับมากเกินไป: AI ทำเครื่องหมายเอกสารสูงสุด → ทนายความตรวจสอบผลลัพธ์โดยไม่ตรวจสอบการปิดทับแต่ละรายการ → ส่งเอกสารพร้อมการปิดทับที่ไม่มีพื้นฐาน → ฝ่ายตรงข้ามท้าทาย → ศาลตรวจสอบ → บทลงโทษ
ห่วงโซ่ความรับผิดจากการเปิดเผยข้อมูล AI: ทนายความใช้ AI ช่วยงานคดี → AI ได้รับการสื่อสารลูกค้าที่มีสิทธิ์ กลยุทธ์ที่เป็นความลับ หรือข้อมูลคดีที่ละเอียดอ่อน → โครงสร้างพื้นฐานผู้ให้บริการ AI ถูกเจาะ → ข้อมูลลูกค้าถูกเปิดเผย → สิทธิ์ทนายความ-ลูกค้าอาจถูกกระทบ → ความเสี่ยงจากการประมาทเลินเล่อ
ทั้งสองห่วงโซ่เริ่มต้นที่จุดเดียวกัน: ทีมกฎหมายที่นำ AI มาใช้โดยไม่เข้าใจลักษณะทางเทคนิคของเครื่องมือหรือดำเนินมาตรการควบคุมที่เหมาะสมกับงานทางกฎหมาย
การปิดทับที่เน้นความแม่นยำสำหรับเอกสารทางกฎหมาย
มาตรฐานทางกฎหมายสำหรับการปิดทับไม่ได้ถูกปรับให้เหมาะสมกับ recall ศาลที่ประเมินการปิดทับที่ถูกท้าทายถามว่าการปิดทับเฉพาะแต่ละรายการได้รับการพิสูจน์โดยสิทธิ์ หลักคำสอนความลับ หรือคำสั่งคุ้มครองที่ใช้บังคับหรือไม่ ไม่ใช่ว่าเครื่องมือของฝ่ายที่เปิดเผยทำเครื่องหมายมากที่สุดเท่าที่เป็นไปได้เพื่อความปลอดภัย
การปิดทับที่ไม่สามารถพิสูจน์ได้ถือเป็นการละเมิดการค้นพยานโดยไม่คำนึงว่าถูกสร้างโดยผู้ตรวจสอบมนุษย์หรือเครื่องมือ AI การสอบถามของศาลเป็นระดับเอกสาร ไม่ใช่ระดับระบบ
สำหรับทีมกฎหมาย นัยทางปฏิบัติคือเครื่องมือปิดทับต้องได้รับการประเมินเรื่องความแม่นยำ ซึ่งก็คือเปอร์เซ็นต์ของรายการที่ทำเครื่องหมายซึ่งมีสิทธิ์หรือเป็นความลับอย่างถูกต้อง ไม่ใช่แค่ recall เครื่องมือที่ทำได้ recall 90% พร้อมความแม่นยำ 22.7% อาจจับเนื้อหาที่ละเอียดอ่อนได้มากกว่า แต่กำหนดภาระการตรวจสอบด้วยตนเองสำหรับผลบวกเท็จ 77.3% และสร้างความเสี่ยงจากการปิดทับมากเกินไปอย่างเป็นระบบเมื่อการตรวจสอบนั้นไม่เกิดขึ้น
สภาพแวดล้อมทางกฎหมายต้องการความแม่นยำระดับเอกสาร การปิดทับแต่ละรายการในเอกสารที่เปิดเผยแสดงถึงคำยืนยันโดยนัยต่อศาลว่าเนื้อหาที่ถูกปิดทับถูกระงับอย่างชอบด้วยกฎหมาย มาตรฐานหลัง Athletics Investment Group นั้นชัดเจน: คำยืนยันนั้นต้องถูกต้อง
แหล่งที่มา: