หมายเหตุจากทีมความปลอดภัยโปรโตคอลของ Ethereum Basis เกี่ยวกับการเรียกใช้ตัวแทน AI ที่ประสานงานกับโค้ดโปรโตคอลจริง รวมถึงวิธีที่เราจัดระเบียบงาน สิ่งที่อยู่ภายใต้การตรวจสอบอย่างละเอียด และสิ่งที่ทีมลูกค้าและนักวิจัยด้านความปลอดภัยสามารถรับได้ โพสต์นี้ยืนหยัดได้ด้วยตัวเอง โพสต์ในภายหลังจะเจาะลึกเกี่ยวกับลูกค้าแต่ละรายมากขึ้น
สิ่งที่เราทำอยู่ และสิ่งที่ทำให้เราประหลาดใจ
ในทีมความปลอดภัยโปรโตคอลของ Ethereum Basis เราได้เรียกใช้ตัวแทน AI ที่มีการประสานงานกับประเภทของระบบที่เครือข่ายต้องพึ่งพา เช่น ซอฟต์แวร์ระบบ รหัสเข้ารหัส และสัญญาที่ต้องถูกต้อง เจ้าหน้าที่พบข้อบกพร่องจริง ขณะนี้สิ่งหนึ่งเปิดเผยต่อสาธารณะแล้ว: ความตื่นตระหนกที่เรียกได้จากระยะไกลในการซุบซิบซับของ libp2p ซึ่งเป็นส่วนหลักของไคลเอ็นต์ฉันทามติ Ethereum แบบเพียร์ทูเพียร์ที่ทำงาน แก้ไข และเปิดเผยเป็น CVE-2026-34219 พร้อมให้เครดิตกับทีม
เจ้าหน้าที่ที่พบข้อบกพร่องไม่ใช่เรื่องน่าประหลาดใจ สิ่งที่น่าประหลาดใจคือมีงานเพียงเล็กน้อยในการค้นหาพวกมัน และมากเพียงใดในการบอกแมลงที่แท้จริงจากตัวที่เพิ่งดูเหมือนจริง
โพสต์นี้มีไว้สำหรับทีมลูกค้าและนักวิจัยด้านความปลอดภัยที่ต้องการทำสิ่งเดียวกัน โดยครอบคลุมถึงวิธีที่เราจัดระเบียบเจ้าหน้าที่ แถบที่ผู้สมัครต้องเคลียร์ก่อนที่จะนับเป็นการค้นพบ และนิสัยที่ทำให้ผลลัพธ์น่าเชื่อถือ
ทีมอื่นกำลังมาบรรจบกันในสูตรเดียวกัน ทีม Frontier Pink ของ Anthropic ได้สร้างตัวแทนขึ้นมา เขียนการทดสอบตามคุณสมบัติและพบจุดบกพร่องจริงในระบบนิเวศ Python. คลาวด์แฟลร์ ขับเคลื่อนโมเดลชายแดนผ่านชุดควบคุมการวิจัยด้านความปลอดภัย ต่อต้านระบบของตัวเอง ทุกคนเข้าสู่วงเดียวกัน: ชี้โมเดลที่มีความสามารถไปที่โค้ดเบส ปล่อยให้มันค้นหา และคัดแยกสิ่งที่กลับมา คำถามที่แท้จริงคือจะทำอย่างไรโดยไม่ให้จมอยู่กับเสียงรบกวนที่ทำให้เกิดความมั่นใจ
คำเตือนประการหนึ่ง: เครื่องมือสำหรับการตรวจสอบที่ขับเคลื่อนโดยตัวแทนดำเนินไปอย่างรวดเร็ว และการตั้งค่าเฉพาะใดๆ จะล้าสมัยภายในไม่กี่สัปดาห์ ดังนั้นโพสต์นี้จึงจงใจเกี่ยวกับวิธีการซึ่งยังคงอยู่อย่างต่อเนื่องมากกว่าการใช้เครื่องมือ การเปิดเผยข้อมูลเป็นหัวข้อของตัวเองและอาจจะเป็นโพสต์ของตัวเอง
ตัวแทนที่ชี้ไปที่โค้ดเบสนั้นเป็นเครื่องมือค้นหา เหมือนกับเครื่องดักฟัง ความแตกต่างคือสิ่งที่กลับมา เครื่องดักฟังจะแจ้งให้คุณทราบถึงการชนและร่องรอยสแต็ก เจ้าหน้าที่จะมอบสิ่งต่าง ๆ ให้กับคุณมากมาย รวมถึงการเขียนรายงาน (สายโซ่การโทร การเรียกร้องผลกระทบ ความร้ายแรงที่แนะนำ) และสิ่งประดิษฐ์ที่สนับสนุน เช่น การพิสูจน์แนวคิดที่คุณสามารถใช้กับโค้ดจริงได้
ทั้งหมดนี้ทำให้อ่านผลลัพธ์ได้ง่ายและเชื่อถือได้ ถือเป็นการพิสูจน์แนวคิดที่ใช้งานได้ดีที่สุด ดังนั้นอย่านับจำนวนผู้สมัครที่ตัวแทนผลิต นับดูว่ามีจริงกี่ราย
วิธีการจัดงาน
เราใช้ตัวแทนจำนวนมากขนานไปกับเป้าหมายเดียว พวกเขาประสานงานผ่านพื้นที่เก็บข้อมูลเอง โดยมีสถานะที่ใช้ร่วมกันในการควบคุมเวอร์ชัน และไม่มีกระบวนการกลางในการแจกงาน ตัวแทนเขียนคำกล่าวอ้างโดยที่ผู้อื่นสามารถมองเห็น ทำงาน และกระทำการได้
เราได้รับแนวทางนี้จากบทความของ Anthropic การสร้างคอมไพเลอร์ C พร้อมด้วยกลุ่มตัวแทนซึ่งพิกัดในลักษณะเดียวกัน ไม่มีผู้ประสานงานกลางที่จะสร้างหรือบำรุงรักษา และไม่มีอะไรผิดพลาดได้
บทบาทถูกสร้างขึ้นโดยงานที่ค้นพบ:
- รีคอนเปลี่ยนพื้นผิวการโจมตีให้กลายเป็นสมมติฐานที่เป็นรูปธรรมและทดสอบได้ ไม่ใช่ “ตรวจสอบตัวถอดรหัส” แต่ “ฟิลด์นี้ได้รับความเชื่อถือเมื่อผ่านจุดนี้ไปแล้ว นี่คือคุณสมบัติที่ควรเก็บไว้ วิธีที่อาจพัง และข้อพิสูจน์ที่จะแก้ไขได้”
- การล่าสัตว์ใช้สมมติฐานหนึ่งข้อ ติดตามเส้นทางโค้ด และพยายามสร้างตัวทำซ้ำ
- การเติมช่องว่างจะพิจารณาถึงสิ่งที่ได้รับการยอมรับและสิ่งที่ถูกปฏิเสธ เขียนสมมติฐานชุดถัดไป และติดตามการรายงานข่าว เพื่อไม่ให้เจ้าหน้าที่ดำเนินการไปในทิศทางเดียวกัน
- การตรวจสอบความถูกต้องจะตรวจสอบผู้สมัครแต่ละคนอีกครั้งโดยแยกจากกัน ลบรายการที่ซ้ำกัน และตัดสินใจ
เราไม่ได้คิดค้นไปป์ไลน์นี้ Cloudflare อธิบายขั้นตอนเดียวกัน การลาดตระเวน การล่าแบบคู่ขนาน การตรวจสอบอิสระ การขจัดข้อมูลซ้ำซ้อน การรายงาน และการเขียนขั้นตอนเหล่านี้ช่วยกำหนดรูปแบบของเรา
ต่อไปนี้คือลักษณะของผู้สมัครก่อนที่จะนับเป็นผลการสืบค้น:
goal: part and entry level an attacker can really attain invariant: the property that should maintain mechanism: the precise method it is perhaps made to break success: observable proof: a panic, a stall, an accepted-invalid enter reproducer: a self-contained artifact that runs in opposition to the actual code dedup: a key, so two brokers do not chase the identical factor
สคีมาอยู่ที่นั่นด้วยเหตุผล บังคับให้มีการกล่าวอ้างที่เฉพาะเจาะจงและทดสอบได้และมีคำจำกัดความที่ชัดเจนว่าเสร็จสิ้นแล้ว เจ้าหน้าที่ที่ต้องเขียนหลักฐานที่สังเกตได้ไม่สามารถปฏิเสธได้ว่า “สิ่งนี้ดูมีความเสี่ยง”
ทำซ้ำได้หรือไม่เกิดขึ้น
กฎข้อหนึ่งมีความสำคัญมากกว่ากฎอื่น ผู้สมัครจะไม่ค้นพบจนกว่าจะมีสิ่งประดิษฐ์ที่มีอยู่ในตัวเองซึ่งสร้างความล้มเหลวขึ้นมาใหม่เทียบกับโค้ดจริง และนั่นใช้สำหรับบุคคลที่ไม่ได้เขียนมัน
ผู้ทำซ้ำจะไม่อ่านบทความ และไม่สนใจว่าโมเดลจะฟังดูมั่นใจเพียงใด มันจะวิ่งหรือไม่วิ่งก็ได้
มูลค่าส่วนใหญ่อยู่ที่ผลบวกลวงที่ตรวจพบ มีสามคนเกิดขึ้นซ้ำแล้วซ้ำอีก และแต่ละคนคือตัวแทนที่รับบัตรผ่านด้วยเหตุผลที่ไม่ถูกต้อง:
- ความตื่นตระหนกที่เกิดขึ้นเฉพาะในรุ่นดีบักเท่านั้น คอมไพล์และรันตามวิธีที่ซอฟต์แวร์จัดส่งจริง และมูลค่าก็ล้อมรอบ ไม่มีอะไรขัดข้อง ดูเหมือนว่าจะเกิดอุบัติเหตุ แต่ไม่ใช่เลย
- ตัวสร้างซ้ำที่สร้างค่าภายในบางอย่างด้วยมือ ซึ่งไม่มีอินพุตจริงใด ๆ ที่สามารถสร้างขึ้นได้ เพราะทุกเส้นทางที่ผู้โจมตีควบคุมจะปฏิเสธมันเร็วกว่านั้น ข้อผิดพลาดเพียง “ทำซ้ำ” กับฟังก์ชันที่ไม่มีสิ่งใดเข้าถึงได้ในลักษณะนั้น
- ในงานตรวจสอบอย่างเป็นทางการ หมายถึงการพิสูจน์ที่ผ่านแต่ไม่ได้หมายความถึงสิ่งที่คุณต้องการ ข้อความนี้เป็นจริงเล็กน้อยไม่ว่าโค้ดจะทำอะไรก็ตาม หรืออ่อนแอกว่าคุณสมบัติที่คุณตั้งใจจะจับภาพ ผู้ตรวจสอบพอใจแล้ว แต่ทฤษฎีบทไม่ได้จำกัดพฤติกรรมที่คุณใส่ใจจริงๆ
สิ่งนี้ไม่ใช่เรื่องใหม่ ก็เหมือนกับการทดสอบที่ผ่านเพราะไม่ได้ตรวจสอบอะไรเลยจริงๆ มีอะไรใหม่คือปริมาณ ตัวแทนเขียนเวอร์ชันไร้ประโยชน์ได้เร็วเท่ากับเวอร์ชันจริงและมั่นใจเช่นกัน ดังนั้นการตรวจสอบจะต้องเป็นไปโดยอัตโนมัติ คุณไม่สามารถไว้วางใจให้ตัวแทนจับตัวเองได้
การแปลงสัญญาณรบกวนเป็นงานส่วนใหญ่
ผู้สมัครส่วนใหญ่ผิด ซ้ำ หรืออยู่นอกขอบเขต นั่นไม่ใช่ปัญหากับวิธีการนี้ นั่นคือวิธีการทำงาน เป้าหมายคือการปฏิเสธคนผิดอย่างรวดเร็วและสนับสนุนคนจริงด้วยข้อพิสูจน์ที่ยากต่อการโต้แย้ง
ผู้สมัครทุกคนที่รอดชีวิตจะได้รับเช็คอิสระสองครั้ง ผู้โจมตีที่แท้จริงสามารถเข้าถึงมันในรูปแบบปกติได้หรือไม่? และผู้โจมตีต้องเสียค่าใช้จ่ายเท่าไร เมื่อเทียบกับค่าใช้จ่ายของเครือข่ายหากใช้งานได้ จุดบกพร่องที่เพียร์เดียวสามารถทริกเกอร์ได้นั้นแตกต่างอย่างมากจากจุดบกพร่องที่ต้องการการเข้าถึงแบบพิเศษหรือต้องใช้ทรัพยากรจำนวนมาก
ทุกอย่างจะได้รับการตรวจสอบโดยเทียบกับรายการที่กำลังดำเนินการอยู่ซึ่งทราบแล้ว แก้ไขแล้ว หรือถูกปฏิเสธ หากปราศจากสิ่งนั้น เจ้าหน้าที่จะค้นพบปัญหาที่ปิดไปแล้วเดิมอีกครั้งและรายงานเรื่องนี้ครั้งแล้วครั้งเล่า
อัตราการยอมรับจะแตกต่างกันไปมากในแต่ละเป้าหมาย และรูปแบบนั้นก็มีประโยชน์ในตัวมันเอง เรียกใช้สิ่งนี้กับโค้ดที่เป็นผู้ใหญ่และได้รับการตรวจสอบอย่างหนัก และแทบไม่มีอะไรเหลือรอด ซึ่งยังคงคุ้มค่าที่จะรู้ “เราตรวจดูอย่างหนักแล้วไม่พบอะไรเลย” คือผลลัพธ์ที่แท้จริง เรียกใช้งานกับโค้ดที่มีการสำรวจน้อย หรือเทียบกับโค้ดที่ได้รับการตรวจสอบอย่างเป็นทางการ โดยที่การพิสูจน์ที่ตรวจสอบโดยเครื่องครอบคลุมโมเดลและโค้ดไบต์ที่ใช้งานนั้นถือว่าตรงกันเท่านั้น และยังมีอีกมากที่ผ่านไปได้
เราไม่ใช่คนเดียวที่พบว่าการคัดเลือกเป็นส่วนที่ยาก ประเด็นหลักของ Cloudflare ก็คือขอบเขตที่แคบมีมากกว่าการสแกนแบบกว้าง มานุษยวิทยา ตัวแทนการทดสอบตามคุณสมบัติ สร้างรายงานผู้สมัครนับพันรายการ จากนั้นใช้การจัดอันดับและการทบทวนโดยผู้เชี่ยวชาญเพื่อก้าวไปสู่ระดับบนสุดซึ่งคิดเป็นประมาณ 86 เปอร์เซ็นต์ของเวลาทั้งหมด รุ่นเป็นส่วนที่ง่าย ฉันจะไม่เผยแพร่ตัวเลขของเราเองที่นี่ เชื่อมโยงกับเป้าหมายที่เฉพาะเจาะจง พวกเขาจะพูดถึงเป้าหมายมากกว่าวิธีการ
สิ่งที่ตัวแทนเก่ง และจุดที่พวกเขาทำให้เข้าใจผิด
มีการกล่าวเกินจริงในทั้งสองทิศทาง ดังนั้นนี่คือรายการที่ชัดเจนเกี่ยวกับสิ่งที่เจ้าหน้าที่ทำได้ดีและจุดที่พวกเขาทำให้เข้าใจผิด
| เก่ง | หลงทางที่ |
|---|---|
| อ่าน Spec และ Code ร่วมกัน | สายโซ่การโทรที่ดูเหมือนเข้าถึงได้แต่ไม่สามารถเข้าถึงได้ |
| การระบุและการตรวจสอบค่าคงที่จริง | เล่นเกมตรวจสอบความสำเร็จ (ส่งบอลด้วยเหตุผลที่ผิด) |
| การร่างโปรแกรมสร้างซ้ำจากแนวคิดบรรทัดเดียว | เพิ่มความรุนแรงเพื่อให้เข้ากับความดราม่าของการเขียน |
| แนะนำสาเหตุก่อนที่คุณจะได้ดู | จุดบกพร่องที่ครอบคลุมลำดับขั้นตอนที่ถูกต้อง |
การแยกจากงานหนึ่งไปอีกงานหนึ่งไม่มั่นคงด้วยซ้ำ ป้อมสตานิสลาฟ ซึ่งกำลังทดสอบโมเดลต่างๆ เกี่ยวกับช่องโหว่ที่แท้จริง เรียกสิ่งนี้ว่า a ชายแดนขรุขระหรือโมเดลที่กู้คืนห่วงโซ่การหาประโยชน์เต็มรูปแบบบนฐานโค้ดหนึ่งอาจล้มเหลวในการติดตามกระแสข้อมูลพื้นฐานในอีกฐานหนึ่ง คุณไม่สามารถคาดเดาได้ว่าผลลัพธ์ที่ดีอันใดอันหนึ่งหมายความว่าผลลัพธ์ถัดไปจะรออยู่ ซึ่งเป็นอีกเหตุผลหนึ่งที่ทำให้ผู้สมัครทุกคนได้รับการตรวจสอบด้วยตัวเอง
แถวสุดท้ายเป็นแถวสำคัญ เซสชันตัวแทนเดี่ยวทำได้ดีในการให้เหตุผลแบบครั้งเดียว และไม่ดีสำหรับจุดบกพร่องที่ครอบคลุมลำดับขั้นตอน โดยที่แต่ละขั้นตอนถูกต้องและมีเพียงลำดับเท่านั้นที่ผิด ในกรณีนี้ ตัวแทนไม่ใช่เครื่องมือค้นหา หน้าที่ของมันคือการแนะนำลำดับที่คุ้มค่าที่จะใช้งาน ชุดทดสอบ stateful. ใช้วิธีนี้ก็ใช้ได้ดี ใช้แทนสายรัด ทำให้พลาดจุดบกพร่องที่แพงที่สุดที่มีอยู่ โดยที่จะแสดงข้ามลำดับเท่านั้น
รักษาความซื่อสัตย์
นิสัยบางประการทำหน้าที่ส่วนใหญ่ในการทำให้การค้นพบของตัวแทนน่าเชื่อถือ และไม่มีนิสัยใดที่ซับซ้อนเลย
- แหล่งที่มาของสิ่งประดิษฐ์ทุกชิ้น: อะไรเป็นผู้สร้างมัน มีบริบทอะไร เทียบกับการแก้ไขครั้งใด การค้นพบควรเป็นสิ่งที่คุณสามารถเรียกใช้อีกครั้งในอีกหลายเดือนต่อมา
- ความมุ่งมั่นที่มีความสำคัญ: สภาพแวดล้อมเดียว วิธีเดียวในการสร้างและดำเนินการ ดังนั้น “การทำซ้ำ” จึงมีความหมายเหมือนกันในทุกเครื่อง ไม่ใช่แค่เครื่องที่พบเท่านั้น
- บรรทัดฐาน ไม่ใช่สคริปต์: บอกตัวแทนถึงสิ่งที่สำคัญ ค่าคงที่และเกณฑ์ในการค้นหาจริง แทนที่จะเป็นขั้นตอนที่มีหมายเลขกำกับ เอเจนต์ที่มีสคริปต์มากเกินไปจะทำลายวิธีเดียวกับการทดสอบที่ระบุมากเกินไป โดยจะทำตามขั้นตอนต่างๆ หลังจากขั้นตอนต่างๆ หยุดสมเหตุสมผลแล้ว ก การศึกษาไฟล์บริบทของพื้นที่เก็บข้อมูล พบสิ่งเดียวกัน: ข้อกำหนดพิเศษช่วยลดความสำเร็จของงานและเพิ่มต้นทุนได้มากกว่า 20% และผู้เขียนแนะนำให้รักษาบริบทให้เป็นไปตามข้อกำหนดขั้นต่ำ
- บุคคลทำการโทรครั้งสุดท้าย: ตัวแทนแนะนำ พวกเขาไม่ได้ตัดสินใจว่าสิ่งใดเป็นจริง สิ่งใดซ้ำกับปัญหาที่ทราบ หรือสิ่งใดจะถูกเปิดเผยและเมื่อใด
คอขวดถูกย้าย
AI ไม่ได้แทนที่นักวิจัยด้านความปลอดภัย ก็ย้ายงาน.. เวลาที่ใช้ในการคิดและไล่ตามสมมติฐาน บัดนี้เข้าสู่การตัดสินในวงกว้าง รวมถึงการสร้าง oracle การเรียกใช้ triage การเก็บรายการปัญหาที่ทราบ และการจัดการการเปิดเผย
คอขวดไม่ได้หายไป มันเปลี่ยนจากการค้นหาจุดบกพร่องไปสู่การเชื่อถือผลลัพธ์ ซึ่งเป็นที่ที่ดีกว่า เพราะนั่นคือสิ่งที่การตัดสินของมนุษย์มีความสำคัญจริงๆ แต่มันก็ยังคงเป็นปัญหาคอขวด และการเพิกเฉยต่อนั่นคือวิธีที่คุณจะจัดส่งผิด “ไม่เป็นไร”
แนวทางปฏิบัติที่ทำให้งานนี้ไม่ใช่เรื่องใหม่ ความล้มเหลวที่ทำซ้ำได้ คำพยากรณ์ที่แท้จริง และการคัดเลือกอย่างระมัดระวังเป็นแนวทางปฏิบัติเดียวกันที่เปลี่ยนความคลุมเครือจากหัวข้อการวิจัยไปสู่การปฏิบัติมาตรฐานในช่วงสิบห้าปีที่ผ่านมา เครื่องมือเป็นของใหม่ แนวปฏิบัติก็ไม่ได้
เครื่องมือมีการเปลี่ยนแปลงเร็วแค่ไหนเป็นคำถามเปิด นิโคลัส คาร์ลินี ผู้ระมัดระวังและเคยเป็นคนขี้ระแวง ระบุว่ากรณีเอ็กซ์โปเนนเชียลนั้นควรค่าแก่การพิจารณาอย่างจริงจังแม้ว่าเขาจะเก็บแถบข้อผิดพลาดไว้กว้างก็ตาม หากฝ่ายรุ่นปีนขึ้นไปเร็วขนาดนั้น ฝ่ายตัดสินก็ต้องไต่ตามไปด้วย ไม่เช่นนั้นช่องว่างระหว่างสิ่งที่ผลิตกับสิ่งที่ได้รับการยืนยันจริงก็จะกว้างขึ้นเท่านั้น
สำหรับระบบที่ Ethereum ขึ้นอยู่กับนั่นคือส่วนที่สำคัญ ตัวแทนให้เราครอบคลุมพื้นที่ได้มากกว่าที่เราสามารถทำได้ด้วยมือ ในการแลกเปลี่ยน พวกเขาขอให้มีการตัดสินอย่างรอบคอบมากขึ้น สำหรับการกล่าวอ้างที่ฟังดูมั่นใจจำนวนมาก นั่นเป็นการสร้างมูลค่าทางการค้า ตราบใดที่คุณจำไว้ว่าการตัดสินนั้นเป็นผลิตภัณฑ์จริง
