การลบพื้นหลังด้วย AI ทำงานอย่างไรจริง ๆ?

คลิกปุ่ม แล้วอีกวินาทีต่อมาพื้นหลังของภาพก็หายไป ถูกแทนที่ด้วยลายตารางหมากรุกโปร่งใสสะอาดตา มันรู้สึกเหมือนเวทมนตร์ แต่ไม่มีเวทมนตร์ และบน IMG.DIY ก็ไม่มีเซิร์ฟเวอร์ทำงานให้ด้วย นี่คือสิ่งที่เกิดขึ้นจริงระหว่างการคลิกกับภาพที่ถูกตัด

งานที่แท้จริง: ตัดสินว่าพิกเซลไหนคือ "ตัวแบบ"

การลบพื้นหลังจริง ๆ แล้วคือปัญหาการติดป้าย สำหรับทุกพิกเซลในภาพของคุณ ซอฟต์แวร์ต้องตอบคำถามเดียว: นี่เป็นส่วนหนึ่งของตัวแบบ หรือส่วนหนึ่งของพื้นหลัง? ทำแบบนั้นกับทุกพิกเซลแล้วคุณจะได้มาสก์ ซึ่งเป็นแผนที่ขาวดำที่สีขาวหมายถึง "เก็บไว้" และสีดำหมายถึง "ลบ" วางมาสก์ทับภาพต้นฉบับ ทิ้งพื้นที่สีดำไป แล้วคุณก็ได้ภาพที่ถูกตัด

งานนี้มีชื่อในวิทยาการคอมพิวเตอร์เชิงภาพ: การแบ่งส่วนภาพ (image segmentation) โดยเฉพาะการลบพื้นหลังใช้ การแบ่งส่วนวัตถุเด่น (salient object segmentation) หมายความว่าโมเดลพยายามหาสิ่งหนึ่งเดียวที่มนุษย์จะบอกว่าภาพนั้น "เกี่ยวกับ" อะไร แล้วแยกมันออกจากทุกสิ่งที่เหลือ

โมเดลเรียนรู้ที่จะเห็นตัวแบบได้อย่างไร

โมเดลไม่ได้ทำตามกฎที่เขียนด้วยมืออย่าง "หยิบสิ่งที่มีรูปร่างเหมือนคน" มันคือโครงข่ายประสาทเทียมที่ถูกฝึกด้วยภาพหลายหมื่นภาพที่มนุษย์วาดมาสก์ที่สมบูรณ์แบบด้วยมือไว้แล้ว ระหว่างการฝึก โครงข่ายเดา ถูกนำไปเทียบกับคำตอบของมนุษย์ แล้วปรับตัวเองนิดหน่อยให้ผิดน้อยลง ทำซ้ำแบบนั้นหลายล้านครั้งแล้วโครงข่ายก็เรียนรู้รูปแบบทางสายตาที่แยกวัตถุด้านหน้าออกจากสิ่งรอบข้าง: ขอบ การเปลี่ยนพื้นผิว โฟกัส คอนทราสต์ และวิธีที่ตัวแบบมักอยู่ใกล้ศูนย์กลาง

เครื่องมือลบพื้นหลัง บน IMG.DIY ใช้โมเดลจากตระกูล U²-Net ซึ่งเป็นสถาปัตยกรรมที่รู้จักกันดีสำหรับงานนี้โดยเฉพาะ มีให้ใช้สองเวอร์ชัน:

• u2netp — โมเดลเล็ก เร็ว ขนาด 4MB เยี่ยมสำหรับตัวแบบที่ชัดเจนและงานเร่งด่วน
• silueta — โมเดลใหญ่กว่าขนาด 43MB ที่ให้ขอบสะอาดกว่า ดีกว่าสำหรับการตัดที่มีรายละเอียด

ทั้งสองรับภาพของคุณเข้าไป รันผ่านชั้นตัวกรองที่เรียนรู้มาหลายชั้น แล้วส่งออกมาสก์เก็บ-หรือ-ลบนั้น

ทำไมมันทำงานในเบราว์เซอร์ของคุณแทนเซิร์ฟเวอร์

เครื่องมือลบพื้นหลังส่วนใหญ่อัปโหลดภาพของคุณไปยังศูนย์ข้อมูล รันโมเดลบนฮาร์ดแวร์ของพวกเขา แล้วส่งผลลัพธ์กลับ นั่นก็ใช้ได้ แต่หมายความว่าภาพของคุณอยู่บนคอมพิวเตอร์ของคนอื่น ไม่ว่าจะชั่วครู่แค่ไหนก็ตาม

IMG.DIY ทำต่างออกไป โครงข่ายประสาทเทียมแบบเดียวกันทำงาน ภายในเบราว์เซอร์ของคุณ โดยใช้เทคโนโลยีเว็บสองอย่าง:

• WebAssembly (WASM) ทำให้เบราว์เซอร์รันโค้ดที่คอมไพล์แล้วด้วยความเร็วใกล้เคียงเนทีฟ ซึ่งเป็นสิ่งที่การคำนวณของโมเดลต้องการ
• ONNX Runtime คือเครื่องยนต์ที่ประมวลผลโมเดลที่ฝึกแล้วในสภาพแวดล้อมนั้นจริง ๆ

ไฟล์โมเดลดาวน์โหลดครั้งเดียว จากนั้นการคำนวณทั้งหมดเกิดขึ้นบน CPU (หรือ GPU) ของคุณเอง ภาพของคุณถูกอ่านจากดิสก์ แปลงเป็นตารางตัวเลข ผลักผ่านโครงข่าย แล้วประกอบกลับเป็นภาพที่ถูกตัด ทั้งหมดโดยไม่มีข้อมูลแม้แต่ไบต์เดียวออกจากเครื่องของคุณ

การประมวลผลในเบราว์เซอร์หมายความว่าอย่างไรต่อคุณ

การออกแบบนี้ทำให้เกิดผลในทางปฏิบัติสามอย่าง

ความเป็นส่วนตัวเป็นเชิงโครงสร้าง ไม่ใช่คำสัญญา เว็บมากมายบอกว่า "เราไม่เก็บภาพของคุณ" แต่ที่นี่ภาพไม่เคยถูกส่งไปที่ไหน จึงไม่มีอะไรให้เก็บ เรื่องนี้สำคัญที่สุดสำหรับรูปบัตรประจำตัว เอกสาร ต้นแบบผลิตภัณฑ์ หรืออะไรก็ตามที่คุณไม่อยากส่งมอบให้เซิร์ฟเวอร์ของคนแปลกหน้า

มันทำงานแบบออฟไลน์ เพราะ IMG.DIY เป็น PWA ที่มี service worker เครื่องมือจึงทำงานต่อได้โดยไม่มีการเชื่อมต่อ การลบพื้นหลังมีข้อยกเว้นหนึ่งข้อ: โมเดลต้องดาวน์โหลดในครั้งแรก (ไฟล์ 4MB หรือ 43MB ข้างต้น) หลังจากนั้นคุณสามารถตัดพื้นหลังบนเครื่องบิน รถไฟ หรือการเชื่อมต่อโรงแรมที่ติด ๆ ดับ ๆ ได้

ไม่มีคิวและไม่มีการรออัปโหลด คุณไม่ต้องแย่งเซิร์ฟเวอร์ที่ใช้ร่วมกับผู้ใช้คนอื่น และไม่ต้องรอให้ภาพใหญ่ ๆ อัปโหลด ความเร็วในการประมวลผลขึ้นอยู่กับเครื่องของคุณเอง แล็ปท็อปสมัยใหม่จึงจัดการภาพส่วนใหญ่ได้ในไม่กี่วินาที

จุดที่โมเดลยังทำได้ยาก

การเข้าใจกลไกยังบอกด้วยว่ามันพังตรงไหน รายละเอียดเส้นเล็กบางอย่างเส้นผมที่ปลิวหรือขนสัตว์นั้นยากจริง ๆ เพราะเส้นเดียวบางกว่าความมั่นใจของโมเดล และมันอาจเดาว่า "พื้นหลัง" ตามขอบ ฉากคอนทราสต์ต่ำ (แมวสีเทาบนโซฟาสีเทา) ให้โครงข่ายมีอะไรน้อยมากที่จะแยก และพื้นหลังที่รกซึ่งคล้ายตัวแบบทั้งสีและพื้นผิวก็อาจทำให้การติดป้ายสับสน

สำหรับตัวแบบสะอาด ๆ บนพื้นหลังที่แตกต่างชัดเจน ผลลัพธ์ยอดเยี่ยม สำหรับกรณียาก ๆ การแต่งขอบด้วยมืออย่างรวดเร็วช่วยจบงานได้ ไม่ว่าทางไหน กระบวนการทั้งหมดเกิดขึ้นบนเครื่องของคุณ ในแท็บเบราว์เซอร์ ในไม่กี่วินาที โดยมีเครื่องมือลบพื้นหลัง ที่ดีทำงานหนักให้