Klik satu tombol, dan sedetik kemudian latar belakang foto Anda lenyap, digantikan oleh papan catur transparansi yang bersih. Rasanya seperti sihir, tetapi tidak ada sihir dan, di IMG.DIY, tidak ada pula server yang mengerjakannya. Inilah yang sebenarnya terjadi antara klik dan hasil potongan.
Tugas sebenarnya: menentukan piksel mana yang "subjek"
Menghapus latar belakang sebenarnya adalah masalah pelabelan. Untuk setiap piksel dalam gambar Anda, perangkat lunak harus menjawab satu pertanyaan: apakah ini bagian dari subjek, atau bagian dari latar belakang? Lakukan itu untuk semuanya dan Anda punya sebuah mask, yaitu peta hitam-putih di mana putih berarti "simpan" dan hitam berarti "hapus." Tumpangkan mask di atas gambar asli, buang area hitam, dan Anda mendapat hasil potongan.
Tugas ini punya nama dalam visi komputer: segmentasi gambar. Secara khusus, penghapusan latar belakang menggunakan segmentasi objek salient, artinya model mencoba menemukan satu hal yang menurut manusia menjadi "inti" foto dan memisahkannya dari yang lain.
Bagaimana model belajar melihat subjek
Model tidak mengikuti aturan tertulis tangan seperti "ambil benda berbentuk manusia." Ia adalah jaringan saraf yang dilatih pada puluhan ribu gambar di mana seorang manusia telah menggambar mask sempurna secara manual. Selama pelatihan, jaringan membuat tebakan, dibandingkan dengan jawaban manusia, lalu menyesuaikan dirinya sedikit demi sedikit agar makin sedikit salah. Ulangi itu jutaan kali dan jaringan mempelajari pola visual yang memisahkan objek latar depan dari sekelilingnya: tepi, perubahan tekstur, fokus, kontras, cara subjek biasanya berada dekat pusat.
Penghapus Latar Belakang di IMG.DIY menggunakan model dari keluarga U²-Net, arsitektur terkenal untuk tugas ini persis. Tersedia dua versi:
- u2netp — model kecil dan cepat berukuran 4MB. Bagus untuk subjek yang jelas dan pekerjaan cepat.
- silueta — model lebih besar 43MB yang menghasilkan tepi lebih bersih, lebih baik untuk potongan yang rinci.
Keduanya menerima gambar Anda, menjalankannya melalui banyak lapisan filter yang telah dipelajari, dan mengeluarkan mask simpan-atau-hapus itu.
Mengapa ia berjalan di browser Anda alih-alih di server
Kebanyakan penghapus latar belakang mengunggah foto Anda ke pusat data, menjalankan model di perangkat keras mereka, lalu mengirim hasilnya kembali. Itu berfungsi, tetapi berarti gambar Anda berada, sesingkat apa pun, di komputer orang lain.
IMG.DIY melakukannya berbeda. Jaringan saraf jenis yang sama berjalan di dalam browser Anda menggunakan dua teknologi web:
- WebAssembly (WASM) memungkinkan browser menjalankan kode terkompilasi dengan kecepatan mendekati native, yang dibutuhkan oleh matematika model.
- ONNX Runtime adalah mesin yang benar-benar mengeksekusi model terlatih di lingkungan itu.
File model diunduh sekali, lalu seluruh komputasi terjadi di CPU (atau GPU) Anda sendiri. Foto Anda dibaca dari disk, diubah menjadi kisi angka, didorong melalui jaringan, dan dirakit kembali sebagai hasil potongan, semuanya tanpa satu byte pun meninggalkan mesin Anda.
Apa arti pemrosesan dalam browser bagi Anda
Tiga konsekuensi praktis muncul dari desain ini.
Privasi bersifat struktural, bukan sekadar janji. Banyak situs berkata "kami tidak menyimpan gambar Anda." Di sini gambar tidak pernah dikirim ke mana pun, jadi tidak ada yang bisa disimpan. Itu paling penting untuk foto identitas, dokumen, prototipe produk, atau apa pun yang tak ingin Anda serahkan ke server orang asing.
Berfungsi offline. Karena IMG.DIY adalah PWA dengan service worker, alat-alatnya tetap berfungsi tanpa koneksi. Penghapusan latar belakang punya satu catatan: model harus diunduh pada kali pertama (file 4MB atau 43MB di atas). Setelah itu, Anda bisa memotong latar belakang di pesawat, kereta, atau koneksi hotel yang tak stabil.
Tidak ada antrean dan tidak ada tunggu unggah. Anda tidak bersaing dengan pengguna lain memperebutkan server bersama, dan Anda tidak pernah menunggu foto besar terunggah. Kecepatan pemrosesan bergantung pada perangkat Anda sendiri, jadi laptop modern menangani kebanyakan gambar dalam beberapa detik.
Di mana model masih kesulitan
Memahami mekanismenya juga memberi tahu di mana ia gagal. Detail halus dan tipis seperti rambut lepas atau bulu benar-benar sulit, karena satu helai lebih tipis daripada keyakinan model dan ia mungkin menebak "latar belakang" di sepanjang tepinya. Adegan berkontras rendah (kucing abu-abu di atas sofa abu-abu) memberi jaringan sedikit hal untuk dipisahkan. Dan latar belakang yang ramai serupa dengan subjek dalam warna dan tekstur bisa mengacaukan pelabelan.
Untuk subjek bersih di atas latar belakang yang berbeda, hasilnya sangat baik. Untuk kasus-kasus sulit, sedikit sentuhan manual cepat pada tepinya menyelesaikan pekerjaan. Bagaimanapun juga, seluruh proses terjadi di perangkat Anda, dalam sebuah tab browser, dalam hitungan detik, dengan Penghapus Latar Belakang yang baik mengerjakan bagian beratnya.