Bir düğmeye tıklarsınız ve bir saniye sonra fotoğrafınızın arka planı gitmiştir, yerini temiz bir saydamlık damalı deseni almıştır. Sihir gibi gelir, ama sihir yoktur ve IMG.DIY'de işi yapan bir sunucu da yoktur. İşte tıklama ile kesim arasında aslında olan şey.
Asıl iş: hangi piksellerin "özne" olduğuna karar vermek
Bir arka planı kaldırmak aslında bir etiketleme problemidir. Görselinizdeki her tek piksel için yazılımın tek bir soruyu yanıtlaması gerekir: bu, öznenin bir parçası mı yoksa arka planın bir parçası mı? Bunu hepsi için yapın, elinizde bir maske olur; bu, beyazın "koru", siyahın "sil" anlamına geldiği siyah-beyaz bir haritadır. Maskeyi orijinalin üzerine koyun, siyah alanları atın ve kesiminizi elde edin.
Bu görevin bilgisayarla görmede bir adı var: görüntü segmentasyonu. Özellikle arka plan kaldırma belirgin nesne segmentasyonu kullanır; bu, modelin bir insanın "fotoğrafın konusu" diyeceği tek şeyi bulup diğer her şeyden ayırmaya çalışması demektir.
Model özneyi görmeyi nasıl öğrendi
Model, "insan biçimli şeyi yakala" gibi elle yazılmış kurallar izlemez. Bir insanın önceden elle kusursuz maskeyi çizdiği on binlerce görsel üzerinde eğitilmiş bir sinir ağıdır. Eğitim sırasında ağ bir tahminde bulundu, insanın yanıtıyla karşılaştırıldı ve daha az yanılmak için kendini bir parça ayarladı. Bunu milyonlarca kez tekrarlayın ve ağ, bir ön plandaki nesneyi çevresinden ayıran görsel örüntüleri öğrenir: kenarlar, doku değişimleri, odak, kontrast ve bir öznenin genellikle merkeze yakın oturma biçimi.
IMG.DIY'deki Arka Plan Kaldırıcı, tam olarak bunun için iyi bilinen bir mimari olan U²-Net ailesinden modeller kullanır. İki sürüm mevcut:
- u2netp — küçük, hızlı 4MB'lık bir model. Net özneler ve hızlı iş için harika.
- silueta — daha temiz kenarlar üreten daha büyük 43MB'lık bir model, ayrıntılı kesimler için daha iyi.
Her ikisi de görselinizi alır, öğrenilmiş filtrelerin birçok katmanından geçirir ve o koru-ya-sil maskesini çıkarır.
Neden bir sunucu yerine tarayıcınızda çalışır
Çoğu arka plan kaldırıcı fotoğrafınızı bir veri merkezine yükler, modeli kendi donanımlarında çalıştırır ve sonucu geri gönderir. Bu işe yarar, ama görselinizin, kısa süreliğine de olsa, başka birinin bilgisayarında durması anlamına gelir.
IMG.DIY bunu farklı yapar. Aynı türden bir sinir ağı, iki web teknolojisi kullanarak tarayıcınızın içinde çalışır:
- WebAssembly (WASM) tarayıcının, modelin matematiğinin ihtiyaç duyduğu şey olan, derlenmiş, neredeyse yerel hızda kod çalıştırmasını sağlar.
- ONNX Runtime, eğitilmiş modeli o ortamda gerçekten yürüten motordur.
Model dosyası bir kez indirilir, sonra tüm hesaplama kendi CPU'nuzda (ya da GPU'nuzda) gerçekleşir. Fotoğrafınız diskten okunur, bir sayı ızgarasına dönüştürülür, ağdan geçirilir ve bir kesim olarak yeniden birleştirilir; tüm bunlar makinenizden tek bir bayt bile çıkmadan olur.
Tarayıcı içi işlemenin sizin için anlamı
Bu tasarımdan üç pratik sonuç çıkar.
Gizlilik yapısaldır, bir söz değil. Pek çok site "görsellerinizi saklamıyoruz" der. Burada görsel hiçbir yere gönderilmez, dolayısıyla saklanacak bir şey yoktur. Bu en çok kimlik fotoğrafları, belgeler, ürün prototipleri ya da bir yabancının sunucusuna vermek istemeyeceğiniz her şey için önemlidir.
Çevrimdışı çalışır. IMG.DIY bir servis çalışanı (service worker) olan bir PWA olduğundan, araçlar bağlantı olmadan da çalışmaya devam eder. Arka plan kaldırmanın bir dipnotu var: model ilk seferinde indirilmelidir (yukarıdaki 4MB ya da 43MB'lık dosya). Ondan sonra bir uçakta, bir trende ya da düzensiz bir otel bağlantısında arka plan kesebilirsiniz.
Kuyruk yok ve yükleme beklemesi yok. Paylaşılan bir sunucu için başka kullanıcılarla yarışmazsınız ve büyük bir fotoğrafın yüklenmesini asla beklemezsiniz. İşlem hızı kendi cihazınıza bağlıdır, dolayısıyla modern bir dizüstü çoğu görseli birkaç saniyede halleder.
Modeller hâlâ nerede zorlanır
Mekanizmayı anlamak, nerede bozulduğunu da söyler. Uçuşan saç ya da tüy gibi ince, telsi ayrıntı gerçekten zordur, çünkü tek bir tel modelin güveninden daha incedir ve kenar boyunca "arka plan" tahmini yapabilir. Düşük kontrastlı sahneler (gri bir koltuktaki gri bir kedi) ağa ayıracak pek az şey bırakır. Ve renk ve dokuda özneye benzeyen kalabalık bir arka plan etiketlemeyi şaşırtabilir.
Belirgin bir arka plan üzerindeki net özneler için sonuçlar mükemmeldir. Zor durumlar için kenarlarda hızlı bir manuel rötuş işi bitirir. Her iki durumda da tüm süreç cihazınızda, bir tarayıcı sekmesinde, saniyeler içinde, ağır işi yapan iyi bir Arka Plan Kaldırıcı ile gerçekleşir.