Clicchi un pulsante e un secondo dopo lo sfondo della tua foto è sparito, sostituito da una pulita scacchiera di trasparenza. Sembra magia, ma non c'è alcuna magia e, su IMG.DIY, nemmeno un server che fa il lavoro. Ecco cosa sta realmente accadendo tra il clic e il ritaglio.
Il vero compito: decidere quali pixel sono "soggetto"
Rimuovere uno sfondo è in realtà un problema di etichettatura. Per ogni singolo pixel della tua immagine, il software deve rispondere a una domanda: fa parte del soggetto o dello sfondo? Fallo per tutti e ottieni una maschera, ovvero una mappa in bianco e nero dove il bianco significa "tieni" e il nero significa "elimina". Sovrapponi la maschera all'originale, butta via le aree nere e ottieni il tuo ritaglio.
Questo compito ha un nome nella visione artificiale: segmentazione dell'immagine. Nello specifico, la rimozione dello sfondo usa la segmentazione dell'oggetto saliente, cioè il modello cerca di trovare l'unica cosa di cui un umano direbbe che la foto "parla" e di separarla da tutto il resto.
Come il modello ha imparato a vedere il soggetto
Il modello non segue regole scritte a mano come "prendi la cosa a forma di persona". È una rete neurale che è stata addestrata su decine di migliaia di immagini in cui un umano aveva già disegnato a mano la maschera perfetta. Durante l'addestramento, la rete faceva un'ipotesi, veniva confrontata con la risposta dell'umano e si aggiustava di un pochino per sbagliare meno. Ripeti questo milioni di volte e la rete impara gli schemi visivi che separano un oggetto in primo piano da ciò che lo circonda: bordi, cambi di texture, messa a fuoco, contrasto, il modo in cui un soggetto di solito si trova vicino al centro.
Il Rimuovi Sfondo su IMG.DIY usa modelli della famiglia U²-Net, un'architettura ben nota proprio per questo. Sono disponibili due versioni:
- u2netp — un modello piccolo e veloce da 4MB. Ottimo per soggetti chiari e lavori rapidi.
- silueta — un modello più grande da 43MB che produce bordi più puliti, migliore per ritagli dettagliati.
Entrambi prendono la tua immagine, la fanno passare attraverso molti strati di filtri appresi e restituiscono quella maschera tieni-o-elimina.
Perché gira nel tuo browser invece che su un server
La maggior parte dei rimuovi-sfondo carica la tua foto in un data center, esegue il modello sul proprio hardware e rimanda indietro il risultato. Funziona, ma significa che la tua immagine sta, per quanto brevemente, sul computer di qualcun altro.
IMG.DIY lo fa in modo diverso. Lo stesso tipo di rete neurale gira dentro il tuo browser usando due tecnologie web:
- WebAssembly (WASM) permette al browser di eseguire codice compilato a velocità quasi nativa, che è ciò di cui ha bisogno la matematica del modello.
- ONNX Runtime è il motore che esegue effettivamente il modello addestrato in quell'ambiente.
Il file del modello si scarica una volta, poi tutto il calcolo avviene sulla tua CPU (o GPU). La tua foto viene letta dal disco, trasformata in una griglia di numeri, spinta attraverso la rete e riassemblata come ritaglio, il tutto senza che un singolo byte lasci la tua macchina.
Cosa significa per te l'elaborazione nel browser
Da questo design derivano tre conseguenze pratiche.
La privacy è strutturale, non una promessa. Molti siti dicono "non conserviamo le tue immagini". Qui l'immagine non viene mai inviata da nessuna parte, quindi non c'è nulla da conservare. Questo conta di più per le foto di documenti d'identità, i documenti, i prototipi di prodotto o qualsiasi cosa tu preferisca non consegnare al server di uno sconosciuto.
Funziona offline. Poiché IMG.DIY è una PWA con un service worker, gli strumenti continuano a funzionare senza connessione. La rimozione dello sfondo ha un asterisco: il modello deve scaricarsi la prima volta (il file da 4MB o 43MB sopra). Dopodiché puoi ritagliare sfondi su un aereo, un treno o una connessione d'albergo instabile.
Nessuna coda e nessuna attesa di caricamento. Non stai competendo con altri utenti per un server condiviso, e non aspetti mai che una foto grande si carichi. La velocità di elaborazione dipende dal tuo dispositivo, quindi un portatile moderno gestisce la maggior parte delle immagini in un paio di secondi.
Dove i modelli fanno ancora fatica
Capire il meccanismo ti dice anche dove si rompe. I dettagli fini e sottili come i capelli svolazzanti o il pelo sono davvero difficili, perché un singolo filo è più sottile della fiducia del modello e potrebbe indovinare "sfondo" lungo il bordo. Le scene a basso contrasto (un gatto grigio su un divano grigio) danno alla rete poco da separare. E uno sfondo affollato che assomiglia al soggetto per colore e texture può confondere l'etichettatura.
Per soggetti puliti su uno sfondo distinto, i risultati sono eccellenti. Per i casi difficili, un rapido ritocco manuale sui bordi completa il lavoro. In ogni caso, l'intero processo avviene sul tuo dispositivo, in una scheda del browser, in pochi secondi, con un buon Rimuovi Sfondo che fa il lavoro pesante.