Facebook ha progettato un sistema basato sull’intelligenza artificiale, denominato Caffe2Go, che esegue i calcoli necessari direttamente sullo smartphone dell’utente.

La tecnica che consente di trasformare foto e video in quadri di Picasso o Rembrandt si chiama “style transfer“. In passato era necessaria la grande potenza di elaborazione dei data center per l’applicazione di questi filtri e quindi il trasferimento bidirezionale dei dati tra dispositivo e server.

Grazie a Caffe2Go è invece possibile catturare, analizzare ed elaborare i singoli pixel in tempo reale con Facebook per iOS e Android. In pratica, l’azienda ha integrato le deep neural network nelle app per iOS e Android.

Facebook Caffe2Go

Struttura di Caffe2Go

L’architettura di Caffe2Go è modulare ed è ottimizzata per ogni piattaforma. Nel caso degli smartphone ci sono maggiori vincoli hardware rispetto ai computer, ma gli ingegneri di Facebook sono riusciti a sviluppare una tecnologia IA che effettua l’elaborazione in tempo reale sul dispositivo mobile, conservando la qualità e la risoluzione originali. Il training delle rete neurali avviene sui server, ma la loro esecuzione è locale.

La dimensione del modello IA usato per applicare filtri a foto e video è stata ridotta di 100 volte, mentre lo style transfer viene eseguito in 50 millisecondi.

Caffe2Go può essere utilizzata anche per applicazioni di realtà aumentata e per creare controlli basati sulle gesture. La scelta dei filtri può avvenire in maniera automatica, in base al soggetto inquadrato dalla fotocamera, sfruttando eventualmente il riconoscimento del volto.

È molto interessante notare come gli ingegneri di Facebook siano riusciti, con Caffe2Go, a rendere possibile un’elaborazione grafica complessa attraverso device come gli smartphone, un’operazione per la quale è generalmente necessario far ricorso ad un computer con prestazioni alte.