I primi test di gestione degli sfondi nei video si sono avuti con Photo Booth: un’app che Apple integrò in OS X Lion e non aggiornata più dal 2015. Si tratta di un’app che consente di sgombrare la scena per poi rientravi e avere uno sfondo diverso nell’inquadratura.
Ora che esistono gli strumenti TrueDepth, come nei nuovi iPhone, Apple ha pensato di ricreare l’effetto in maniera diversa. Per farlo ha chiesto aiuto alla società danese Spektral. Come riporta il sito Borsen, Apple ha comprato l’azienda per integrare queste tecnologie nei suoi sistemi.
Spektral ha realizzato un algoritmo in grado di sezionare una scena e dividerle per strati, come fa il TrueDepth durante lo scatto. Una tecnologia chiamata cutout e l’effetto appare simile a quello ottenuto usando un telo verde sullo sfondo durante le riprese, sul quale incollare delle immagini.
Il sistema di Spektral usa la GPU per processare le immagini e i video fino a 60 fps. L’acquisizione risale al 2017 per una somma di 30 milioni di dollari. L’azienda fu fondata nel 2014 con un finanziamento di 3,3 milioni di $.
Probabilmente queste tecnologie sono già state applicate in Clips di Apple.