Il diagramma che spiega come Apple manutiene il sistema CSAM
Il diagramma che spiega come Apple manutiene il sistema CSAM

Torniamo a parlare del sistema CSAM (Child Sexual Abuse Material) di Apple. Un argomento importante, spinoso, che ha gettato un po’ di fango sulla società. Questo perché i rivali della società, come Facebook e Epic Games, ne hanno approfittato per mettere in dubbio la protezione della privacy tanto pubblicizzata dall’azienda.

Non vi spiegherò nel dettaglio come funziona il sistema di scansione delle immagini, se vi serve conoscerlo ne abbiamo parlato abbondantemente qui e qui. Oggi vediamo alcuni approfondimenti perché la società ha pubblicato un documento di 14 pagine con alcuni dettagli.

Dettagli che per me dovevano essere dati già dal primo giorno. Sì perché credo che l’accoglienza titubante del sistema sia dovuto più a un errore di comunicazione che di tecnologia. Errore che probabilmente prima o poi porterà un conto salato a Stella Law, vice presidente delle comunicazioni di Apple che ha assunto questo ruolo da 3 mesi.

Ho studiato il documento e ne ho ricavato delle informazioni interessanti. La prima riguarda il sistema che si occupa di generare i neuralhash: i codici associati alle immagini prima di essere caricati sul database di iCloud.

Visto che questi sono generati direttamente nel dispositivo, in forma cifrata, Apple ha indicato che il database di hash usato per generare i neuralhash è stato creato prendendo gli hash generati sui database di immagini CSAM presi da almeno due organizzazioni diverse per la difesa dei bambini provenienti da paesi diversi.

Questo per evitare che una entità esterna possa influire sul database di un’organizzazione specifica e creare hash su immagini non CSAM. Mi spiego meglio: un governo tecnicamente non ha modo di minacciare un’organizzazione per costringerla a inserire nel loro database immagini da cercare tra le foto degli utenti. Questo perché gli hash sono generati su database di diverse organizzazioni in diversi paesi.

Inoltre, il database di hash sui dispositivi degli utenti è uguale per tutti i dispositivi nel mondo. Questo è uno dei motivi per il quale Apple ha preferito far generare gli hash direttamente sui dispositivi. Quindi il database di hash usato per generare i neuralhash non può essere personalizzato sul singolo utente o in un singolo paese. È tutto nel sistema operativo che come saprete è aggiornato in tutto il mondo con la stessa versione.

Inoltre, periodicamente Apple pubblicherà un documento chiamato Knowledge Base dove sarà indicata la versione del database dell’hash per la versione del sistema operativo installato. Questo consentirà agli utenti di verificare se il loro dispositivo è in linea con il sistema di Apple e che nessuno lo abbia sostituito con un database di hash manomesso.

Inoltre, sempre per questo punto, Apple ha dichiarato che organizzazioni indipendenti potranno accedere ai laboratori di Apple dove in un ambiente protetto sarà possibile verificare la bontà del database ed verificare che la società non abbia manomesso il database al fine di favorire organizzazioni governative o privati.

Il sistema è progettato in modo tale che un utente non debba fidarsi di Apple, di qualsiasi altra singola entità o persino di un insieme di entità potenzialmente collusive della stessa giurisdizione sovrana (cioè sotto il controllo dello stesso governo) per essere sicuro che il sistema funzioni come pubblicizzato.

Arrivano informazioni interessanti anche riguardante la cifratura delle immagini. Come sappiamo queste sono cifrate sul dispositivo. Se il dispositivo fosse depredato dei suoi dati fisicamente o via internet, questi dati non possono essere letti.

Precedentemente vi ho detto che quando le immagini sono caricate sui server di iCloud queste non sono cifrate, questo consente ad Apple di accedervi per la fase del controllo umano. Ho scritto una cosa errata perché Apple fa chiarezza in merito.

In pratica anche su iCloud le immagini sono cifrate, ma la società può decifrare le immagini segnalate dopo un certo numero di Safety Voucher. Quello che succede non è un accesso diretto all’immagine dell’utente, ma viene applicata una chiave di decriptaggio che ricostruisce l’immagine. Questo diventa un file a bassa risoluzione utile per il controllo umano.

Per evitare i falsi positivi, si legge nel documento, la società ha addestrato il sistema su 100 milioni di immagini non-CSAM ottenendo appena 3 falsi positivi. A questo punto ha aggiunto l’addestramento con 500.000 immagini porno generiche ottenendo zero falsi positivi.

Nello scenario peggiore la società si aspetta 1 falso positivo ogni milione di immagini segnalate con i Safety Voucher. Per ridurre al minimo questa eventualità ha addestrato il sistema per non segnalare immagini se per un account non si raggiunge un certo numero di Safety Voucher. Durante i test questo livello era a 30.

Il risultato di questo sistema di controllo a livelli è 1 errore ogni 1000 miliardi di immagini analizzate. In pratica è quasi impossibile che il team umano arrivi a vedere un’immagine non CSAM. Ma la cosa non finisce qui.

Per evitare qualsiasi errore la società ha aggiunto un ulteriore filtro che ricontrolla l’immagine specifica prima del controllo umano, per verificare che sia realmente presente nel database CSAM.

Per evitare che qualcuno in Apple possa risalire all’account di provenienza delle immagini CSAM, la società ha anche pensato a dei synthetic voucher generati sui dispositivi, ma contenente solo dati senza senso. Questi servono a evitare che qualcuno possa vedere su ogni account quanti voucher siano stati generati e segnalare “potenziali pedofili” senza avere certezza che lo siano.

Il sistema in pratica è stato costruito per evitare manomissioni esterne o interne, funzionando in maniera precisa grazie all’utilizzo dell’intelligenza artificiale. Restano i dubbi sulla sua efficacia considerando che il controllo delle immagini avviene solo sui server di Apple. In pratica se i pedofili non utilizzano iCloud non finiscono nella maglia del controllo.

A questo punto sarebbe stato utile avere delle segnalazioni non solo se le foto sono su iCloud, ma anche se il tetto massimo dei Safety Vaucher fosse superato sul dispositivo. Di certo in questo caso non sarebbe possibile il controllo umano, ma almeno le autorità potrebbero svolgere indagini indipendenti sulla navigazione di quegli utenti potenzialmente pericolosi.

Probabilmente in futuro il sistema sarà messo a punto, anche grazie all’arrivo di processori sempre più potenti, per trovare pedofili anche senza l’ausilio di iCloud.

Update 03/09/21: Apple ha deciso di rimandare l’integrazione del sistema CSAM per prendere in considerazione tutti i feedback ricevuti nelle ultime settimane.

Leave a comment

Cosa ne pensi?