# Altre info sul sistema CSAM di Apple [u]

- Link: https://www.melamorsicata.it/2021/08/16/altre-info-sul-sistema-csam-di-apple/
- Published: 2021-08-16T00:05:00+02:00
- Author: Kiro

![Il diagramma che spiega come Apple manutiene il sistema CSAM](https://www.melamorsicata.
it/wp-content/uploads/2021/08/Diagramma-CSAM.jpeg "Altre info sul sistema CSAM di
Apple [u] 1")

Il diagramma che spiega come Apple manutiene il sistema CSAM

Torniamo a parlare del sistema [CSAM](https://www.melamorsicata.it/2021/08/07/apple-annuncia-un-sistema-anti-pedofilia-che-crea-molti-dubbi-sulla-privacy/)(
_Child Sexual Abuse Material_) di Apple. Un argomento importante, spinoso, che ha
gettato un po’ di fango sulla società. Questo perché i rivali della società, come
Facebook e Epic Games, ne hanno approfittato per mettere in dubbio la protezione
della privacy tanto pubblicizzata dall’azienda.

Non vi spiegherò nel dettaglio come funziona il sistema di scansione delle immagini,
se vi serve conoscerlo ne abbiamo parlato abbondantemente [qui](https://www.melamorsicata.it/2021/08/09/apple-cerca-di-fare-chiarezza-sulla-scansione-delle-foto-ma-non-rivela-granche/)
e [qui](https://www.melamorsicata.it/2021/08/14/federighi-cerca-di-fare-chiarezza-sul-csam-e-chiarisce-un-elemento/).
Oggi vediamo **alcuni approfondimenti** perché la società ha pubblicato un [documento](https://www.apple.com/child-safety/pdf/Security_Threat_Model_Review_of_Apple_Child_Safety_Features.pdf)
di 14 pagine con alcuni dettagli.

Dettagli che per me dovevano essere dati già dal primo giorno. Sì perché credo che
l’accoglienza titubante del sistema sia dovuto più a un **errore di comunicazione**
che di tecnologia. Errore che probabilmente prima o poi porterà un conto salato 
a [Stella Law](https://www.melamorsicata.it/2021/05/08/stella-low-e-la-nuova-vice-presidente-della-comunicazione-di-apple/),
vice presidente delle comunicazioni di Apple che ha assunto questo ruolo da 3 mesi.

Ho studiato il documento e ne ho ricavato delle informazioni interessanti. La prima
riguarda il sistema che si occupa di generare i **neuralhash**: i codici associati
alle immagini prima di essere caricati sul database di iCloud.

Visto che questi sono generati direttamente nel dispositivo, in forma cifrata, Apple
ha indicato che il database di hash usato per generare i neuralhash è stato creato
prendendo gli hash generati sui database di immagini CSAM presi da almeno due organizzazioni
diverse per la difesa dei bambini provenienti da paesi diversi.

Questo **per evitare che una entità esterna possa influire sul database** di un’organizzazione
specifica e creare hash su immagini non CSAM. Mi spiego meglio: un governo tecnicamente
non ha modo di minacciare un’organizzazione per costringerla a inserire nel loro
database immagini da cercare tra le foto degli utenti. Questo perché gli hash sono
generati su database di diverse organizzazioni in diversi paesi.

Inoltre, il database di hash sui dispositivi degli utenti è uguale per tutti i dispositivi
nel mondo. Questo è uno dei motivi per il quale Apple ha preferito far generare 
gli hash direttamente sui dispositivi. Quindi il database di hash usato per generare
i neuralhash non può essere personalizzato sul singolo utente o in un singolo paese.
È tutto nel sistema operativo che come saprete è aggiornato in tutto il mondo con
la stessa versione.

Inoltre, periodicamente Apple pubblicherà un documento chiamato **Knowledge Base**
dove sarà indicata la versione del database dell’hash per la versione del sistema
operativo installato. Questo consentirà agli utenti di verificare se il loro dispositivo
è in linea con il sistema di Apple e che nessuno lo abbia sostituito con un database
di hash manomesso.

Inoltre, sempre per questo punto, Apple ha dichiarato che organizzazioni indipendenti
potranno accedere ai laboratori di Apple dove in un ambiente protetto sarà possibile
verificare la bontà del database ed verificare che la società non abbia manomesso
il database al fine di favorire organizzazioni governative o privati.

> Il sistema è progettato in modo tale che un utente non debba fidarsi di Apple,
> di qualsiasi altra singola entità o persino di un insieme di entità potenzialmente
> collusive della stessa giurisdizione sovrana (cioè sotto il controllo dello stesso
> governo) per essere sicuro che il sistema funzioni come pubblicizzato.

Arrivano informazioni interessanti anche riguardante la **cifratura delle immagini**.
Come sappiamo queste sono cifrate sul dispositivo. Se il dispositivo fosse depredato
dei suoi dati fisicamente o via internet, questi dati non possono essere letti.

Precedentemente vi ho detto che quando le immagini sono caricate sui server di iCloud
queste non sono cifrate, questo consente ad Apple di accedervi per la fase del controllo
umano. Ho scritto una cosa errata perché Apple fa chiarezza in merito.

In pratica **anche su iCloud le immagini sono cifrate**, ma la società può decifrare
le immagini segnalate dopo un certo numero di Safety Voucher. Quello che succede
non è un accesso diretto all’immagine dell’utente, ma viene applicata una chiave
di decriptaggio che ricostruisce l’immagine. Questo diventa un file a bassa risoluzione
utile per il controllo umano.

Per **evitare i falsi positivi**, si legge nel documento, la società ha addestrato
il sistema su 100 milioni di immagini non-CSAM ottenendo appena 3 falsi positivi.
A questo punto ha aggiunto l’addestramento con 500.000 immagini porno generiche 
ottenendo zero falsi positivi.

Nello scenario peggiore la società si aspetta 1 falso positivo ogni milione di immagini
segnalate con i Safety Voucher. Per ridurre al minimo questa eventualità ha addestrato
il sistema per non segnalare immagini se per un account non si raggiunge un certo
numero di Safety Voucher. Durante i test questo livello era a 30.

Il risultato di questo sistema di controllo a livelli è **1 errore ogni 1000 miliardi
di immagini analizzate**. In pratica è quasi impossibile che il team umano arrivi
a vedere un’immagine non CSAM. Ma la cosa non finisce qui.

Per evitare qualsiasi errore la società ha aggiunto un ulteriore filtro che ricontrolla
l’immagine specifica prima del controllo umano, per verificare che sia realmente
presente nel database CSAM.

Per evitare che qualcuno in Apple possa risalire all’account di provenienza delle
immagini CSAM, la società ha anche pensato a dei **synthetic voucher** generati 
sui dispositivi, ma contenente solo dati senza senso. Questi servono a evitare che
qualcuno possa vedere su ogni account quanti voucher siano stati generati e segnalare“
potenziali pedofili” senza avere certezza che lo siano.

**Il sistema in pratica è stato costruito per evitare manomissioni esterne o interne**,
funzionando in maniera precisa grazie all’utilizzo dell’intelligenza artificiale.
Restano i dubbi sulla sua efficacia considerando che il controllo delle immagini
avviene solo sui server di Apple. In pratica se i pedofili non utilizzano iCloud
non finiscono nella maglia del controllo.

A questo punto sarebbe stato utile avere delle segnalazioni non solo se le foto 
sono su iCloud, ma anche se il tetto massimo dei Safety Vaucher fosse superato sul
dispositivo. Di certo in questo caso non sarebbe possibile il controllo umano, ma
almeno le autorità potrebbero svolgere indagini indipendenti sulla navigazione di
quegli utenti potenzialmente pericolosi.

Probabilmente in futuro il sistema sarà messo a punto, anche grazie all’arrivo di
processori sempre più potenti, per trovare pedofili anche senza l’ausilio di iCloud.

**Update 03/09/21**: Apple ha deciso di rimandare l’integrazione del sistema CSAM
per prendere in considerazione tutti i feedback ricevuti nelle ultime settimane.

### _Correlati_