Google propose un test statistique pour auditer l'oubli IA

Pourquoi les anciens tests ne suffisent plus

Historiquement, les data scientists utilisaient le two-sample testing : comparer les résultats d'un modèle qui n'a jamais vu une donnée sensible avec un modèle qui la « connaissait » et l'a « oubliée ». Sur le papier, c'est logique. En pratique ?

Deux problèmes majeurs :

1. ▸

   Les faux positifs explosent. Deux modèles réentraînés de zéro sur exactement les mêmes données peuvent avoir des distributions légèrement différentes (tailles de batch différentes, initialisations aléatoires). Le test classique signale un problème de confidentialité alors qu'il n'y en a aucun.

2. ▸

   L'oubli parfait n'existe pas. Une IA qui « oublie » en modifiant ses poids actuels laisse toujours une micro-empreinte de l'information supprimée — sauf si elle réapprend tout depuis zéro. Un test traditionnel trouvera toujours une dépendance envers les données « oubliées ».

Résultat : tu dois extraire énormément d'échantillons pour obtenir une réponse claire. Coûteux. Lent. Pas scalable.

La solution : un test relatif adaptatif

Au lieu de comparer un modèle oublié à un modèle qui n'a jamais vu la donnée, Google mesure la distance relative : est-ce que le modèle oublié ressemble davantage à la version saine (réentraînée proprement) ou à l'original compromis ?

Ce changement de perspective élimine les faux positifs. Si le modèle oublié est plus proche de la version saine, c'est bon — même s'il ne lui est pas identique.

Trois types de tests inclus

Chi-squared et KL divergence : détectent les micro-décalages lisses dans les données (utiles pour repérer des valeurs aberrantes).

Hockey-stick divergence : la pièce maîtresse. Elle s'aligne directement sur la définition mathématique de la confidentialité différentielle. Tu fixes un seuil d'acceptabilité (« budget de confidentialité ») — le test ignore les petites différences en dessous et ne signale que les vrais problèmes.

Automatisation complète

Le framework choisit automatiquement la meilleure divergence et les hyperparamètres optimaux. Fini les réglages manuels fastidieux. Fini le réglage fin qui tue la reproductibilité.

Les résultats

Google a testé sur :

• ▸Données synthétiques (benchmarks classiques).
• ▸Données de physique des hautes énergies (détection de rares particules qui violent le modèle standard). Pourquoi ? Parce que si ça détecte une anomalie invisible en physique, ça détecte une micro-fuite de confidentialité en IA.
• ▸Vrai audit de confidentialité différentielle : le test identifie correctement les mécanismes non privés qui ne devraient pas l'être.
• ▸Algorithmes d'oubli réels : Selective Synaptic Dampening, pruning, random label flipping.

Le framework a égalé ou surpassé tous les tests existants — avec bien moins de réglages manuels.

À retenir

Pas de test « universel » : chaque divergence détecte différents types d'anomalies. L'approche gagnante ? Agréger les résultats, laisser les capteurs statistiques « s'allumer » sur ce qui compte.

Pour les équipes qui doivent auditer l'oubli machine (conformité RGPD, Illinois, modèles avec données sensibles), c'est du concret : moins d'échantillons requis, moins de faux positifs, automatisation du choix du test.