Comment ça marche · L'IA · module en construction

Les IA qui surveillent

Mis à jour le . Ce sujet évolue vite (true) : vérifie s'il y a du nouveau depuis cette date.

Ta banque surveille chacun de tes paiements, et des caméras de gares savent désormais signaler une foule trop dense ou un sac abandonné. Règle un détecteur de fraude, regarde les vrais résultats des caméras « intelligentes » des Jeux de Paris, puis découvre ce que la loi interdit.

Choisis ton niveau et ta façon de lire : tu peux en changer à tout moment.

Étape 0 : Repérer la fraude

Sur 100 000 paiements par carte, environ 34 sont frauduleux : c'est l'ordre de grandeur relevé en France en 2024. Un détecteur qui bloque les paiements les plus suspects repère, avec un seuil moyen, la moitié des fraudes (17), mais bloque aussi 135 paiements honnêtes : seule une alerte sur neuf est une vraie fraude. Plus sévère, il ne bloque presque plus d'innocent·es, mais laisse passer la plupart des fraudes. Plus la fraude est rare, plus les fausses alertes dominent.

🟢 Découverte

Chaque paiement par carte passe par un logiciel qui estime s'il est suspect. S'il l'est trop, il est bloqué. Règle la sévérité du blocage et regarde qui se fait arrêter.

🟡 Curieux

La fraude est rare : environ un paiement sur 2 900. Du coup, même un bon détecteur déclenche surtout des fausses alertes, car il y a énormément de paiements honnêtes un peu inhabituels (un voyage, un gros achat). Toute surveillance de masse se heurte à ce problème : chercher un événement rare dans une foule de gens ordinaires, c'est déranger beaucoup d'innocent·es.

🔴 Ingénieur

On parle de « précision » pour la part des alertes justes, et de « rappel » pour la part des fraudes repérées. Relever le seuil améliore la première et dégrade le second : c'est le même compromis que pour un filtre anti-spam (voir Les IA qui classent).

Un peu d'histoire

En 2024, selon l'Observatoire de la sécurité des moyens de paiement, présidé par la Banque de France, environ 7,3 millions de paiements par carte émise en France ont été frauduleux, sur environ 21 milliards. La fraude totale aux moyens de paiement reste juste sous 1,2 milliard d'euros. L'Observatoire s'inquiète surtout de la fraude « par manipulation » (32 % des montants fraudés), comme l'appel d'un faux conseiller bancaire : c'est alors la victime elle-même qui valide le paiement, ce qu'un détecteur repère mal. Il note aussi que les réseaux criminels utilisent désormais l'IA pour industrialiser leurs attaques.

Idées reçues

« Un détecteur juste à 99,9 % ne se trompe presque jamais. » Sur 100 000 paiements, 0,1 % d'erreurs fait 100 paiements honnêtes bloqués, pour une trentaine de fraudes à trouver. Quand ce qu'on cherche est rare, il faut regarder la part des alertes justes, pas le pourcentage de réussite global.

Étape 1 : Des caméras qui signalent

Pendant l'expérimentation des Jeux de Paris 2024, sur 100 signalements d'« intrusion » envoyés par l'algorithme, 79 correspondaient à une vraie intrusion à la RATP, et 74 à la SNCF. Pour une foule trop dense, 88 à la RATP. Pour les objets abandonnés, 22 seulement à la RATP et 33 à la SNCF : l'algorithme confondait notamment des bancs, des seaux ou des personnes assises, y compris des personnes sans domicile. Et exact ne veut pas dire utile : à la RATP, sur 1 222 vraies intrusions signalées, 11 ont été jugées pertinentes pour une intervention.

🟢 Découverte

Pour les Jeux de Paris 2024, la France a autorisé, à titre d'essai, des logiciels qui analysent les images des caméras et signalent certains événements à des agent·es. Choisis un événement et regarde combien de signalements étaient justes.

🟡 Curieux

Ces logiciels ne reconnaissent pas les visages : la loi l'interdit. Ils repèrent huit types de situations fixés par décret : un objet abandonné, la présence ou l'utilisation d'armes, une circulation à contresens, une personne ou un véhicule dans une zone interdite, une personne au sol après une chute, un mouvement de foule, une foule trop dense et un départ de feu. Ils ne décident rien : ils envoient un signalement à une personne, qui juge.

Les résultats varient beaucoup selon la tâche. Compter une foule ou repérer quelqu'un sur une voie marche plutôt bien. Distinguer un sac oublié d'une personne assise, beaucoup moins : les erreurs tombent sur celles et ceux qui restent immobiles dans l'espace public, notamment les personnes sans domicile.

🔴 Ingénieur

Le comité d'évaluation distingue l'exactitude d'un signalement de son utilité. À la RATP, pendant les Jeux olympiques, l'algorithme a signalé 1 222 vraies intrusions, dont 11 seulement ont été jugées pertinentes pour intervenir. À Cannes, pendant le Festival, sur 37 194 alertes, 25 639 ont été traitées par les opérateur·rices et aucune n'a nécessité l'envoi d'un agent sur le terrain ; les essais suivants, mieux paramétrés, ont été jugés plus concluants.

Le comité juge « globalement satisfaisantes » les performances pour l'intrusion, le contresens et la densité de foule, « inégales » pour les objets abandonnés et les armes, et « très insatisfaisantes » pour les départs de feu et les personnes au sol. Il note que l'évaluation a surtout porté sur le logiciel d'une seule entreprise, et qualifie l'intérêt opérationnel du dispositif de « limité mais réel ».

Un peu d'histoire

La loi du 19 mai 2023 sur les Jeux olympiques autorise cette expérimentation jusqu'au 31 mars 2025. Le Conseil constitutionnel la valide en mai 2023, en relevant qu'elle ne met en œuvre aucune reconnaissance faciale et qu'aucune décision ne peut se fonder sur le seul signalement ; il demande au législateur, avant de la pérenniser, de tirer les conséquences de son évaluation, notamment sur son efficacité.

Le comité d'évaluation rend son rapport en janvier 2025 : il estime que le dispositif, « en l'état, ne heurte les libertés publiques ni dans sa conception ni dans sa mise en œuvre », et que l'abandon, la prolongation ou la pérennisation sont « un choix politique qui ne relève pas de la mission du comité ». En février 2025, un rapport du Sénat recommande de prolonger l'expérimentation avant toute pérennisation. Une première prolongation, glissée dans une loi sur la sécurité dans les transports, est censurée par le Conseil constitutionnel en avril 2025. La loi du 20 mars 2026 sur les Jeux de 2030 la reconduit finalement jusqu'au 31 décembre 2027, avec un nouveau rapport d'évaluation attendu le 30 septembre 2027 ; le Conseil constitutionnel la juge conforme.

Les avis restent opposés. Une proposition de loi sénatoriale de décembre 2025 s'appuie sur ce bilan et sur l'intérêt reconnu par les utilisateurs (préfecture de police, SNCF, RATP) pour autoriser durablement ces traitements dans les transports. La Défenseure des droits, citée par le comité, alerte sur le risque de biais, par exemple des équipements de personnes handicapées pris pour des objets interdits. Pour Amnesty International France, les Jeux ont servi de tremplin pour banaliser ces technologies, des mesures « expérimentales » finissant par devenir la norme. État au 1ᵉʳ novembre 2026.

Idées reçues

« La vidéosurveillance algorithmique, c'est de la reconnaissance faciale. » Pas en France pour l'instant : la loi l'exclut, et les logiciels repèrent des situations, pas des personnes. Le débat porte sur leur efficacité, sur les erreurs, et sur le risque de glisser peu à peu vers des usages plus intrusifs.

Étape 2 : Ce que la loi interdit

🟢 Découverte

L'Union européenne a fixé une liste d'usages de l'IA tout simplement interdits. Plusieurs concernent la surveillance.

🟡 Curieux

Depuis le 2 février 2025, le règlement européen sur l'IA interdit notamment : de noter des personnes selon leur comportement social quand cette note les pénalise dans d'autres domaines ; de prédire qu'une personne commettra une infraction sur la seule base de son profil ; de déduire les émotions des gens au travail ou à l'école, sauf pour des raisons médicales ou de sécurité ; et, pour la police, d'identifier les gens à distance et en temps réel dans l'espace public, sauf exceptions strictes (rechercher une victime d'enlèvement, prévenir une attaque terroriste imminente, retrouver l'auteur·rice d'un crime grave).

La reconnaissance faciale est détaillée dans Les IA qui voient, et les enjeux de vie privée dans Surveillance et vie privée.

🔴 Ingénieur

Le règlement distingue les usages interdits, listés à son article 5, des systèmes « à haut risque », comme le tri automatique de candidatures, qui restent autorisés mais encadrés. Après une modification adoptée en 2026, les obligations de ceux de l'annexe III, dont le recrutement, s'appliqueront à partir du 2 décembre 2027 (voir Les IA qui classent).

Un peu d'histoire

Le module Les IA qui décident pour nous montre un autre type de surveillance : les algorithmes qui choisissent quels dossiers d'allocations contrôler, et la façon dont ils peuvent s'auto-confirmer.

Idées reçues

« En Chine, chaque citoyen·ne a une note sociale unique qui décide de sa vie. » Selon les analyses de la MIT Technology Review et de l'institut MERICS (2022), ce score national individuel n'existe pas. Le « système de crédit social » vise surtout les entreprises, avec des listes noires pour des infractions précises ; quelques villes ont testé des notes individuelles, souvent abandonnées ou limitées à des récompenses. MERICS souligne que ce système n'est pas pour autant anodin, et que se focaliser sur un score imaginaire détourne des vraies menaces de surveillance en Chine.

Questions à poser à une surveillance

  1. Ce qu'on cherche est-il rare ? Alors la plupart des alertes seront fausses.
  2. Sur qui tombent les erreurs ? Les personnes « inhabituelles » paient le prix des fausses alertes.
  3. Qui décide après l'alerte ? Une personne doit pouvoir juger, et refuser.
  4. A-t-on mesuré l'efficacité ? Une expérimentation sert à évaluer, pas seulement à habituer.
  5. Que dit la loi, et qui contrôle ? Interdits, autorisations limitées dans le temps, évaluation publique.

Pour aller plus loin, le module Surveillance et vie privée discute le panoptique et l'argument « je n'ai rien à cacher ».