Nous avons écouté et résumé les 2 derniers épisodes du podcast "Deftech, la menace cognitive" qui fait partie du programme de prospective technologique d'armasuisse Science et Technologie (Office fédéral de l'armement) et mis à disposition par l'Atelier des Futurs.
Épisode 5 : Remparts légaux : la réponse réglementaire face aux menaces cognitives
Ce nouvel épisode pose la question du cadre réglementaire. Alors que pendant longtemps, le fonctionnement de l’esprit humain a été considéré comme inviolable, aujourd’hui les instruments juridiques qui protègent la liberté doivent désormais prendre en compte la sphère cognitive, à savoir la protection de notre vie privée mentale. Ainsi, plusieurs accords internationaux, déclarations et recommandations ont été élaborés pour réglementer spécifiquement les neurotechnologies. Le problème est que, juridiquement, aucun d’eux n’est contraignant.
Il existe des normes Européennes en matière de technologies numériques à travers le Règlement général sur la protection des données (RGPD) de 2016 qui définit les règles concernant la collecte, le traitement et la conservation des données à caractère personnel. La Loi européenne sur les services numériques de 2022 contient quant à elle des mesures de tutelle des consommateurs, notamment en matière de liberté d’expression et protection des données. Mais aucun de ces deux textes ne traite de façon spécifique des risques d’atteinte à l’intégrité cognitive.
Puis arrive la Loi sur l’intelligence artificielle – le « AI Act » – promulguée par l’Union Européenne en 2024. Elle encadre le développement, la mise sur le marché et l’utilisation des systèmes d’IA, en tenant compte en particulier des droits fondamentaux.
Extrait de l’article 5.1.a de l’AI Act : Est interdite la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA qui déploie des techniques subliminales au-delà de la conscience d’une personne, ou des techniques délibérément manipulatrices ou trompeuses, ayant pour objectif ou pour effet de fausser sensiblement le comportement d’une personne ou d’un groupe de personnes en altérant de manière appréciable leur capacité à prendre une décision en connaissance de cause, les amenant ainsi à prendre une décision qu’elles n’auraient pas prise autrement.
En 2017, le Morningside Group, un groupe de scientifiques, éthiciens et technologues ont identifié cinq neurodroits principaux :
- Le droit à la vie privée cognitive, c’est-à-dire la capacité de protéger son activité mentale contre toute divulgation.
- Le droit d’identité, ou la capacité de contrôler son intégrité mentale et son identité.
- Le droit à l’autonomie, c’est-à-dire la liberté de pensée et la liberté de choisir ses actions.
- Le droit à l’augmentation, ou la garantie d’un accès équitable aux améliorations des capacités cognitives rendues possibles par la technologie.
- Le droit à la protection, ou la tutelle contre les biais algorithmiques.
En septembre 2024, la Californie, siège de nombreuses grandes entreprises technologiques, a été le premier État américain à introduire la protection des « données cérébrales » dans la loi. D’autres travaux proposent quatre nouveaux droits humains pour protéger « le dernier refuge de la vie privée », notre cerveau :
- Droit à la liberté cognitive : interdire aux gouvernements de porter atteinte au droit des individus à augmenter leurs capacités mentales au moyen de la neuroscience.
- Droit à l’intégrité mentale : maîtrise par un individu de ses états mentaux et de ses données cérébrales.
- Droit à la vie privée mentale : droit à la confidentialité des données produites par le cerveau.
- Droit à la continuité psychologique : le maintien de la vie mentale d’une personne au fil du temps (interdire la fabrication de neurosciences permettant l’altération de souvenirs ou la manipulation de la mémoire, qui pourraient faire en sorte qu’une personne ne sache même plus qui elle est !).
Selon Jean-Marc RICKLI « La croissance exponentielle de la désinformation et des atteintes cognitives assistées par l’IA a donné naissance à une nouvelle classe d’ADM, qui ne sont pas des armes de destruction massive, mais des armes de désinformation de masse, qui pourraient se transformer en armes de destruction mentale ».
Enfin, Isabelle CHAPPUIS nous dit : « Je pense que nous aurions besoin d’une doctrine de dissuasion cognitive. Parce qu’en fait, une guerre cognitive qui est bien menée, elle peut détruire une démocratie de l’intérieur, sans bombes, sans bruit. Juste en fracturant la confiance, en brouillant la vérité et en sapant la volonté d’agir ensemble ».
Écouter l'épisode 5 : Remparts légaux : la réponse réglementaire face aux menaces cognitives
Épisode 6 : Défendre notre intégrité cognitive : l'hygiène mentale à l'ère numérique
Afin de mettre en perspective les notions de quantité d’information et de rapidité de diffusion, ce dernier épisode démarre par un rappel de l’invention de l’imprimerie et du télégraphe.
Aujourdhui, la politologue Asma Mhalla parle de « technologies de l’hypervitesse ». Selon elle, les notions d’instruction et de citoyenneté seront les clefs pour être plus robuste face à la guerre cognitive : il faut former des citoyen·nes éveillés ! Malheureusement, « prompter » (texte que l’on fourni à une IA) risque d’inhiber le développement de compétences et d’esprit critique, sans parler de la dépendance à la technologie.
L’enjeux est « d’apprendre à en questionner les produits, à décoder leurs implications humaines, sociales et éthiques et comment celles-ci changent ou sont influencées par la tech même. Ou encore à déchiffrer les structures culturelles, économiques et de pouvoir dans lesquelles ces technologies existent et évoluent » d’où l’importance de l’instruction !
En développant une auto-défense intellectuelle, un régime d’hygiène cognitif, il faut réapprendre à décrypter les médias, à développer des anticorps à la désinformation, et à évaluer la crédibilité des sources. Isablelle Chappuis nous dit qu’il faut « entretenir une culture du doute, la culture du débat et de la nuance ».
L’une des clefs pour lutter est de retisser du lien social.
Le théoricien des médias Clay Shirdy nous dit que « nous surestimons systématiquement la valeur de l’accès à l’information, et sous-estimons la valeur de l’accès aux autres ».
Selon Bruno Guissani « confronter la menace cognitives et maintenir une capacité de pensée autonome et rationnelle demande des stratégies de groupe, communautaires, nationales, militaires. »
Ce qui est inéluctable est bien l’explosion des IA, mais pas les usages que nous devons en faire. Nous pouvons décider de ne pas leur déléguer l’exercice de la pensée et de la création, de ne pas nous laisser submerger par l’information qu’elles produisent.
Une autre approche, plus positive, celle de la chercheuse en éthique de l’IA Nicoletta lacobacci, consiste à envisager l’IA « comme une intelligence à éduquer (...), comme une relation qui façonne notre avenir », impliquant « intention et sensibilité ».Cette série de podcast conclut en expliquant que nous ne pourrons pas relever les défis de demain (crises écologiques, sociales, économiques...) « si on ne protège pas notre cognition, si on perd la possibilité d’appréhender la réalité de façon factuelle, si la frontière entre le vrai et le faux disparaît. Si notre capacité de penser et discuter clairement et librement est dégradée ».
La guerre cognitive est une bataille que nous favorisons à chaque fois que nous adoptons avec enthousiasme une technologie numérique parce qu’elle est pratique, ou gratuite, ou les deux, sans vraiment la comprendre et sans réellement nous interroger sur ce qui est le mieux pour nous. Car le but de cette guerre cognitive est de nous faire perdre la capacité de comprendre le monde et de choisir de façon autonome.
Musclons notre liberté en préservant nos capacités conceptuelles, d’attention, de concentration et de langage.
Écouter l'épisode 6 : Défendre notre intégrité cognitive : l'hygiène mentale à l'ère numérique
