Quelle que soit la réalité, nous entrons dans des années 2020 ultranumériques, où les innovations augmentées, virtuelles et numériques auront des répercussions sur presque chaque aspect de notre vie. Des lunettes de réalité augmentée d’aujourd’hui à la réalité mixte type HoloLens de Microsoft, il est désormais possible de voir des objets virtuels qui ont intégré le monde réel.
Ces innovations offrent de nombreux avantages. Les jumeaux numériques aident déjà les ingénieurs et les architectes à créer des bâtiments plus solides et trouveront probablement une utilisation dans d’autres domaines. En médecine, par exemple, où les jumeaux numériques combinent savamment l’intelligence artificielle et les données personnelles, ils ont commencé à transformer la manière dont les soins de santé sont dispensés.
« Les jumeaux numériques peuvent réduire les coûts de la santé car ils permettent aux médecins de détecter à l’avance les intolérances médicamenteuses et de diagnostiquer des maladies avant qu’elles n’atteignent le stade chronique. Ils peuvent également réduire les erreurs de traitement, qui sont la troisième cause de décès dans le monde après le cancer et les maladies cardiovasculaires. Tout cela permet des économies considérables », affirme Adrian Ionescu, responsable du Laboratoire des dispositifs nanoélectroniques de l’EPFL.
Cependant, les jumeaux numériques risquent aussi de devenir des clones numériques. De ce fait, ils soulèvent de nombreuses questions juridiques et éthiques. Bien évidemment, il en va de même pour de nombreuses applications d’intelligence artificielle prometteuses. Sabine Süsstrunk, professeure et responsable du Laboratoire d’images et représentation visuelle de l’EPFL, affirme que l’intelligence artificielle et l’apprentissage profond ne peuvent pas raisonner, mais ils peuvent détecter des schémas beaucoup mieux que les êtres humains. « Je ferais confiance à un système d’intelligence artificielle qui a été entraîné sur des millions de mammographies pour aider un médecin à détecter mon cancer du sein, confie-t-elle. Mais devons-nous utiliser l’intelligence artificielle pour savoir si une personne est plus ou moins susceptible de commettre un crime ou doit recevoir un prêt immobilier ? » Selon Sabine Süsstrunk, l’intelligence artificielle n’est efficace que si les données utilisées pour l’entraîner sont de bonne qualité. « Si nous laissons ces systèmes prendre des décisions, nous sommes en difficulté car beaucoup de données sont biaisées, dit-elle. Il n’y aura pas d’erreur sur le cancer du sein: vous avez une tumeur ou vous n’en avez pas. Ni, par exemple, sur la qualité du sol: le sol est bon ou mauvais. Mais l’intelligence artificielle n’a pas de rôle légitime dans les décisions sociétales ou d’autres processus subjectifs de prise de décision dans les entreprises, la politique ou la communauté. »
D’une certaine façon, l’avenir est déjà là, même sans clones numériques ni réalités virtuelles. Nous sommes nombreux à avoir eu des expériences en miroir ou alternatives grâce aux deepfakes et shallowfakes. Nous sommes constamment exposés aux fausses personnes et aux fake news générées numériquement et développées à l’aide de l’apprentissage profond et de méthodes lowtech beaucoup plus simples. Dans quelle mesure ces trucages créent-ils des réalités virtuelles ? Comment évolueront les sociétés alors que nous ne pouvons plus nous fier à nos sens, ou à la physique, pour déterminer si quelque chose est réel ?
Même s’ils sont utilisés partout, des campagnes de santé publique à l’éducation, et dans la culture, les deepfakes sont aujourd’hui connus pour leur utilisation dans la pornographie, les arnaques et la fraude. Comment pouvons-nous même commencer à penser à réglementer quelque chose que nous ne pouvons peut-être pas détecter ? Et quelles sont les implications juridiques des deepfakes à l’heure de la mondialisation ?
Le monde numérique de demain soulève beaucoup d’autres questions philosophiques qui vont bien au-delà de notre expérience actuelle de la technologie. Pourquoi créons-nous des secondes versions de réalités et pour qui ? Sommes-nous sur le point de réaliser l’utopie implicite de la réalité virtuelle pour nous-mêmes, ou sommes-nous en fait en train de construire des « mondes miroirs » pour que les machines apprennent à mieux naviguer dans l’environnement humain ? Parmi les principales avancées technologiques, quelles sont celles qui rendent ces réalités en miroir possibles ?
Comme dans le film Matrix, « détendez-vous » en explorant avec nous l’avenir des mondes miroirs, les deepfakes, les jumeaux numériques et tout ce qui se trouve entre les deux.
- Une course à l’armement
- Mondes simulés
- Interview de Sarah Kenderdine
- Mon jumeau numérique est-il malade ?
- Cette technologie permet de simuler ce qui se passerait “si…”
- Une question de genre
La confiance et la vérité mises au défi par les deepfakes
Des attaques personnelles à l’effondrement des politiques démocratiques, en passant par les atteintes à la réputation et la manipulation de l’opinion publique, les deepfakes sont de plus en plus sous les projecteurs pour le préjudice qu’ils pourraient causer aux individus et à la société en général. Tanya Petersen a rencontré Aengus Collins, directeur adjoint et responsable politique au Centre international de gouvernance es risques de l’EPFL.
Les deepfakes deviendront-ils l’outil de désinformation le plus puissant qui ait jamais existé? Pouvons-nous atténuer ou régir le déferlement à venir des médias de synthèse ?
Notre recherche porte sur les risques que posent les deepfakes. Nous soulignons trois niveaux de risque : l’individu, l’entreprise et la société. Dans chaque cas, savoir comment répondre signifie chercher à mieux comprendre quels sont les risques et quelles personnes sont concernées. Il est important d’indiquer également que ces risques n’impliquent pas nécessairement une intention malveillante. Généralement, si un individu ou une entreprise est confronté à un risque de deepfake, c’est parce qu’il ou elle a été ciblé en quelque sorte, par exemple la pornographie sans consentement au niveau individuel ou une fraude contre une entreprise. A l’échelle de la société, en revanche, l’un des éléments soulignés par notre recherche est que le préjudice potentiel des deepfakes n’est pas obligatoirement intentionnel: la prévalence croissante des médias de synthèse peut susciter des inquiétudes au sujet des valeurs sociales fondamentales telles que la confiance et la vérité.
Pouvons-nous établir des priorités ? Comment et sur quoi devons-nous concentrer notre énergie pour éviter que les deepfakes ne soient préjudiciables ?
Dans notre recherche, nous avons suggéré d’utiliser un cadre simple avec trois dimensions : la gravité du préjudice potentiel, son ampleur et la résilience de la cible. Cette analyse à trois niveaux suggère que le préjudice individuel et social doit être traité en priorité. De nombreuses entreprises auront des processus et ressources existants qui peuvent être attribués à la gestion des risques de deepfake. Pour les individus, la gravité peut être très élevée. Réfléchissez aux éventuelles répercussions durables pour une femme ciblée par un deepfake pornographique sans consentement et à la résilience nécessaire pour y faire face. En termes de répercussions sociales, des inquiétudes apparaissent sur les risques dramatiques, comme le discrédit jeté sur des élections. Mais il y a aussi le risque d’un processus plus discret de perturbation sociale : un processus de faible intensité et de faible gravité qui entraîne néanmoins des problèmes de niveau systémique si les deepfakes sapent les bases de la confiance et de la vérité.
Aengus Collins, directeur adjoint et responsable politique au Centre international de gouvernance
des risques de l’EPFL. Illustration © Laurent Bazart
Les ordinateurs n’ont pas de valeurs. Les deepfakes sont-ils un problème technique ou un problème fondamental de société, remonté à la surface avec une certaine ampleur et une certaine accessibilité ?
À ce stade, les deux sont inextricables, on ne peut pas dire que c’est simplement un problème humain ou un problème technique. Trouver un vocabulaire commun ou un cadre de référence pour influencer l’impact de la technologie sur les valeurs sociales est l’un des grands défis auxquels sont confrontés les législateurs et les développeurs de technologie. Bien évidemment, la technologie est un outil, mais les valeurs peuvent affecter ou déformer la fabrication de l’outil en premier lieu. Je pense que nous observons cette tension assez clairement en ce moment dans les débats sur l’intelligence artificielle et les préjugés.
Ce cocktail composé de technologie, de valeurs sociales, de l’interaction entre les deux, de préjugés des développeurs de technologie et de mondialisation est incroyablement complexe. Où devons-nous commencer à réfléchir sur la gestion des deepfakes, et est-ce même possible ?
En effet, les innovations progressent à un rythme sans précédent, et le processus politique peine à suivre. Il n’y a pas de levier simple à tirer pour régler ce problème, mais beaucoup de travail est fait pour rendre le processus réglementaire plus souple et créatif. De plus, même si cela peut prendre du temps aux législateurs pour se familiariser avec les technologies émergentes, ils peuvent ensuite agir assez rapidement. Par exemple, ces dernières années, il y a eu beaucoup de changements en matière de protection des données. Les développements avec l’intelligence artificielle et les plateformes de réseaux sociaux arriveraient bientôt à un point critique. Les législateurs rattrapent leur retard et commencent à tracer des lignes à ne pas dépasser. Certains de ces précédents nous aideront peut-être à éviter les mêmes erreurs avec la technologie deepfake. ■
La technologie est un outil, mais les valeurs peuvent affecter ou déformer la fabrication de l’outil en premier lieu”
En ce début des années 20 numériques, avec un accès de plus en plus facile à l’intelligence artificielle et à l’apprentissage machine à l’origine des deepfakes, le professeur Touradj Ebrahimi de l’EPFL l’affirme : « Nous sommes à un tournant. Nous avons démocratisé les contrefaçons. Dès qu’elles surgissent, la confiance disparaît. »
Le deepfake est une technique de synthèse qui consiste à remplacer une personne ou un objet, dans une image ou une vidéo existante, par une autre qui lui ressemble afin de créer du faux contenu. Les deepfakes sont générés à l’aide de méthodes d’apprentissage profond. Ils impliquent l’entraînement d’architectures de réseaux neuronaux génératifs, comme des auto-encodeurs ou des GAN (réseaux antagonistes génératifs).
Les deepfakes, entre le bien et le mal
Bien qu’ils aient émergé sur le devant de la scène il y a seulement quatre ans, les deepfakes se sont fait une réputation dans la pornographie vengeresse et ciblant des célébrités sans leur consentement, les fake news, les arnaques et la fraude. Mais ils ont aussi leur bon côté.
Cette technologie est utilisée dans de multiples domaines, notamment dans des campagnes de santé publique, dans l’éducation et dans les installations culturelles. Fin 2020, l’ancien footballeur David Beckham a été numériquement transformé en un homme de 70 ans pour la campagne contre le paludisme « Malaria must die, so millions can live ». Des personnages historiques ont été ramenés à la vie dans des musées, par exemple Salvador Dalí qui est « apparu » au Salvador Dalí Museum de Saint Petersburg, en Floride.
Dans le divertissement, la technologie du deepfake est utilisée pour créer des lieux et permettre de faire intervenir des fantômes ou hologrammes. Par exemple, en 2019, dans le film Star Wars : l’ascension de Skywalker, Carrie Fisher incarnait, trois ans après son décès, le rôle de la princesse Leia.
La fin des top models ?
Sabine Süsstrunk, professeure et responsable du Laboratoire d’images et représentation visuelle de la Faculté informatique et communications de l’EPFL, présente ses derniers travaux. « Nous avons pris le modèle StyleGAN2 préentraîné et nous avons trouvé les vecteurs sémantiques qui créent les yeux, la bouche ou le nez, en les affinant de sorte à pouvoir les modifier localement. Imaginons que vous créez une fausse image qui vous plaît, mais vous n’aimez pas les yeux. Vous pouvez utiliser une autre fausse image de référence et commencer à les modifier. Aujourd’hui, nous pouvons même modifier la bouche, les yeux et les oreilles sans la moindre image de référence. Je peux modifier facilement un visage, le faire sourire, rétrécir les yeux, retrousser le nez ou l’abaisser. »
La publicité pourrait être le principal domaine d’utilisation de ces deepfakes. Sabine Süsstrunk laisse entendre que cela pourrait être la fin des top models. « Ce sont de fausses personnes qui prétendent être un faux quelque chose. Vous n’avez pas de problèmes de copyright, pas de photographe, pas d’acteur, pas de modèle. Nous ne pouvons pas encore faire le corps, mais ce n’est qu’une question de temps. »
C’est ce type d’image que cible la recherche de Touradj Ebrahimi. En tant que responsable du Multimedia Signal Processing Group de la Faculté des sciences et techniques de l’ingénieur, il a travaillé dans la compression, la sécurité des médias et la confidentialité pendant toute sa carrière. Il y a quatre ans, il a également commencé à se pencher sur un nouveau problème : comment l’intelligence artificielle peut-elle être utilisée pour enfreindre la sécurité en général ? Les deepfakes en sont un exemple manifeste.
Je peux modifier facilement un visage, le faire sourire, rétrécir les yeux, retrousser le nez ou l’abaisser”
Un jeu du chat et de la souris
« Comme le problème provient de l’intelligence artificielle, je me demandais si celle-ci pouvait aussi faire partie de la solution. Pouvons-nous combattre le feu par le feu ?, s’interroge-t-il. Nous créons des deepfakes et nous les détectons, en mettant en opposition les algorithmes, qui s’améliorent dans ce qu’ils font. Mais c’est une course à la rivalité ou un jeu du chat et de la souris. Et quand vous êtes dans ce jeu, vous voulez vous assurer que vous n’êtes pas la souris. Malheureusement, nous sommes les souris et ce jeu ne peut pas être gagné à long terme. »
Outre la détection, Touradj Ebrahimi a commencé à travailler sur l’idée de la provenance, élément qui a entraîné la chute du maître faussaire Shaun Greenhalgh au début des années 2000. Dans les médias numériques, c’est une approche dans laquelle les métadonnées sont intégrées dans le contenu à leur création, ce qui certifie leur source et leur histoire. Une initiative de l’industrie est la « coalition pour la provenance et l’authenticité des contenus », C2PA, dirigée par Adobe, Microsoft et la BBC. Parallèlement, Touradj Ebrahimi travaille avec le comité JPEG pour développer une norme open source universelle sous l’égide de l’Organisation internationale de normalisation (ISO). Certifier la provenance n’empêchera pas la manipulation, mais elle fournira en toute transparence aux utilisateurs finaux des informations sur le statut de tout contenu numérique qu’ils rencontreront.
Sabine Süsstrunk admet que la détection des fraudes est un jeu à court terme. Elle soutient le certificat de provenance, tout en ajoutant que ses derniers deepfakes seraient indétectables car ils ne contiennent pas d’artéfacts. Elle souhaiterait aussi que le débat porte autant sur la philosophie que sur la technique.
« Nous devons mieux expliquer ce que signifient réellement le numérique et l’intelligence artificielle. Il n’y a pas d’intelligence dans l’artificiel. Je ne dis pas que nous n’y arriverons pas, mais que, à l’heure actuelle, nous abusons de la terminologie. Si quelqu’un crée un deepfake, il n’y a pas de système informatique qui essaie de vous piéger. Il y a une personne avec de bonnes ou de mauvaises intentions derrière cela. Je crois vraiment que l’éducation est la réponse. Cette technologie ne va pas disparaître. »
« Ces deepfakes seront souvent partagés dans les groupes de réseaux sociaux auxquels nous n’avons pas accès. Il existe tout un monde fermé qui est un canal pour tout type de fausses informations et dont nous ne saurons rien. Ce n’est plus un débat technique, mais une discussion qui intègre des valeurs sociales et la réglementation des entreprises de technologie. »
A l’avenir, Touradj Ebrahimi s’inquiète d’un manque d’indication de provenance ou de normalisation au-delà des informations visuelles. « Récemment, la Télévision suisse nous a demandé de créer un deepfake du président de la Confédération Guy Parmelin. C’est sur l’audio, et non sur la vidéo, que les gens ont détecté le deepfake. Même si l’audio et la vidéo sont impeccables, la synchronisation entre les deux est extrêmement difficile à gérer. Je veux traiter les deepfakes de manière multimodale, pour gérer la relation entre l’audio et la vidéo. Je travaillerai également sur les outils pour la sécurisation de la provenance. Si vous pouvez falsifier le contenu, vous pouvez le faire avec les métadonnées. Ce sera donc essentiel pour que cette approche fonctionne. » ■
Ce n’est plus un débat technique, mais une discussion qui intègre des valeurs sociales et la réglementation des entreprises de technologie”
C’est une pensée étonnamment ancienne. Nous n’avons pas eu besoin d’attendre la réalité virtuelle ou Hollywood pour imaginer ce conte dystopique semi-religieux : des humains maintenus dans un état inconscient par des machines maléfiques intangibles. L’« argument du rêve » est, au moins, aussi vieux que la pensée occidentale, formulée dans l’antiquité par Platon et Aristote. Dans Méditations métaphysiques, Descartes a écrit : « Je me ressouviens d’avoir été souvent trompé, lorsque je dormais, par de semblables illusions. Et m’arrêtant sur cette pensée, je vois si manifestement qu’il n’y a point d’indices concluants, ni de marques assez certaines par où l’on puisse distinguer nettement la veille d’avec le sommeil, que j’en suis tout étonné. »
Sous une forme plus contemporaine, nommée « théorie de la simulation », l’idée a été particulièrement populaire au cours des dernières décennies, notamment dans les cercles de la Silicon Valley. Ses partisans comptent de grands noms de la technologie, la plus célèbre étant peut-être Elon Musk. « Si vous supposez un certain taux d’amélioration, alors les jeux deviendront indiscernables de la réalité », a-t-il déclaré récemment dans un podcast, avant d’ajouter : « Nous sommes très probablement dans une simulation. » L’idée : certaines formes de vie supérieures exécutent une simulation – les motivations derrière cela diffèrent – et nous ne sommes rien de plus que des artéfacts dans ce monde simulé. L’évolution est l’expérience et le monde est la boîte de Pétri. On nous fait croire que nous existons, mais en fait, nous ne sommes même pas un rêve. Nous sommes des bits et des octets, c’est tout. La réalité est ailleurs, sur un parc de serveurs dans une dimension différente peut-être.
Cela ressemble un peu à Second Life. Vous vous souvenez de Second Life ? Un monde simulé avec des graphismes grossiers et des couleurs sursaturées, où les gens se promènent sous forme d’avatars. « Second Life est toujours là, en fait », affirme Jean-François Lucas, collaborateur externe du Laboratoire de sociologie urbaine de l’EPFL et expert en villes numériques, sociologie de l’innovation, mondes virtuels et jeux vidéo. Il a étudié le phénomène à l’époque et s’est depuis tourné vers d’autres intérêts, mais il estime que le nombre d’utilisateurs réguliers est toujours d’environ 50’000. « Il existe tout un ensemble de motivations différentes pour passer du temps dans de tels espaces virtuels », dit-il, l’une d’entre elles étant très sociale – rencontrer des gens. Il pense que ces secondes versions du monde seront toujours complémentaires; elles ne remplaceront jamais la « première » version. Il ne croit pas que « nous pourrions créer une représentation parfaite du monde, parfaite pour chacun d’entre nous ». Que signifierait la perfection dans ce contexte de toute manière ? Une copie parfaite ou une version perfectionnée et améliorée du monde plus ou moins défectueux ? Tout cela devient de nouveau très philosophique, comme dans la courte nouvelle de Luis Borges De la rigueur de la science. Dans ce texte, Luis Borges imagine la quête d’une carte du monde parfaite : « Avec le temps, les Collèges Cartographiques levèrent une Carte de l’Empire, qui avait la taille de l’Empire et qui coïncidait avec lui, point par point. »
Le monde miroir prend forme
Point par point, pixel par pixel. Et si ce n’était pas vraiment une coïncidence que la théorie de la simulation ait attiré un tel public dans les années qui ont suivi Matrix ? Car, en fait, nous sommes en train de créer ces simulations du monde, pour de vrai. Le monde miroir prend forme lentement. Le terme « monde miroir » a été inventé par l’informaticien de Yale David Gelernter et est devenu célèbre grâce au fondateur du magazine Wired, Kevin Kelly, qui le fait figurer sur la couverture du numéro de mars 2019.
Le monde miroir est en fait bien plus qu’une carte, et n’est pas seulement une version actualisée de Second Life. Dans son article de Wired, Kevin Kelly parle de « paysages numériques émergents » qui auront l’air réel : « Ils induiront ce que les architectes paysagistes appellent un sentiment d’espace. » Il veut dire que dans cette seconde réalité, qui se superpose à celle que nous connaissons, la représentation des choses sera bien plus que des cartographies de la contrepartie réelle. « Un bâtiment virtuel aura du volume, une chaise virtuelle aura tout d’une chaise, et une rue virtuelle aura des couches de textures, des vides et des intrusions qui véhiculeront tous une impression de rue. »
De la science-fiction ? Récemment, plusieurs entreprises ont mis au point des mondes cartographiés très impressionnants, dont certains sont des représentations des nôtres, d’autres des pays imaginaires. Il y a un point commun frappant entre ces entreprises : elles ont toutes un lien avec l’industrie du jeu. La première raison à cela est évidente. La technologie des jeux a évolué si rapidement ces dix dernières années que, soudainement, les environnements de jeux commencent à ressembler à des mondes entiers. Grâce à la réalité artificielle, certaines expériences de jeu s’infiltrent vraiment dans le monde réel. L’imagination fusionne avec la réalité ou, en fait, devient réalité. Et en tant qu’utilisateurs, nous participons activement à la création de ces simulations : Niantic, l’entreprise à l’origine de Pokémon Go, développe actuellement une carte 3D du monde, en collaboration avec sa base de joueurs. Comme le souligne John Hanke, fondateur de Niantic, dans Wired : « Si vous pouvez résoudre un problème pour un joueur, vous pouvez le faire pour tout le monde. »
Il n’est donc pas vraiment surprenant que l’industrie du divertissement soit à l’origine de certains des développements les plus audacieux en matière de simulations de monde. Le moteur Unity, d’abord développé comme une plateforme de jeux, ne cesse d’étendre sa gamme à d’autres applications. En 2019, Disney s’en est servi pour créer des arrière-plans pour Le Roi lion. Le jeu à succès Fortnite a aussi récemment lancé une série de grands concerts live. Le plus grand, organisé par Travis Scott, a attiré plus de 12 millions de téléspectateurs. Il n’est peut-être pas si exagéré d’imaginer des films et des jeux convergeant bientôt vers un seul et même genre.
Wenzel Jakob n’est pas totalement convaincu. Directeur du Laboratoire d’informatique graphique réaliste de la Faculté informatique et communications de l’EPFL, il a participé au développement de certains algorithmes utilisés dans le rendu de ces réalités numériques. « Oui, nous sommes devenus très performants dans le rendu d’images photoréalistes. Vous pouvez le voir au cinéma. » Mais ce procédé est gourmand en ressources et coûteux, selon Wenzel Jakob, « cela peut prendre jusqu’à huit heures pour une seule image ». Hollywood peut le faire, mais pour atteindre le même niveau de photoréalisme dans les jeux, il faut un autre saut quantique dans le rendu d’algorithmes. Toutefois, regarder les dernières démos avec la technologie de traçage de rayons de Nvidia (une nouveauté qui a « bouleversé le monde », du moins celui de Wenzel Jakob) et le moteur Unreal Engine 4 d’Unity, c’est comme avoir un aperçu de ce futur. « Les jeux ont peut-être dix ans de retard, ce n’est probablement qu’une question de temps », affirme Wenzel Jakob. En attendant, il a déjà fait un pas de plus (voir encadré).
La seconde raison pour laquelle le développement du monde miroir est porté par l’industrie du jeu est beaucoup moins intuitive. Elle est liée à l’intelligence artificielle. Nvidia a peut-être commencé son activité dans les processeurs graphiques principalement dans l’industrie du jeu, mais elle est devenue un fournisseur indispensable de matériel d’intelligence artificielle. Dans ce qui ressemble à un autre exemple de convergence des mondes, l’entreprise a récemment annoncé son intention de créer un « métavers ». « Chaque usine et chaque bâtiment auront un jumeau numérique qui simulera et suivra en permanence la version physique de celui-ci », explique le directeur général de Nvidia, Jensen Huang, dans un entretien dans le magazine Time. Ces jumeaux ne serviront pas seulement de terrains d’essai pour les logiciels. Selon Jensen Huang, chaque code et sa fonction seront d’abord simulés et optimisés dans le monde numérique avant d’être chargés dans la version physique. Cela deviendra également un terrain d’expérimentation de plus en plus précieux pour les intelligences artificielles.
Illustration © Laurent Bazart
Des couches recouvrant des couches
Cette idée m’est venue aux journées « Applied Machine Learning Days » de 2020. Danny Lange, vice-président pour l’intelligence artificielle et l’apprentissage machine chez Unity Technologies, a prononcé un discours fascinant intitulé « Simulations – la nouvelle réalité pour l’intelligence artificielle » au SwissTech Convention Center à Lausanne. Il a expliqué comment la technologie du jeu vidéo 3D en temps réel pouvait être utilisée pour générer « des quantités quasiment infinies de données d’entraînement pour l’apprentissage machine supervisé en vision informatique, ou pour l’apprentissage par renforcement non supervisé ». Quiconque connaît la difficulté de la collecte de données de qualité suffisante pour ces processus d’apprentissage se rendra compte à quel point cela pourrait changer les paradigmes de l’intelligence artificielle dans les années à venir.
Alors peut-être que nous le faisons pour les machines plutôt que pour nous. Quel que soit celui qui en profite le plus, le résultat sera une interconnexion totale, estime Kevin Kelly : « Tout ce qui est connecté à Internet sera connecté au monde miroir. Et tout ce qui est connecté au monde miroir verra et sera vu par quiconque dans cet environnement interconnecté. » En retour, cela pourrait donner aux machines des capacités surhumaines dans le monde réel. Elles auraient une superperception en réseau : quand un robot déambulerait dans une rue, il ne verrait pas notre monde, mais la version du monde miroir de cette rue. Le robot aurait assimilé les contours du paysage urbain cartographiés par d’autres machines et pourrait fusionner des milliers de perceptions de capteurs. Il pourrait voir dans les recoins et à travers les murs, car les yeux d’autres robots seraient déjà passés par là. Des simulations recouvrant des données de synthèse, elles-mêmes recouvrant l’Internet des objets.
Cela ressemble beaucoup à un conte de robots souverains tiré de Hollywood ou à une vision techno-utopique d’un « über-monde ». Jean-François Lucas connaît la chanson : « Nous continuons à réactiver d’anciens mythes sur la superréalité. C’est en fait la même histoire qui se répète sous différentes formes. La technologie a progressé, mais la narration est pratiquement restée la même. »
D’autres contes paraissent également familiers, mais touchent des aspects plus sombres. Vous vous souvenez de l’épisode « Bientôt de retour » de la célèbre série Black Mirror, une version moderne de Frankenstein ? De nouveau, la fiction semble devenir réalité, car certaines entreprises commencent à proposer des chatbots personnalisés qui ressemblent à nos êtres chers disparus. Avec les derniers progrès vraiment étonnants des modèles de langage (comme le tout dernier GPT3), nous pouvons nous attendre à nouer des contacts étroits avec des personnages virtuels, dans les jeux, mais aussi dans nos réalités quotidiennes. Comme nous avons tendance à vivre de plus en plus nos vies sociales sur des plateformes numériques, ces personnages n’auront pas besoin d’être incarnés. Les machines sont déjà responsables de la majeure partie du contenu des réseaux sociaux. Nous savons, et nous avons tendance à croire, que nous pouvons surpasser facilement les robots, mais cela est voué à changer dans les années à venir. Ainsi, de manière inévitable, notre réalité ressemble de plus en plus à un mélange de réel et de simulation.
Tout ce qui est connecté à Internet sera connecté au monde miroir”
Mescaline numérique
C’est là l’éternel problème de la réalité virtuelle : jusqu’où les mondes simulés peuvent-ils s’écarter du monde réel ? Certains disent que la véritable percée viendra avec la réalité augmentée. Dans ce cas, nous devrons attendre le retour de Google Glass ou d’un concurrent. D’autres parlent de réalité mixte. Mais nous aurons encore à apprendre de ces réalités, et certaines leçons utiles pourraient aussi provenir du Groupe de recherche en interaction immersive de l’EPFL, dirigé par Ronan Boulic. Une visite de ce laboratoire est une expérience étrange. Dans Matrix, Choi répond bien à la question de Neo : « Tout le temps, mec. Ça s’appelle la mescaline. C’est la seule façon de planer. » La mescaline d’aujourd’hui pourrait bien être les lunettes de réalité virtuelle. Elles peuvent du moins vous offrir des expériences assez psychédéliques, par exemple voir la copie numérique de votre main posée sur une table, comme si c’était réel. Sauf que si vous levez l’index, vous voyez votre majeur se relever, et vice versa. Essayez de commander les deux doigts pendant un moment, et quelque chose dans votre cerveau se détraque. Ce que vous voyez n’est pas ce que vous obtenez. Le Groupe de recherche en interaction immersive vise un mélange de neurosciences et de recherche pratique en réalité virtuelle, comme l’explique la doctorante Loën Boban. Jusqu’où peut-on tolérer l’irréalité en réalité virtuelle et croire encore à la simulation ? L’expérience de la main, aussi simple soit-elle, montre qu’il n’y a certainement pas de ligne claire à tracer ici. Ronan Boulic considère que, au vu de nos moyens technologiques actuels, nous sommes encore « loin de la matrice ». Pour lui, la « frontière dure » est un système mécanique permettant d’agir réellement. « D’importants progrès ont été réalisés pour tromper les canaux de la perception audiovisuelle, mais cela fait uniquement partie de la réalité ressentie; c’est autre chose de simuler les sens de l’équilibre, les mouvements du corps et l’interaction avec l’environnement sans risquer une douleur réelle. » Autrement dit, il y a toujours un mur ou une chaise quand vous voulez plonger, courir ou voler dans les mondes de réalité virtuelle réalistes. Et comment simulez-vous l’effort d’une montée raide si vous êtes chez vous dans votre petit appartement ?
Mondes virtuels sans issues
« Les mondes miroirs vous immergent sans vous retirer de l’espace », écrit Keiichi Matsuda, ancien directeur artistique de Leap Motion, une entreprise qui développe la technologie des gestes de la main pour la réalité augmentée. « Vous êtes toujours présent, mais sur un plan différent de la réalité. Souvenez-vous de Frodon lorsqu’il enfile l’Anneau unique. Plutôt que de vous couper du monde, il forme un nouveau lien avec lui. »
C’est une vision légèrement différente de celle imaginée par l’écrivain de science-fiction Stanislaw Lem en 1964. Dans le sixième chapitre de son recueil d’essais très accessible intitulé Summa Technologiae, Stanislaw Lem a imaginé une technologie appelée « fantomatique » qui consiste à inventer des situations où il n’existe aucune sortie des mondes imaginaires créés dans le monde réel. Pas de pilule rouge. Mais serait-ce si mauvais, si l’illusion était agréable ?
Que peut vivre une personne connectée à un générateur fantomatique ? Tout. Elle peut gravir les Alpes, errer sur la Lune sans combinaison spatiale ni masque à oxygène, conquérir des villes médiévales ou le pôle Nord en dirigeant une équipe engagée et en portant une armure étincelante. Elle peut être acclamée par la foule comme le vainqueur d’un marathon ou le plus grand poète de tous les temps et recevoir un Prix Nobel des mains du roi de Suède; elle peut aimer Madame de Pompadour et être aimée par elle.
Ça paraît génial, non ? Mais revenons à l’argument du rêve. Voudrons-nous même continuer à vivre dans une réalité qui laisse à désirer s’il existe une bien meilleure simulation ? Et pourrions-nous être amenés à croire que la simulation est vraiment réelle ? Loën Boban est un peu destabilisée quand un visiteur aborde le sujet. Spécialiste de la robotique, du contrôle et des systèmes intelligents, elle ne comprend pas les peurs; elle voit plutôt une opportunité incroyable : « Nous pourrions créer un monde dans lequel chacun aurait des superpouvoirs; nous pourrions visiter des lieux que nous n’aurons jamais la chance de voir; nous pourrions avoir des liens étroits avec des personnes éloignées. » Elle ne pense pas que cette évolution serait une mauvaise chose. Elle imagine volontiers échanger notre expérience réelle du monde avec cette expérience virtuelle. Mais d’ici là, il y a beaucoup de recherche fondamentale à faire. « Je serais très fière et très heureuse de pouvoir contribuer au développement d’une telle technologie. » ■
Rendre le monde meilleur en prenant des algorithmes a l’envers
Pour un informaticien comme Wenzel Jakob qui s’intéresse beaucoup aux mathématiques, les algorithmes sont bien plus que des lignes de code. Ils regroupent de longues séquences d’opérations mathématiques dont le comportement peut être contrôlé et modifié à l’aide d’outils mathématiques pour des applications surprenantes et imprévues. C’est aussi l’idée de base d’un réseau neuronal, qui peut être considéré comme une sorte de « modèle d’algorithme » susceptible de devenir un certain nombre de choses différentes. Le catalyseur mathématique derrière tout cela est une méthode ingénieuse appelée différenciation en mode inverse, également connue sous le nom de rétropropagation dans le domaine de l’intelligence artificielle. Cela se résume à exécuter le code à l’envers et à l’ajuster, transformant le modèle en quelque chose de réellement utile. Cette idée s’étend bien au-delà des réseaux neuronaux. Par exemple, la précédente recherche de Wenzel Jakob portait sur des méthodes de production d’images photoréalistes, une application classique de la simulation d’équations physiques. Or l’exécution de telles simulations à l’envers s’avère être une approche étonnamment fructueuse pour répondre à de nombreux problèmes complexes. Les applications potentielles vont de l’extraction d’informations à partir d’images médicales à l’analyse de grands ensembles d’images satellites en climatologie. Soudainement, un domaine mathématique qui servait auparavant principalement les besoins de l’industrie du divertissement est devenu une mine d’outils utiles « pour rendre le monde meilleur », comme le dit Wenzel Jakob. Si les simulations (par exemple d’effets de lumière) relèvent de la « marche avant », alors aller dans la direction opposée (d’une image ou d’une constellation résultante vers sa genèse) offre de nombreuses informations sur les mécanismes internes de ce sujet spécifique. ■
Wenzel Jakob, Professeur Assistant Tenure Track du laboratoire Realistic Graphics Lab de l’EPFL
Toute œuvre d’art serait-elle nécessairement une contrefaçon ?
Non, bien sûr — c’est plutôt la tension entre le vrai et le faux. Dans le domaine artistique, ce sujet ne date pas d’hier.
Votre prochaine exposition à EPFL Pavilions est intitulée « Deep Fake : Art and Its Double ». Je subodore que vous ne faites pas uniquement référence au terme omniprésent dans le monde numérique ni au champ de mines politique de la manipulation audiovisuelle.
Cela joue avec ces sujets, bien sûr. Mais si mon expérience professionnelle m’a appris une chose, c’est bien que les contrefaçons — ou, pour utiliser un terme moins provocateur, les copies — ont la capacité de susciter d’intenses réactions émotionnelles. Il n’est pas nécessaire d’être confronté à l’œuvre d’art originale pour éprouver cette réaction.
Pourriez-vous nous fournir un exemple ?
Prenez les trésors préhistoriques qui se trouvent dans des grottes fermées au public pour des raisons de conservation. Nous avons été chargés de réaliser des fac-similés numériques des œuvres abritées dans les grottes de Mogao, un site du nord-ouest de la Chine inscrit au Patrimoine mondial de l’Unesco. Les projets Pure Land ont fait le tour du monde pour donner accès au site d’une façon qui n’aurait pas pu se faire sur place. Et nous voulions trouver des moyens de faire « vivre » les œuvres et non seulement de les donner à regarder. C’est pour ça que nous avons créé ce que l’on pourrait qualifier de « muséographie incarnée ».
Ce qui nous amène, bien sûr, à l’essai de Walter Benjamin L’œuvre d’art à l’époque de sa reproduction mécanisée. On sait qu’il y affirme que toute reproduction d’une œuvre d’art perd inévitablement l’aura de l’original. Selon vous, de quoi parle-t-il exactement ?
L’aura est un concept plutôt nébuleux, mais je pense qu’il s’agit avant tout de l’effet qu’une œuvre d’art produit sur nous. Or, je sais que cet aspect de l’œuvre d’art n’est pas réellement perdu lorsqu’on la reproduit numériquement, et je pense en fait que depuis le début, Benjamin a été mal interprété. Bruno Latour et Adam Lowe ont trouvé une façon judicieuse de repenser le concept d’aura dans un contexte plus contemporain. Ils appellent ça la « migration de l’aura ». Quant à moi, je préfère « prolifération de l’aura ».
Sarah Kenderdine, directrice du Laboratoire de muséologie expérimentale de l’EPFL.
Illustration © Laurent Bazart
Elle peut donc migrer également dans la sphère numérique ?
Ça dépend bien sûr de la façon dont on s’y prend. Si on se contente de numériser des œuvres et de les mettre en ligne, elles se perdront facilement dans le bruit et la vitesse du monde virtuel. Je veux trouver d’autres solutions, des expériences numériques qui impliquent le spectateur de façon réellement active.
Cela peut-il aller au-delà de l’expérience classique du musée ?
Et rapprocher le spectateur de l’œuvre d’art ?
J’en suis convaincue ! Imaginez une personne qui visite le Louvre. Si elle veut voir la Joconde, elle n’y parviendra sans doute pas réellement, ou alors de loin, en raison du grand nombre d’autres personnes présentes dans la salle au même moment. Mon travail consiste donc à repositionner le spectateur : je veux rendre l’expérience de l’œuvre interactive et immersive — on doit pouvoir se mouvoir à travers les œuvres d’art.
Selon vous, quel potentiel la réalité virtuelle offre-t-elle aux musées ?
A mon sens, c’est un sujet complexe. Telle qu’elle est utilisée actuellement, avec des écrans montés sur casque, c’est une expérience qui isole totalement le spectateur. Ce qui me paraît beaucoup plus intéressant, c’est de créer des situations où des groupes de personnes vivent une expérience commune. Je pense que l’interaction sociale est au cœur de l’expérience muséale : c’est en échangeant avec autrui que les gens construisent une interprétation des œuvres. C’est comme ça qu’on discute de l’art, c’est comme ça qu’il prend vie.
Dans ce cas, où en sont les musées à votre avis ? Ont-ils accepté
le défi du numérique ?
A cet égard, il ne fait aucun doute que le COVID a eu un impact considérable : les musées vont devoir redéfinir leurs relations avec le public. Et, bien sûr, ce défi va bien au-delà des expositions proprement dites : il concerne également les programmes scolaires, les services de sensibilisation, etc. Et puis, en plus de la crise du COVID, on a assisté à un changement radical de discours en lien avec le mouvement #BlackLivesMatter et d’autres remises en question de propos établis. Je suis convaincue que le numérique a un rôle à jouer dans la démocratisation de l’art. Mais les structures de nombreux musées sont assez rigides en la matière. La question du numérique devrait être au cœur même des décisions curatoriales, et non être traitée par les départements communication des musées. Les jeunes curateurs qui ont compris cela prennent peu à peu la relève, mais ce virage prend du temps.
Je veux rendre l’expérience de l’œuvre interactive et immersive”
Comment voyez-vous la situation en Suisse ?
Je suis sûre qu’ici aussi nous allons assister à de grands changements. La Suisse compte au total environ 1100 musées, dont une majorité de petites entités : 75 % de ces musées accueillent moins de 5000 visiteurs par an. Quel rôle ces musées jouent-ils dans leur communauté où ils sont sans aucun doute importants ? Je vois là un certain nombre de défis intéressants, y compris pour le numérique : il ne suffit pas de mettre en ligne des bases de données sur les collections ou de faire filmer le musée pour permettre sa visite virtuelle. L’engagement du public est déterminant.
Nous avons beaucoup parlé du potentiel des représentations numériques d’objets — celles-ci impliquent-elles également des dangers selon vous ? Personnellement, craignez-vous la montée
en puissance du fake ?
On sait que cette évolution comporte de réels dangers. Le développement technologique peut bien sûr aller dans les deux sens — nous pouvons utiliser ces outils pour créer de nouvelles expériences, ou bien pour manipuler les gens à travers des versions falsifiées du monde. Dans le monde de l’art, nous avons conçu de bonnes pratiques pour garantir que l’on soit toujours en mesure de distinguer le « vrai » du « faux. »
Autrement dit, à l’avenir, le but ne sera pas de proposer une immersion parfaite ?
Pas nécessairement en effet. Je suis très consciente qu’une grande partie de la technologie et des connaissances que j’emploie provient de l’univers des jeux vidéo. En tant que créatrice d’œuvres d’art, j’ai la responsabilité de ne pas chercher à séduire l’utilisateur comme le ferait une expérience de jeu. L’art est davantage qu’un simple divertissement. ■
Exposition
« Deep Fakes: Art and Its Double »,
16 septembre 2021 – 6 février 2022, EPFL Pavillons, EPFL Campus, go.epfl.ch/deep-fakes-epfl-pavilions
Nous pouvons utiliser ces outils pour créer de nouvelles expériences”
Imaginez une copie numérique de votre corps. Une sorte de clone virtuel. Ce jumeau fictif détient toutes vos données médicales : âge, poids, taille, antécédents médicaux, rythme cardiaque, activité des organes, taux de cholestérol et patrimoine génétique, entre autres. Ces données sont transformées en formules mathématiques et introduites dans un système informatique géré par de l’intelligence artificielle et des algorithmes. Le jumeau numérique fonctionne en temps réel avec les données du patient, mais aussi avec celles de tous les autres jumeaux numériques existants.
Le but ? Faire des prédictions médicales et fournir des traitements personnalisés. Les médecins pourront annoncer des cancers encore non déclarés et tester un traitement sur le clone digital, observer ses réactions puis prescrire le meilleur dosage à leurs patients. La communauté scientifique voit en cette future technologie une révolution où la bonne santé n’aurait plus de secrets. Des jumeaux numériques d’organes ont déjà été développés ou sont en cours de l’être. Celui du corps entier est attendu d’ici une quinzaine d’années. Mais derrière la prouesse scientifique, plusieurs acteurs s’interrogent sur l’aspect éthique de cette technologie, sur l’utilisation et la protection des données personnelles qui en découlent, notamment par des entreprises privées.
Un modèle virtuel et précis
A la base, le jumeau numérique n’est pas seulement un concept médical : il se retrouve dans la conception d’objets en trois dimensions tels que les moteurs, les machines et même les villes. Les ingénieurs exploitent cette technologie pour conceptualiser la relation entre un objet physique et un modèle numérique connecté capable d’en prédire les comportements. « La représentation se révèle efficace pour suivre le cycle de vie de l’objet, depuis sa production jusqu’à son utilisation et enfin sa destruction ou son recyclage », explique Frédéric Kaplan, directeur du Laboratoire d’humanités digitales de l’EPFL.
Adrian Ionescu, directeur du Laboratoire des dispositifs nanoélectroniques de L’EPFL, énumère les avantages du jumeau numérique humain : « Il va faire baisser les coûts de la santé en détectant les incompatibilités de médicaments avec les patients et les maladies avant leur phase chronique. Il permettra aussi de diminuer le nombre d’erreurs médicales, qui sont la troisième cause de décès dans le monde après les cancers et les maladies cardio-vasculaires. Pour qu’un jumeau numérique soit fiable et précis, l’un des principaux défis à relever est toutefois la qualité des données utilisées pour le construire.
L’intelligence artificielle qui gérera le jumeau numérique sera également capable de créer de nouvelles données à partir de celles existantes. Cela signifie que les algorithmes seront à même de fabriquer des patients virtuels. Les panels de testeurs seront remplacés par l’intelligence artificielle et par des essais cliniques virtuels. Cela possède un nom : les expériences in silico. De plus, si le jumeau numérique détient toutes les informations médicales d’une personne, il pourra aussi fournir des indications sur les membres de sa famille. Cela se révèle
Jumeau numérique.
Illustration © Laurent Bazart
Double de l’œil et du cœur
Si le double numérique du corps entier est encore de la musique d’avenir, plusieurs entreprises privées et publiques ont déjà développé ce concept pour un organe spécifique.
En France, le jumeau numérique cardiaque de l’INRIA sert à planifier la thérapie pour les patients souffrant d’insuffisance cardiaque et pour les interventions dues aux tachycardies ventriculaires. « Chaque patient peut obtenir le jumeau numérique de son cœur en une trentaine de minutes en se basant sur une image scanner. Le cardiologue gagne un temps considérable, car il teste d’abord son intervention sur le jumeau numérique. Une fois dans le bloc opératoire, il sait exactement ce qu’il doit faire », déclare Maxime Sermesant, chercheur à l’INRIA et coordinateur de SimCardioTest, un projet européen qui vise à créer un jumeau numérique pour les thérapies cardiaques.
Même son de cloche en Suisse du côté d’Optimo Medical, où le jumeau numérique de l’œil permet de planifier l’opération de la cataracte. Le praticien prend des mesures de l’œil du patient qu’il introduit dans le logiciel. « Le chirurgien individualise le traitement en fonction de chaque patient en testant d’abord l’intervention sur le clone. Il passe à l’acte sur le vrai œil seulement si la chirurgie a été correctement programmée et expérimentée sur le jumeau numérique. Les risques de mauvais gestes sont quasiment réduits à zéro », explique Harald Studer, directeur général.
Chez Dassault Systèmes enfin, les chercheurs ont déjà mis au point un jumeau numérique de cellules cancéreuses et du cœur. Ils sont engagés dans un programme de double du cerveau et ont incubé dans leur laboratoire une version digitale du pied et de la cheville, comprenant la reconstruction intégrale des os, articulations, tendons, ligaments et tissus mous. « Ces jumeaux numériques vont toujours de pair avec un besoin et une problématique spécifiques. Celui du cerveau va servir aux patients résistants aux traitements contre l’épilepsie par exemple », précise Patrick Johnson, vice-président senior chez Dassault Systèmes.
En attente de financement
Si certains discutent encore de la possibilité qu’une telle invention voie le jour, Adrian Ionescu, lui, n’a aucun doute. « A l’heure actuelle, nous sommes capables de récolter des données génomiques, sur notre métabolisme et sur l’influence de notre environnement, qui incluent entre autres la pollution, notre nutrition, notre niveau de stress. Nous avons surmonté le premier obstacle, qui était de trouver un moyen de collecter et de traiter toutes ces données de haute qualité, grâce à des micro- et des nanotechnologies avancées. Nous pouvons également trouver certaines caractéristiques dans les données collectées avec les algorithmes de machine learning actuels. Le prochain défi consistera à développer des méthodes pour les interpréter, ce que nous ferons avec l’intelligence artificielle, tandis que la décision et l’action finales resteront du ressort de l’homme », souligne le chercheur à l’EPFL.
Si aujourd’hui le jumeau numérique en santé reste encore peu répandu, cela est dû aux compétences interdisciplinaires qu’il requiert et aux besoins importants en matière de financement. Ceci explique aussi pourquoi des institutions publiques comme l’EPFL n’ont pas toutes des programmes spécifiques dédiés au développement de cette technologie et qu’elle est l’apanage des entreprises privées. « Il faut bien comprendre que le jumeau numérique sollicite plusieurs domaines de connaissances alliant l’ingénierie, la science des capteurs, le machine learning et le médical. Nous disposons de toutes ces technologies de pointe qu’il convient désormais de mettre ensemble. Pour cela, nous avons besoin d’une réelle volonté politique », indique Adrian Ionescu.
Le médecin généraliste neuchâtelois Jean Gabriel Jeannot tient à rappeler la réalité du terrain. Pour lui, les praticiens ne sont pas prêts à accueillir cette nouvelle technologie et à travailler avec. Or, « si les professionnels de la santé ne sont pas les moteurs, le jumeau numérique restera difficile à implanter. Aujourd’hui, certains médecins utilisent encore le fax. Les avancées technologiques en matière de santé se feront sans doute sous la pression des patients », affirme-t-il.
Illustration © Laurent Bazart
Le prochain défi consistera à développer des méthodes pour les interpréter, ce que nous ferons avec l’intelligence artificielle, tandis que la décision et l’action finales resteront du ressort de l’homme”
L’ombre des entreprises privées
La technologie de notre avatar médical, malgré ses perspectives séduisantes, présente de nombreuses zones d’ombre. Car qui dit jumeau numérique dit aussi collecte massive de données médicales pour que l’intelligence artificielle puisse fonctionner efficacement : plus elle en possède, plus elle devient précise dans ses prédictions. Aujourd’hui, les entreprises et hôpitaux qui utilisent cette technologie n’exploitent que des données de patients recueillies après avoir obtenu leur consentement explicite. Mais des acteurs moins scrupuleux pourraient se fournir en données directement sur Internet, car des failles subsistent. « Il est du reste tout à fait possible que les institutions publiques aient recours à des partenariats avec des firmes privées pour la réalisation et la commercialisation d’une telle technologie », estime Valérie Junod, professeure de droit à l’Université de Lausanne et avocate. Qu’adviendra-t-il de nos données médicales si elles sont détenues par des privés ? La sécurité sera-t-elle garantie ? Que se passera-t-il si cette technologie n’est pas développée dans l’intérêt public, mais dans le but de faire du profit ?
Pour Patrick Johnson de Dassault Systèmes, la solution viendra d’une compréhension affinée des offres. « On peut considérer que la question s’est aussi posée avec les données bancaires. Les banques, qui sont des acteurs privés, ont tout mis en œuvre pour garantir la sécurité des données de leurs clients. Avec les jumeaux numériques dans la santé, le besoin est identique. Si cette technologie ne peut assurer la sécurité des données, elle n’aura tout simplement pas de patients.
Un « internet de la santé »
Adrian Ionescu reconnaît que cette technologie comporte une part de risques notamment en matière de stockage des données médicales. « Il y a plusieurs solutions possibles, mais aucune n’est idéale. La communauté scientifique imagine une banque de données localisée dans les hôpitaux ou une banque nationale. Mais les politiques nationales divergent entre les pays. Il serait intéressant d’avoir une banque à l’échelle européenne. Ou de créer un Internet de la santé où les données seraient entreposées et protégées », envisage le scientifique. Une chose est certaine, le cloud, tel qu’il est conçu aujourd’hui, ne correspond pas aux standards de sécurité qu’exige la technologie du jumeau numérique.
L’utilisation d’une telle technologie par des acteurs privés soulève aussi le problème du fonctionnement de l’intelligence artificielle. Celui qui détiendra le code possédera tout le pouvoir de cette technologie. Les algorithmes ont prouvé qu’ils ne sont pas neutres et reflètent nos biais de pensée. L’intelligence artificielle qui en découle n’est souvent pas complètement objective. « Dans le domaine de la santé, il apparaît essentiel de pouvoir remettre en doute et critiquer ces codes. Or comment y avoir accès s’ils sont détenus par des entreprises privées ? » s’interroge Bertrand Kiefer, rédacteur en chef de la Revue médicale suisse. Aujourd’hui, personne n’est en mesure de contester les choix de l’intelligence artificielle ni de faire recours contre ses décisions. L’apprentissage automatique reste une boîte noire que même les programmateurs et ingénieurs ne comprennent pas totalement et n’arrivent pas à expliquer.
Illustration © Laurent Bazart
Le droit de ne pas savoir
Les questions éthiques agitent régulièrement le domaine de la santé en général : par exemple autour de la vente des données médicales et des bénéfices financiers à en tirer, sur le fait que la médecine soit considérée comme un marché avec une offre, une demande et une rentabilité, ou encore sur les questions relatives aux rapports coûts-bénéfices d’une innovation. Pour le jumeau numérique, établir une liste exhaustive des enjeux éthiques le concernant s’avère ardu, car ses futures utilisations ne sont pas encore toutes connues. Etant donné que cette technologie se veut prédictive, l’éthique englobera cette thématique. Notamment sur le droit de savoir ou de ne pas savoir. « Cette question ainsi que des découvertes fortuites où on échappe au consentement éclairé se posent aussi dans le cas d’un jumeau numérique. Comment respecter la volonté du patient s’il ne désire pas savoir ? Comment se positionner si l’on apprend des informations sur des membres de notre famille ? » pointe Samia Hurst, professeure en bioéthique à l’Université de Genève. Une solution avancée par la chercheuse est de catégoriser et lister les décisions pour lesquelles une personne voudrait recevoir – ou pas – les informations médicales pertinentes.
Terme de « JUMEAU » MAL CHOISI
Avec le jumeau numérique, et a fortiori toutes les technologies qui touchent à l’intelligence artificielle, notre société ne fait-elle pas preuve de craintes irrationnelles ? Pour Johan Rochel, cofondateur de la start-up ethix, qui aborde les enjeux éthiques de la transition numérique, il s’avère important d’utiliser les bons mots afin de déconstruire des appréhensions qui n’auraient pas lieu d’être. « Le jumeau numérique ne sera rien d’autre qu’un dossier médical le plus complet possible. Employer le terme de jumeau est une manière d’humaniser cette technologie et de créer une narration basée sur l’idée d’un avatar numérique. Les bases de données et les algorithmes existent déjà et sont une fabuleuse promesse pour une médecine personnalisée, mais il n’y a pas besoin de parler de jumeau », explique-t-il. « Et le jumeau numérique ne remplacera jamais le praticien. Il s’agit d’un outil de travail supplémentaire », confirme Adrian Ionescu.
Un avenir tout tracé
Malgré la complexité du corps humain, les différentes échelles, les modes de fonctionnement et les interconnexions entre les organes, les scientifiques sont optimistes face à l’émergence du jumeau numérique dans le domaine de la santé. Les industriels et les chercheurs l’affirment : les doubles d’organes apportent déjà beaucoup à la médecine et continuent d’évoluer pour être de plus en plus performants.
Même si cette technologie semble encore abstraite, elle sera d’ici quelques années une évidence avec laquelle il faudra composer. Face aux réflexions et aux craintes qu’elle suscite, l’avenir nous réserve peut-être un dénouement inattendu que même l’intelligence artificielle n’aurait pas prédit. ■
Illustration © Laurent Bazart
Le jumeau numérique ne sera rien d’autre qu’un dossier médical le plus complet possible”
Qu’est-ce qu’un jumeau numérique ?
Un jumeau numérique est le double numérique d’une conception du monde physique, un objet, une machine, une ville, un pays. Le terme est parfois utilisé pour modéliser un processus abstrait, tel un planning de production. Il est composé d’un modèle de données qui regroupe l’histoire des « états » de l’entité, mais aussi d’un ensemble d’opérations ou de règles qui permettent de simuler son comportement. C’est donc à la fois un modèle de données et une simulation. Nous pouvons le considérer comme une machine numérique.
Le jumeau numérique est conçu pour être « synchronisé » avec le monde physique de la meilleure manière possible. Cela peut être réalisé par un flux de données arrivant de capteurs ou de systèmes qui extraient des informations sur la représentation modélisée. L’augmentation significative des bandes passantes notamment pour tous les dispositifs mobiles ouvre ici des perspectives absolument inédites.
Enfin, cette technologie permet aussi de considérer des futurs potentiels, de simuler ce qui se passerait « si… ». Cela peut être une aide précieuse à la décision ou une façon de structurer les débats par exemple dans le domaine de la planification urbaine ou de l’architecture.
Quand le concept de jumeau numérique a-t-il été inventé et quelle était sa mission première ?
Le concept de jumeau numérique est ancien, même si ce n’est que ces dix dernières années qu’il a gagné en popularité. L’accident d’Apollo 13, il y a 50 ans, correspond à la première utilisation effective d’un « jumeau numérique ». Quand le problème est survenu dans la capsule, l’équipe au sol devait le diagnostiquer et le résoudre alors qu’elle était à des centaines de milliers de kilomètres de distance. Les trois astronautes se trouvaient eux emprisonnés et ne pouvaient voir les dégâts causés par l’explosion.
Heureusement, les ingénieurs possédaient des « simulateurs » du fonctionnement des composants principaux de la capsule. Ces simulateurs étaient contrôlés par un réseau d’ordinateurs. Il y avait par exemple quatre ordinateurs pour le simulateur du module de commande et trois autres pour le simulateur du module lunaire. Ces simulateurs pouvaient être « synchronisés » avec les données qui venaient de l’engin spatial. Ils servaient ainsi du double numérique. Maintenir le flux de données entre l’appareil et la base était donc une fonction cruciale.
C’est en grande partie grâce à ces simulateurs connectés, ces « doubles numériques », que les équipes au sol et dans l’espace ont pu conjointement établir un diagnostic et sauver la mission. Ce qui est remarquable dans cet épisode historique est qu’il s’agit déjà non pas d’un « jumeau numérique », mais d’un réseau de « jumeaux numériques » en interaction les uns avec les autres. Chacun modélisé par un système de simulation indépendant.
Historiquement, le concept de jumeau numérique est d’abord apparu dans le cadre de l’idée du « monde miroir » tel qu’il a été décrit par David Gelernter en 1991. Il envisageait un prototype complet d’une ville ou du monde dans son ensemble peuplé de jumeaux numériques en relation les uns avec les autres. Gelernter proposait en fait une plateforme alternative au web, non pas un ensemble de documents connectés les uns avec les autres, mais un double du monde.
Le jumeau numérique, moins ambitieux que la conception d’un monde miroir global, commence à se populariser dans l’industrie de partir des années 2000, avec notamment les travaux de Michael Grieves. Il s’agit de conceptualiser la relation entre un objet physique et un modèle numérique connecté capable d’en prédire les comportements. Chaque machine de production, puis à une autre échelle une usine toute entière peut être associée à un double numérique qui permet d’en observer son fonctionnement en temps réel. Il s’avère pratique pour suivre le cycle de vie de l’objet, depuis sa production jusqu’à son utilisation et enfin sa destruction ou son recyclage.
Professeur Frédéric Kaplan, directeur du Laboratoire d’humanités digitales de l’EPFL © image EPFL
Dans quels domaines est-il aujourd’hui employé ?
Le concept de jumeau numérique est aujourd’hui exploité dans des domaines comme la médecine, les projets de villes intelligentes ou encore l’histoire pour penser de nouvelle manière de représenter et négocier les représentations du passé. Tous ces domaines, aussi différents qu’ils soient, s’intègrent naturellement dans un seul espace multiéchelle en quatre dimensions, un double du monde contenant son présent, ses passés et ses futurs.
Quels sont les progrès que doivent encore effectuer les jumeaux numériques ?
Un des grands enjeux est la notion d’échelle. Nous pouvons considérer le jumeau numérique d’un objet, d’une machine, d’un bâtiment, d’un voisinage, d’une ville, d’une région ou d’un pays tout en entier. À chaque échelle, les enjeux de la modélisation et de la simulation sont différents. Comment intégrer ces niveaux dans le cadre de systèmes multiéchelles ? Cette question se pose aussi de manière temporelle, car le jumeau numérique enregistre des données qui résultent d’une hiérarchie d’opérations et de processus qui sont à l’œuvre à des échelles de temps très différentes.
L’arrivée de cette technologie est-elle inéluctable ?
Le monde miroir et les jumeaux numériques ont déjà connu plusieurs phases de promesses et de désenchantement. Néanmoins, depuis quelques années, la course à la numérisation du monde est très active. Dans bien des industries, la modélisation des opérations est presque plus importante que les opérations elles-mêmes. Les drones et les voitures autonomes ne font pas que porter des marchandises, ils modélisent le monde en temps réel, construisant d’immenses portions d’un monde miroir global. Plus ils progressent dans cette numérisation, plus ils sont efficaces dans leurs mouvements et plus leur autonomie s’accroit. Cet effet de rétroaction positive est bien compris par plusieurs acteurs à l’échelle mondiale et la course est engagée.
Quelles sont les limites actuelles ?
Le risque d’un jumeau numérique est de ne pas tenir sa promesse fondamentale : être un bon modèle de la réalité. Si la carte du système d’information géographique n’est pas à jour, les voitures sont guidées par les algorithmes vers de mauvaises routes. Si le simulateur du moteur ne correspond à son fonctionnement effectif, les calculs seront divergents et les décisions prises erronées. Si l’historique du patient est partiel, la description du système médical sera biaisée.
Il ne s’agit malheureusement pas seulement d’une question de synchronisation ou de mise à jour de modèles. Il y a des interrogations plus subtiles qui concernent
la calculabilité d’une simulation de plus en plus complexe du monde. À partir de quelles échelles, pour quel type de phénomènes le monde miroir ne parvient-il plus à refléter correctement la réalité ? Les progrès fulgurants de l’intelligence artificielle poussent d’année en année les frontières de la prédictibilité parfois au prix de l’intelligibilité des processus qui sous-tendent les modèles. Plus que jamais, les questions de la calculabilité effective, théorique et pratique, du monde devront être posées. De manière sous-jacente, toutes ces questions nous invitent à envisager aussi des modèles ou les futurs et les passés sont multiples et bifurquant, voir organisés sous forme d’univers parallèles.
Aujourd’hui avocate dans le cabinet d’avocats londonien DAC Beachcroft, Kelsey Farish fait partie des grands experts européens en matière de deepfakes et conseille ses clients sur les questions en rapport avec les médias, la confidentialité et les technologies. « Quand j’ai entendu parler de cette technologie pour la première fois en 2018 et que j’ai commencé à écrire à ce sujet, c’était par hasard. Je fais aujourd’hui partie des quelques avocats à se spécialiser sur les questions en lien avec les deepfakes, en particulier la personnalité, les droits et le cadre des droits de la personne », précise-t-elle.
Les deepfakes indésirables ont clairement un côté sombre. Il est choquant de constater que plus de 90% des victimes de deepfakes sont des femmes. Elles font l’objet d’attaques ou de harcèlement sexuels en ligne par des deepfakes pornographiques sans consentement. Les motifs vont de la pornographie vengeresse, ou revenge porn, au chantage. Les deepfakes qui ciblent les politiciens ou le discours politique représentent moins de 5% de ceux qui circulent en ligne. Cela change vraiment le débat sur la manière d’aborder ou réguler les deepfakes sur le net.
Tim Berners-Lee, inventeur du World Wide Web, a signalé que la crise grandissante des attaques et de la discrimination en ligne signifie que le web n’est pas adapté à la préservation du genre féminin, et que cela menace l’évolution mondiale sur l’égalité hommes-femmes. Kelsey Farish estime que la réglementation sur les deepfakes en ligne est inadaptée à l’objectif de protéger les femmes. Elle dirige les efforts pour mettre ce débat au premier plan.
« Le contrôle des deepfakes se résume vraiment aux tensions entre liberté d’expression et réglementation, et à moins qu’il y ait un préjudice spécifique délimité, par exemple la diffamation, la fraude ou l’exploitation des enfants, vous ne pouvez pas vraiment les réglementer. Alors, à chaque fois qu’un deepfake surgit, vous devez l’examiner de près et étudier de quoi il retourne », explique Kelsey Farish.
Elle a récemment témoigné devant le Comité d’évaluation des choix scientifiques et technologiques (STOA) du Parlement européen sur un ensemble complet de nouvelles règles pour tous les services numériques dans l’Union européenne, y compris sur les réseaux sociaux, les marchés en ligne et d’autres plateformes en ligne en vertu des lois sur les services et les marchés numériques.
Dans l’UE, les individus ont légalement le droit d’être oubliés, autrement dit de demander à ce que leurs données privées soient supprimées des recherches Internet et d’autres répertoires dans certaines circonstances. Malgré cela, Kelsey Farish se souvient d’une conversation avec ce comité sur la question de l’utilisation de ce droit légal pour contrer les deepfakes malveillants.
« Je me suis d’abord dit que l’on pourrait tout simplement faire effacer les deepfakes indésirables à l’aide d’une demande RGPD. Mais alors, vous devez vous demander à qui les femmes l’enverraient. A la personne qui a créé le deepfake ? Disons un individu qui vit chez sa mère dans l’Oklahoma ? Ou directement à Snapchat ou Facebook? Ces plateformes manquent de ressources pour supprimer rapidement les posts problématiques. Facebook, par exemple, emploie 20’000 modérateurs chargés de surveiller le contenu téléchargé par les utilisateurs. Or, nous avons toujours des problèmes. D’un point de vue plus cynique, c’est sans doute dans l’intérêt commercial de Facebook, de Twitter et de Snapchat de conserver ces contenus loufoques en ligne, car cela génère des clics publicitaires. »
En plus des campagnes de sensibilisation de la salle de classe à la salle de conférence, Kelsey Farish considère que, d’un point de vue juridique, une étape importante dans la lutte contre les deepfakes pornographiques malveillants et sans consentement serait de reconnaître le droit de la personnalité numérique. Or, ce changement nécessiterait un soutien des entreprises de réseaux sociaux.
« Un individu doit pouvoir exercer son autonomie et son pouvoir sur sa présence dans l’environnement numérique sans avoir à dénoncer une atteinte à la vie privée, à la réputation ou un préjudice financier. Dans un monde idéal, chacun doit pouvoir demander la suppression d’images pour lesquelles il ne donne pas son consentement, confie Kelsey Farish. C’est une question sexospécifique qui aborde le problème plus large de l’exploitation des images de personnes vulnérables, qu’il s’agisse de femmes ou d’enfants, par des personnes qui pensent qu’elles peuvent faire ce qu’elles veulent impunément. Le droit de la personnalité numérique devrait être mis en balance avec le journalisme et d’autres considérations relatives à la liberté d’expression, mais ça pourrait être un petit changement de paradigme. » ■
Egalité
L’égalité des chances fait partie intégrante de la politique de développement et d’excellence de l’EPFL. Site web