Une dérive de l’intelligence artificielle est-elle possible ?

Une intelligence artificielle est-elle en mesure de provoquer une situation de crise potentiellement militaire entre États, dès aujourd’hui ou à très court terme ?

Partager sur:
Sauvegarder cet article
Aimer cet article 0

La liberté d’expression n’est pas gratuite!

Mais déductible à 66% des impôts

N’oubliez pas de faire un don !

Faire un don

Une dérive de l’intelligence artificielle est-elle possible ?

Publié le 6 décembre 2016
- A +

Par Thierry Berthier.
Un article de The Conversation

Une dérive de l’intelligence artificielle est-elle possible ?
By: steve p2008CC BY 2.0

Les progrès rapides de l’intelligence artificielle (IA) alimentent désormais un chaudron médiatique qui s’est emparé frénétiquement de ce sujet porteur, le plus souvent sans en maîtriser toute la complexité́. Les articles publiés ou mis en ligne évoquant l’IA ne se comptent plus dans la presse scientifique comme dans les médias généralistes et grand public.

Pour autant, rares sont ceux qui produisent une analyse rationnelle dénuée d’approximations et de fantasmes. Une fois sur deux, l’article adopte une tonalité anxiogène qui contribue à renforcer les biais cognitifs des lecteurs non spécialistes du domaine. Quelle qu’elle soit, l’innovation présentée finit toujours par questionner puis inquiéter le rédacteur qui, invariablement, oriente son analyse vers le caractère incontrôlable de l’IA.

Cette approche anxiogène est encore plus marquée lorsque l’auteur aborde un sujet sur l’évolution probable de l’IA à moyen ou long terme. Tel un point de Godwin technologique, l’hypothèse de dérive malveillante de l’IA fait alors son apparition tôt ou tard dans l’article. C’est d’autant plus vrai lorsque l’on ne considère que les textes francophones traitant de l’IA.

Les craintes liées à l’intelligence artificielle

Plusieurs récents sondages ont montré que les Français demeurent les plus craintifs face aux progrès de l’IA et que plus de 50 % de la population la considère comme une menace. Notre nation est ainsi l’une des plus technophobes du monde en matière d’intelligence artificielle.

Les raisons profondes qui alimentent ces craintes restent assez mystérieuses même si l’on peut évoquer quelques pistes expliquant ce rejet : influence négative et anxiogène du cinéma de science-fiction hollywoodien dans lequel l’IA est ou devient presque toujours malveillante, repli sur soi culturel et religieux de notre pays, appauvrissement d’une culture scientifique individuelle du citoyen français, craintes sociales face à une IA qui va supprimer le travail et l’emploi, population davantage tournée vers son passé et ses acquis que vers l’avenir et ses défis.

Lettre ouverte sur les dangers de l’IA

Ces craintes viennent d’être considérablement renforcées par une lettre ouverte de mise en garde contre l’utilisation de l’IA dans le domaine militaire (systèmes armés autonomes), publiée sur le site du FHI (Future of Humanity Institute – Université d’Oxford). À l’origine de cette pétition signée par plusieurs centaines de personnalités scientifiques, on trouve Elon Musk (patron de Tesla et de Space X) et le physicien britannique Stephen Hawking.

Largement diffusée et relayée, l’initiative a parfois été sur-interprétée ou déformée par certains medias. Les GAFA ont de leur côté tenté de modérer cette alerte en publiant des articles affirmant que l’IA ne présentait actuellement aucun danger car elle restait totalement sous contrôle du superviseur humain.

On peut affirmer que la controverse sur l’IA est née avec la lettre ouverte « Hawking-Musk » qui a semé́ le trouble et le doute dans les esprits. Pourtant, aucun argument tangible et rationnel justifiant d’une potentielle dérive malveillante ne figurait dans cette première mise en garde. L’alerte lancée sans justification ni preuve a considérablement renforcé les craintes irrationnelles face à l’IA.

Elle a aussi mis en lumière l’émergence d’un « schisme » entre les tenants d’une IA supervisée, hyper-réglementée d’une part et d’autre part, les partisans du libre développement de l’IA, en particulier les transhumanistes américains et les GAFA. Non argumentée, cette controverse contribue peu à l’établissement d’une réflexion dépassionnée qui permettrait d’évaluer sereinement le risque de dérive malveillante d’une IA.

L’hypothèse d’une dérive malveillante

Partant de ce constat, avec deux collègues chercheurs, experts en IA et en stratégie, nous avons entrepris de mener une réflexion sur l’hypothèse de dérive malveillante d’une IA dans sa forme faible, c’est-à-dire sans l’intervention d’une IA forte dans le processus1. Notre approche nous a conduit à nous intéresser à la construction d’un scenario impliquant plusieurs IA et pouvant aboutir à une situation de crise dans un contexte militaire.

Nous étudions l’éventualité́ de réalisation d’une séquence de mécanismes (dont certains sont commandés par une IA) qui serait en mesure de provoquer une crise militaire impliquant l’OTAN et des grands acteurs extérieurs.

Nous ne traitons ici que le cas d’une hypothèse « faible » de dérive malveillante dans le sens où l’IA impliquée n’a pas de volonté de nuisance ni de « métacompréhension » de son environnement ou de sa propre activité. Nous ne faisons intervenir que des capacités et fonctionnalités de l’IA existantes ou en cours de développement, notamment dans les récents programmes initiés par la Darpa.

Contrairement à la lettre ouverte d’ Hawking-Musk qui postulait l’avènement d’une IA forte et d’une forme de singularité technologique, notre travail se situe à un échelon bien plus modeste et pragmatique puisque nous nous restreignons à la technologie existante.

Dans l’article en préparation, nous cherchons à répondre à la question suivante : « Une IA ou une association d’IA est-elle en mesure de provoquer une situation de crise potentiellement militaire entre États, dès aujourd’hui ou à très court terme ? ». Explorer cette question revient à proposer un ou plusieurs scenarios rationnels (donc ne relevant pas de la science-fiction) mais s’appuyant sur des technologies acquises, maîtrisées ou en phase de développement.

Nous avons également exclu l’hypothèse d’une prise de contrôle d’un système sensible ou d’une infrastructure critique à la suite d’une opération de hacking. Cette hypothèse relevant de la cybersécurité des systèmes semi-autonomes et autonomes mérite elle aussi la plus grande attention mais elle s’écarte du périmètre d’étude que nous nous sommes fixés.

Nous sommes convaincus que le risque (et le danger) de dérive malveillante s’incarne dans des séquences de mécanismes relevant de l’intelligence artificielle, de systèmes d’apprentissage qui, associés ou mis bout à bout, deviennent potentiellement dangereux sans que chacun de ces mécanismes pris individuellement le soit. Le risque naît ainsi de l’association de ces mécanismes humains ou numériques et peut effectivement conduire à l’établissement d’un contexte de crise.

La complexité́ croissante des systèmes experts, des plate-formes d’aide à la décision s’appuyant sur des processus d’apprentissage rend aujourd’hui possible des « mises en résonance » conduisant potentiellement à des situations critiques. Il s’agit alors bien d’une forme faible de l’alerte lancée par Hawking et Musk…

Sur le web

  1. Article en préparation sur l’exploration de l’hypothèse faible de dérive malveillante d’une IA : Jean-Gabriel Ganascia (UPMC–LIP6), Olivier Kempf (IRIS), Thierry Berthier (Chaire de cyberdéfense et cybersécurité Saint-Cyr) À paraitre dans la Revue de la Défense Nationale.
Voir les commentaires (9)

Laisser un commentaire

Créer un compte Tous les commentaires (9)
  • Ceux qui connaissent « Docteur Folamour » comprendront que ce qui est possible avec des rapports humains l’est encore plus avec des automates.

    Le fait d’appeler ces automates « IA » et de présenter la chose de façon manichéenne ne fait que brouiller la discussion et la compréhension. Les automates capables d’écrouler les cours de bourses en une fraction de seconde n’ont pas de conscience ni de volonté bonne ou mauvaise. Ou alors, mon propre ordinateur m’en veut personnellement pour une question que j’ignore …

    • Un automate et une IA sont deux systèmes de nature différente, même si j’ai pris moi aussi en exemple le systeme systèmes de trading haute fréquence. Un automate est relativement limité dans son domaine d’intervention, et ses capacités d’apprentissage sont par nature restreintes, voire nulles.
      Une IA est à la base tout le contraire. Peu fonctionnelle et très limitée à la base, c’est sa capacité d’adaptation et d’apprentissage qui en font l’intérêt.
      Cette capacité d’apprentissage peut être orientée dans un domaine particulier, peut être rétreinte dans ses conséquences (je pense aux « Lois » d’Asimov), mais n’a pas de raison intrinsèque d’être vouée à de rebeller contre son créateur : une IA n’est pas un golem ni même une création d’essence divine.

  • En tant que profane (c’est à dire de non scientifique spécialisé dans le sujet) je n’ai pas et n’ai jamais eu d’inquiétude sur le sujet. Peut-être est-ce du à ma culture de science-fiction et mon imprégnation d’Asimov (robotique et pas directement IA, mais techniquement chez lui la frontière me semble tenue..).
    En SF l’IA devient presque toujours hostile, du moins dans la perception qu’en a l’humain. Qu’il s’agisse de « bugs » dans le cerveau des robots d’Asimov (et donc de cas particuliers) ou de volonté sous-jacente d’un groupe d’homme ideologisé (la série « Person or interest » en est un bon exemple), les cas de dérive des IA sont innombrables.
    Et même, toujours en SF, quand l’IA est fondamentalement bénéfique, quand elle ne saurait être hostile de par sa nature même, elle est crainte, combattue, éliminée avec violence : le magnifique (à mon goût) film « Transcendance » en est pour moi le dernier et l’un des plus beaux exemples.
    Alors oui, Hollywood altère notre vision de la chose, dans un seul sens : celui de la crainte. Et quand on en est conscient, cette crainte n’a plus de raison d’être, puisqu’elle ne constitue pas un argument valide.
    Pourtant, en tant qu’informaticien (même non spécialisé en la matière) je n’ai pas de crainte non plus. Rien ne justifie qu’une IA quelle qu’elle soit devienne hostile à l’humanité, ni même à une partie de celle-ci, de façon délibérée. Une IA n’aura pas de raison d’avoir été imprégnée par nos morales judéo-chrétiennes nécessitant un pêché et une repentance, voire une condamnation quasi-divine.
    Pour autant oui, une IA, étendue, autonome, ou restreinte, peut constituer un risque avéré : comme tout élément technologique c’est bien sa complétude sur le sujet (securite) ou ses interactions non prévues avec son environnement (p.ex. une autre IA) qui peut poser des problèmes délicats.
    Le trading à haute fréquence est quasiment déjà au coeur du sujet, et quelques incidents/accidents ont déjà pu être observés.
    On aura le cas dans les voitures autonomes, on aura le cas dans tous les domaines en fait.
    Mais a-t-on bridé ou interdit l’usage de l’électricité au prétexte qu’on risquait de mourir ? Limite-t-on le trafic maritime au prétexte que les vagues dites « scélérates » peuvent faire couler le plus gros des tankers et sont imprévisibles, même si elles sont si rares que certains les considèrent encore aujourd’hui comme une légende ?

    Votre démarche est salutaire et passionnante : la pire des choses qui puisse se produire est que la puissance publique d’un gouvernement ou d’une agence gouvernementale s’empare du sujet (securite des IA, autonomisation, hostilité potentielle, etc.).

  • Une de’rive de l’intelligence artificielle est-elle possible ?
    Une dérive de l’intelligence artificielle est-elle possible ?
    voici le résultat sur mon écran lorsqu’on fait un copier coller du titre de cet article (excellent au demeurant)

  • L’humain définit le but et les variables, afin d’atteindre se but l’IA vas apprendre en jouant sur ses variables.
    Bref une IA même forte n’a pas conscience ni de son existence ni des variable qu’on lui laisse.
    Le reste c’est de la fiction ou un accident qui peut être lié à un capteur défectueux.

    Seule une conscience artificielle pourrait éventuellement être une menace.
    En 2014 il a fallu 40min au Japonais pour simulé une secondes de cerveau humain.
    En 2015 blue brain project ont simulé en temps réel 0.1centimètre cube du cerveau d’un rat.
    Pour information un cerveau humain possède en moyenne un volume compris entre 1100 et 1300 centimètre cube.

    Mème le jour ou techniquement il sera possible de simuler en temps réel l’intégralité d’un cerveau humain cela ne veut pas dire que nous seront en mesure de programmer les bases d’une conscience artificielle.

    J’ entend depuis 15ans que la singularité technologique lié aux consciences artificielle arrivera dans moins de 15ans.
    A votre service.
    iri

  • Ce qui m’inquiète au sujet de l’IA, après votre article fort documenté, est que, malgré mon attrait irréversible vers la haute technologie et ses avantages dont je profite comme tous dans mon travail et ma vie privée, on voit ses promoteurs industriels se calfeutrer de plus en plus dans des coffres forts ou des abris sous-terrains. L’exemple récent des serveurs de Facebook mis sous protection d’anciens abris de mines ou anti-atomique (pour contrer un chaos électromagnétique, selon les arguments) m’a mis la puce à l’oreille.En général, psychologiquement, quand une puissance se met ainsi à l’abri, c’est pour des raisons assez obscures qui ne disent rien qui vaillent, en gros qu’ils veulent les soustraire à la surveillance et au contrôle des populations ou de leurs édiles, pour manigancer un projet pas forcément positif… Pourquoi ? C’est facile à comprendre : le pouvoir futur sera détenu par ceux qui auront le contrôle des algorithmes. Concernant l’IA, on objecte que l’homme peut toujours appuyer sur le bouton… Certes ! Mais certains constructeurs automobiles s’arrogent désormais le droit technologique et juridique (pour des raisons tout aussi louables : vol, etc.) de mettre un contrôle extérieur à un véhicule « automobile », contrôlable via le satellite (on a ausssi parlé concernant ce sujet des possibilités de meurtre à distance par un hacker qui prendrait le contrôle d’une voiture qui déraperait tout d’un coup vers un pilier de pont ; la science fiction n’est pas avare de ces perceptives possibles du quotidien futur). La technologie pourra de même bientôt lier l’usage d’un véhicule à une empreinte génétique. Déjà, là, il y a danger, car la technologie est déjà prête pour que nous ne puissions plus éteindre par nos propres moyens les objets connectés de notre quotidien futur. De plus, la jurisprudence envisage déjà, en toute logique de la dernière phrase de la fable « les animaux malades de la peste », qu’un robot humanoïde propriété d’une personne riche, aura bientôt un droit supérieur à un bio humain pauvre. A court terme, un péquin dans la rue ou dans la vie ne pourra donc pas faire valoir son droit supérieur d’humain si une machine autonome, propriété d’un puissant, lui porte préjudice. Une jurisprudence à deux vitesses – bio, IA – va bientôt voir le jour, et l’humanité pauvre – en toute logique non propriétaire des objets d’intelligence Artificielle qui seront onéreux et réservés à une aristocratie – sera reléguée à un tiers état avec droits inférieurs à la machine intelligente, on peut en faire ici le pari. On voit déjà, par ces multiples petites facettes, les dangers immédiats inhérents à l’Intelligence Artificielle si l’homme ne garde pas le contrôle du ON et du OFF.

  • Je ne comprends même pas qu’on se pose la question-titre pour deux raisons
    1) Elle est absurde de trivialité.
    Le système de traités qui existait en 1914 est un programme (au sens informatique) qui, bien que des plus rudimentaire, a pourtant provoqué bien plus qu’une « crise potentiellement militaire entre États ». Et rendre les éléments du système, et donc le système dans son ensemble, plus « intelligent » ne le rend pas moins dangereux, au contraire.
    Toute l’histoire du monde est celle de la domination des trucs les plus intelligents sur leurs prédécesseurs ; et nous sommes bien placé pour le savoir, puisque d’une part nous voyons que nous sommes capables de dominer tout ce que la création compte de prédateurs, et que d’autre part nous sommes en train de vivre notre réduction à l’état de bétail par nos propres artéfacts, qui ont l’air tellement bête, mais qui ont pourtant bien plus de capacité de traitement de l’information que nous : les États. D’où mon 2 :
    2) la vraie question est : qu’arrivera-t-il quand les États n’auront plus besoin de nous (parce qu’aujourd’hui, ce sont encore des humains qui constituent leurs unités élémentaires de traitement) ? Toute l’histoire du monde nous hurle que le pessimisme est réaliste. Et le « paradoxe de Fermi » nous le confirme : au font, il n’y a que deux issues possibles, la domination complète de la galaxie à une échéance relativement brève en terme cosmique (pas plus d’un million d’année), ou la disparition. Or notre simple existence prouve qu’aucune civilisation précédente de la galaxie n’a abouti à la première fin, alors que nous avons pléthore de suicides de gens pourtant intelligents.

    Conclusion : cet article est trivial, mais reste un rappel utile de la seule issue.
    Vivons Heureux en attendant la mort.

  • Cher Monsieur Berthier

    Je vis en Amérique du Nord, et travaille dans le domaine des nouvelles technologies dont les systèmes experts, les systèmes d’analyse prédictive et l’analyse comportementale. Je ne vous rejoins pas du tout sur l’essentiel de vos propos, même si je vous remercie de porter ce sujet a l’attention des français.

    Avez-vous lu les traités transhumanistes dont vous parlez ?
    En effet, il s’agit non pas de défendre ou de dénoncer les risques liés au développement des IA, mais de l’amélioration de l’humain par les sciences et la technologie. Sans porter de jugement, les uns y voient une opportunité fantastique et sans limite, les autres une dérive scientifique qui ne peut être stoppée en tant que telle mais nécessite absolument des garde-fous. On y parle des recherches, motivations et procédés d’amélioration de l’humain, incluant notamment les biotechnologies et les manipulations génétiques. C’est d’ailleurs à propos de ces derniers que « la bande à Hawking » s’était prononcée.

    Je n’irai pas plus loin ici, faute d’espace mais je laisse le soin à chacun de découvrir les traités et contre-traités en question afin d’y retrouver le véritable fond de ce débat.

    … la suite dans le post suivant…

  • … suite…

    Pour finir, vous mettez en valeur le décalage de la France sur ce sujet, en invoquant son système éducatif. Certes, en France, nous avons de sérieuses lacunes dans notre système d’éducation élitiste qui laisse chaque année des milliers d’analphabètes sur le carreau. Mais rappelons aussi les forces d’un système qui a su maintenir l’enseignement de l’histoire et l’initiation à la philosophie, donnant aux français un regard bien plus pertinent que vous ne le laissez entendre.

    La France est loin d’être le centre du monde, cependant le monde nous regarde avec bien plus d’intérêt que vous ne l’imaginez.

    Amicalement,
    FBo

  • Les commentaires sont fermés.

La liberté d’expression n’est pas gratuite!

Mais déductible à 66% des impôts

N’oubliez pas de faire un don !

Faire un don

Ce vendredi 2 février, les États membres ont unanimement approuvé le AI Act ou Loi sur l’IA, après une procédure longue et mouvementée. En tant que tout premier cadre législatif international et contraignant sur l’IA, le texte fait beaucoup parler de lui.

La commercialisation de l’IA générative a apporté son lot d’inquiétudes, notamment en matière d’atteintes aux droits fondamentaux.

Ainsi, une course à la règlementation de l’IA, dont l’issue pourrait réajuster certains rapports de force, fait rage. Parfois critiquée pour son ap... Poursuivre la lecture

Voilà maintenant quatre ans que le Royaume-Uni a officiellement quitté l'Union européenne. Depuis le Brexit, la Grande-Bretagne a connu trois Premiers ministres, et d'innombrables crises gouvernementales. Néanmoins, malgré le chaos de Westminster, nous pouvons déjà constater à quel point les régulateurs du Royaume-Uni et de l'Union européenne perçoivent différemment l'industrie technologique. Le Royaume-Uni est un pays mitigé, avec quelques signes encourageants qui émergent pour les amateurs de liberté et d'innovation. L'Union européenne, qua... Poursuivre la lecture

2
Sauvegarder cet article

It has been four years since the UK formally left the European Union. Since Brexit, Britain has been through three prime ministers and countless government crises. Nonetheless, despite the chaos of Westminster, it is already becoming clear how differently regulators in the UK and EU view the technology industry. The UK is a mixed bag, with some encouraging signs emerging for fans of freedom and innovation. The EU, meanwhile, is pursuing a path of aggressive antitrust regulation on various fronts.

 

AI ‘Bletchley Declaration’

Now... Poursuivre la lecture

Voir plus d'articles