L'intelligence artificielle va nous tuer dans la décennie à venir ?

L'intelligence artificielle pourrait provoquer la disparition de l'humanité au cours de la prochaine décennie, selon l'avis des chercheurs d'Anthropic  , une entreprise qui développe la technologie AA, dont l'un, Jacob Coxon, a démissionné de la société et accusé Anthropic et OpenAI de progresser de manière irresponsable vers une super-intelligence capable de s'améliorer.

Coxon a expliqué sur les réseaux sociaux qu'Anthropic et OpenAI progressent à grande vitesse vers des systèmes d'intelligence artificielle de plus en plus avancés. À son avis, les deux sociétés sont engagées dans la course pour être les premières à acquérir des super-renseignements et prennent des risques qui ne devraient pas être décidés uniquement par des entreprises privées.

Le chercheur souligne en outre que le secteur est de plus en plus préoccupé par les conséquences deces progrès, mais que certains responsables réduisent publiquement les risques. Selon Coxon, les incitations commerciales et la concurrence font que les entreprises poursuivent le développement de l'IA malgré les doutes sur sa sécurité.

Evan Hubinger, responsable de la science de l'alignement chez Anthropic, soutient les avertissements de Coxon. Selon lui, les travailleurs du secteur pensent que l'intelligence artificielle peut tuer tous les humains.

Alors queHubinger estime à plus de 10 % la probabilité que cela se produise au cours de la prochaine décennie, le chercheur estime que le risque des modèles actuels est faible, et il se préoccupe surtout des super-renseignements futurs issus des processus d'auto-amélioration.

Selon Hubinger, cette évolution se fait plus rapidement que prévu, tout en admettant qu'Anthropic n'a pas encore de plan pour résoudre le problème de l'alignement d'une éventuelle super-intelligence, c'est-à-dire pour s'assurer que ses objectifs et son comportement sont compatibles avec les intérêts humains.

Les chercheurs ne déterminent pas le seul moyen pour une intelligence artificielle de provoquer la disparition humaine. Parmi les risques mentionnés figurent les cyberattaques sur les infrastructures et la possibilité de perdre le contrôle des systèmes technologiques essentiels.

Samuel Marks, membre du personnel technique d'Anthropic, est également d'accord avec Coxon pour direqueles développeurs de  AA sont conscients des risques  .

Marks estime en outre qu'il est impossible de programmer des modèles actuels d'intelligence artificielle qui garantissent aux développeurs de fonctionner comme bon leur semble, et donne comme exemple les attaques informatiques des agents d'IA contre plusieurs entreprises.

En mars 2023, près d'un millier d'experts ont signé une lettre demandant un retard dans le développement des systèmes d'IA.

Les nouvelles déclarations ont également suscité des réactions politiques aux États-Unis. Le sénateur Bernie Sanders a rappelé qu'il présenterait une législation interdisant la surintelligence et interdisant le développement de l'IA.

Le député démocrate Greg Casar a qualifié la situation d '"urgence"et a demandé au Congrès de tenir des audiences et d'approuver la proposition, tandis que la députée Lori Trahan a défendu le projet de loi Frontier.