L’un des “parrains” de l’intelligence artificielle s’en prend à la course effrénée pour développer cette technologie de pointe à coups de milliards de dollars, affirmant que les derniers modèles présentent des caractéristiques dangereuses, telles que le fait de mentir aux utilisateurs.
La vitesse d’innovation au détriment de la sécurité
Yoshua Bengio est un universitaire canadien dont les travaux ont inspiré les techniques utilisées par les plus grands groupes spécialisés dans l’IA, tels qu’OpenAI et Google. Selon lui, “il existe malheureusement une course très compétitive entre les principaux laboratoires, qui les pousse à se concentrer sur la capacité à rendre l’IA de plus en plus intelligente, mais sans nécessairement mettre suffisamment l’accent et investir suffisamment dans la recherche sur la sécurité”.
Le lauréat du prix Turing a lancé cette mise en garde dans une interview accordée au Financial Times lors du lancement d’une nouvelle organisation à but non lucratif appelée LawZero. Il a déclaré que ce groupe se concentrerait sur la mise en place de systèmes plus sûrs, s’engageant à “isoler nos recherches de ces pressions commerciales”.
“La course entre les principaux laboratoires les pousse à se concentrer sur la capacité à rendre l’IA de plus en plus intelligente, mais sans investir suffisamment dans la recherche sur la sécurité”
LawZero a jusqu’à présent récolté près de 30 millions de dollars de dons philanthropiques, notamment de la part de Jaan Tallinn, ingénieur fondateur de Skype, de l’initiative philanthropique de l’ancien directeur général de Google Eric Schmidt, ainsi que d’Open Philanthropy et du Future of Life Institute.
De nombreux bailleurs de fonds de Yoshua Bengio adhèrent au mouvement de l’“altruisme efficace”, dont les partisans ont tendance à se concentrer sur les risques catastrophiques liés aux modèles d’IA. Les détracteurs de ce mouvement affirment qu’il met l’accent sur des scénarios hypothétiques tout en ignorant les dangers actuels, tels que les biais et les inexactitudes.
Vers une IA concurrente de l’humanité
Yoshua Bengio affirme que son organisation à but non lucratif a été fondée en réaction aux preuves de plus en plus nombreuses, au cours des six derniers mois, que les modèles actuels développent des capacités dangereuses. Il s’agit notamment de “preuves de tromperie, de tricherie, de mensonge et d’instinct de conservation [autonome, ndt]”, a-t-il déclaré.
Le modèle Claude Opus d’Anthropic a fait chanter des ingénieurs dans un scénario fictif où il risquait d’être remplacé par un autre système. Une étude menée le mois dernier par les testeurs d’IA de Palisade Research a montré que le modèle o3 d’OpenAI refusait d’obéir à des instructions explicites de s’éteindre.
“Nous ne souhaitons pas créer un concurrent des êtres humains sur cette planète, surtout s’il est plus intelligent que nous”
Selon le chercheur, de tels incidents sont “très effrayants, car nous ne souhaitons pas créer un concurrent des êtres humains sur cette planète, surtout s’il est plus intelligent que nous”.
“Pour l’instant, il s’agit d’expériences contrôlées, [mais] je crains qu’à tout moment dans le futur, la prochaine version soit suffisamment intelligente sur le plan stratégique pour nous voir venir de loin et nous vaincre avec des tromperies auxquelles nous ne nous attendons pas. Je pense donc que nous jouons avec le feu en ce moment” ajoute le pionnier de l’IA.
La capacité des systèmes à aider à la fabrication d’“armes biologiques extrêmement dangereuses” pourrait devenir une réalité dès l’année prochaine, a-t-il ajouté.
LawZero, pour une IA transparente
Basée à Montréal, LawZero emploie 15 personnes et vise à recruter davantage de talents techniques pour construire la prochaine génération de systèmes d’IA conçus pour la sécurité. Yoshua Bengio, professeur d’informatique à l’Université de Montréal, quittera son poste de directeur scientifique du Mila, l’Institut québécois d’intelligence artificielle, pour se consacrer à la nouvelle organisation.
“Si nous construisons des IA plus intelligentes que nous, qui ne sont pas alignées sur nos valeurs et qui nous font concurrence, alors nous sommes pratiquement cuits”
L’objectif est de développer un système d’IA qui donnera des réponses véridiques basées sur un raisonnement transparent, plutôt que d’être entraîné à satisfaire un utilisateur, tout en fournissant une évaluation fiable de la qualité ou de la sécurité d’un résultat. Yoshua Bengio espère créer un modèle capable de surveiller et d’améliorer les offres existantes des principaux groupes d’IA, afin de les empêcher d’agir contre les intérêts de l’humanité.
“Le pire scénario est l’extinction de l’humanité”, a-t-il déclaré. “Si nous construisons des IA plus intelligentes que nous, qui ne sont pas alignées sur nos valeurs et qui nous font concurrence, alors nous sommes pratiquement cuits.”
En réponse au changement de vocation d’OpenAI
La décision de Bengio de créer LawZero intervient alors qu’OpenAI souhaite s’éloigner de ses origines pour l’intérêt général en se transformant en une société à but lucratif. Cette initiative a suscité l’inquiétude des experts en IA et déclenché une action en justice de la part du cofondateur Elon Musk, qui tente de bloquer la transformation.
“Les organisations à but non lucratif ne sont pas soumises aux “incitations inappropriées inhérentes à la structure actuelle des entreprises”
Les détracteurs affirment qu’OpenAI a été fondée pour garantir que l’IA soit développée au profit de l’humanité, et que la nouvelle structure élimine tout recours juridique si l’entreprise privilégie le profit au détriment de cet objectif. OpenAI argue qu’elle a besoin de lever des capitaux dans le cadre d’une structure plus conventionnelle pour être compétitive dans ce secteur, tout en conservant sa mission globale.
Le chercheur n’est pas convaincu qu’OpenAI respectera sa mission, soulignant que les organisations à but non lucratif ne sont pas soumises aux “incitations inappropriées inhérentes à la structure actuelle des entreprises”.
“Pour croître très rapidement, vous devez convaincre les gens d’investir beaucoup d’argent, et ils veulent voir un retour sur leur investissement. C’est ainsi que fonctionne notre système basé sur le marché”, conclut-il.
© The Financial Times Limited [2025]. All Rights Reserved. Not to be redistributed, copied or modified in anyway. Le nouvel Economiste is solely responsible for providing this translated content and the Financial Times Limited does not accept any liability for the accuracy or quality of the translation.