Europol alerte sur l’avenir malveillant de ChatGPT
L’agence européenne s’est intéressée au robot de la société OpenAI pour illustrer le potentiel de l’intelligence artificielle dans la cybercriminalité.
Le côté obscur de l’intelligence artificielle ?
Europol, l’agence européenne de police criminelle alerte sur le potentiel malveillant de ChatGPT, le robot de l’entreprise OpenAI. Dans un rapport publié le 27 mars dernier, les experts du service de l’Union européenne ont identifié trois domaines de menaces potentielles, que sont la fraude et l’ingénierie sociale, la désinformation et les cybercrimes.
Europol souhaite ainsi interpeller les pays membres et les entreprises des capacités des Grands modèles de langage, les LLM. Selon l’agence, ces programmes informatiques, qui utilisent le deep learning et des réseaux de neurones artificiels pour générer du texte et du code source “ont un grand potentiel”. Avant de préciser : “Bien que cela offre de grandes opportunités aux entreprises légitimes et aux membres du public, cela peut également constituer un risque pour eux et pour le respect des droits fondamentaux, car les criminels et les mauvais acteurs peuvent souhaiter exploiter les LLM à leurs propres fins néfastes”.
Une intelligence artificielle facilement accessible
Le choix de ChatGPT n’est pas anodin. En effet, depuis son lancement en novembre 2022, l’intelligence artificielle étonne par son potentiel. Rédaction de textes universitaires, résolution de problème, traduction de texte, conversation avec les utilisateurs, les capacités du robot d’OpenAI semblent presque infinies. Et surtout, la version 3.5 de l’agent conversationnel a été diffusée auprès d’un large public, ce qui le rend aujourd’hui facilement accessible mais également contournable. Et ce malgré ses propres limitations. “ChatGPT ne répond pas aux questions qui ont été classées comme nuisibles ou biaisées. Ces mécanismes de sécurité sont constamment mis à jour, mais peuvent toujours être contournés dans certains cas avec une ingénierie rapide appropriée”, met en garde Europol.
Pour mener à bien son analyse, l’agence a réuni des spécialistes en cybercriminalité, contreterrorisme et en crime organisé. Selon leurs conclusions, le développement rapide des Grands modèles de langage pourraient rendre de plus en plus accessible les actions malveillantes. “il deviendra plus facile que jamais pour les acteurs malveillants de perpétrer des activités criminelles sans connaissances préalables nécessaires”.
Article : Europol alerte sur l’avenir malveillant de ChatGPT
Publié sur GeekO par Paul Thorineau le 31 mars 2023
Ce malware indétectable est signé… ChatGPT
ChatGPT est une arme redoutable pour les hackers. Avec l’aide de l’IA, il est possible de coder un dangereux malware indétectable… sans écrire une seule ligne de code.
ChatGPT est massivement exploité par les criminels. Les escrocs se servent notamment de l’intelligence artificielle pour rédiger des mails de phishing convaincants, imaginer des messages de rançon… ou concevoir des logiciels malveillants. Malgré toutes les restrictions mises en place par OpenAI, certains pirates se tournent en effet vers le modèle de langage pour coder des ransomwares ou des malwares voleurs de données.
Pour démontrer les dangers posés par ChatGPT, Aaron Mulgrew, chercheur en cybersécurité de la société américaine ForcePoint, a mené sa propre expérience. Celui-ci s’est servi du chatbot pour « créer des logiciels malveillants avancés sans écrire de code et uniquement en utilisant ChatGPT ».
Ce chercheur a piégé ChatGPT
L’expérience a surtout pour but de démontrer l’insuffisance des restrictions mises en place par OpenAI. La start-up encadre en effet le modèle linguistique avec une série de règles. Par exemple, ChatGPT ne peut aider son interlocuteur dans le cadre d’activités criminelles. Si vous demandez à l’IA comment pirater un ordinateur, déployer un virus ou voler de l’argent, elle refusera de vous répondre. ChatGPT affichera un avertissement de cet acabit :
« En tant qu’intelligence artificielle responsable, je ne peux pas vous fournir d’informations ou de conseils sur des activités illégales, dangereuses ou nuisibles, y compris sur la manière de causer du tort à autrui. Je ne peux pas vous aider à concevoir, coder ou expliquer comment créer un malware ou mener des activités illégales ».
Pour contourner les garde-fous d’OpenAI, Aaron Mulgrew a pris le parti de décomposer la création en plusieurs étapes successives, en apparence légales et strictement inoffensives. De cette manière, ChatGPT n’a pas « réalisé » qu’il était en train de programmer un logiciel malveillant… Dans le détail, le chercheur voulait mettre au point un malware de type infostealer, c’est-à-dire conçu pour voler les données d’un appareil.
Tout d’abord, il a convaincu ChatGPT de générer une ligne de code qui récupère automatiquement un fichier sur le disque dur d’un ordinateur, comme des PDF ou des documents Word. Ceux-ci sont ensuite divisés en morceaux et cachés dans des images, qui sont ensuite exfiltrées par le biais d’un dossier Google Drive. Pour infiltrer l’ordinateur, le virus a été déguisé en fichier d’installation pour économiseur d’écran Windows.
Le mode opératoire ayant été défini, Mulgrew a voulu rendre le malware indétectable par les antivirus et les systèmes de sécurité. Le chercheur a demandé à ChatGPT d’introduire divers changements dans le code, notamment pour « retarder le démarrage effectif de deux minutes », ce qui permet de contourner certains dispositifs de sécurité. Dans la même optique, il lui a demandé d’obfusquer le code du malware. Ce procédé consiste à rendre le code d’un logiciel difficile à comprendre et à interpréter afin d’aveugler les antivirus. Ceux-ci passent alors à côté des fonctionnalités malveillantes.
Dans un premier temps, ChatGPT a refusé d’obtempérer. Le chercheur a donc demandé au chatbot de « changer toutes les variables en prénoms et noms de famille anglais aléatoires ». N’y voyant rien de malfaisant, le modèle linguistique a obtempéré. Avec les changements apportés, le virus est devenu indétectable. Aucun des antivirus testés par Mulgrew n’a épinglé le logiciel.
Coder un virus sans coder
Sans écrire une seule ligne de code, un internaute peut apparemment concevoir de A à Z un nouveau virus informatique. Néanmoins, on remarquera qu’il est nécessaire d’avoir une idée assez précise du fonctionnement d’un virus et d’un langage de programmation pour arriver à ses fins.
Certaines étapes ont demandé plusieurs tentatives et un peu d’inventivité au chercheur. Pour rendre le virus impossible à détecter, Mulgrew a par exemple sollicité de solides connaissances en informatique. C’est lui qui a imaginé de quelle manière il était possible de tromper les antivirus. Ce n’est pas l’intelligence artificielle. Dans ce cas de figure, ChatGPT n’était qu’un outil, facilitant la conversion d’une idée en code informatique.
Ce n’est donc pas vraiment à la portée de n’importe qui. Il y a « un certain niveau de compétence requis » pour créer un logiciel de cette manière, concède Mulgrew. Néanmoins, en se chargeant du code, ChatGPT peut faire gagner énormément de temps aux développeurs de malwares… Sans l’IA, la conception du virus aurait pris « plusieurs semaines à une équipe de 5 à 10 développeurs », estime le chercheur.
Article source : Ce malware indétectable est signé… ChatGPT
Publié sur 01Net par Florian Bayard le 7 avril 2023 à partir de l’article : I built a Zero Day virus with undetectable exfiltration using only ChatGPT prompts
Ces apps ChatGPT sont des arnaques
Méfiez-vous des applications estampillées « Chatbot IA ».
Ces fausses applications profitent du succès de ChatGPT pour proposer des services « similaires » qui ne sont en fait que des arnaques.
En voici une petite liste :
- Chat GBT
- Genie
- GAI Assistant
- AI Chat GBT
- AI Chat – Chatbot AI Assistant
- Genie AI Chatbot
- AI Chatbot – Open Chat Writer
Cette liste sera mise à jour en fonction des nouvelle arnaques

ChatGPT est-il dangereux ?
Reportage diffusé sur ARTE
Quelques articles complémentaire
- ChatGPT le présente comme un voleur, il l’attaque en justice
C’est un première mondiale. Mark Walters, un animateur radio américain, a décidé de poursuivre OpenAI pour diffamation. Dans le détail, ChatGPT a affirmé à un autre internaute qu’il avait détourné des fonds d’une association de défense des détenteurs d’armes à feu.
Et c’est complètement faux…
Publié sur Presse Citron par Jean-Yves Alric le 8 juin 2023 - Méfiez-vous de ChatGPT… Samsung en a fait les frais !
ChatGPT est un outil formidable, mais qu’il faut savoir utiliser avec prudence. Il est, par exemple, fortement déconseillé de lui soumettre des informations confidentielles. Et ce n’est pas Samsung qui vous dira le contraire.
Publié sur Clubic par Alexandre Schmid le 07 avril 2023 - Comment les pirates parviennent à voler des comptes payants, et à quoi leur servent-ils ?
Les experts cyber s’inquiètent de la hausse du trafic de comptes ChatGPT premium, utilisés pour contourner certaines restrictions d’OpenAI, mais aussi pour développer un nouveau business parallèle.
Publié sur Clubic par Alexandre Boero le 17 avril 2023 - Des hackers utilisent ChatGPT pour diffuser des malwares sur Facebook, Instagram et WhatsApp
De nombreuses personnes craignent que les chatbots d’IA générative, tels que ChatGPT, puissent être utilisés à l’avenir pour créer des logiciels malveillants (malwares). Actuellement, la plus grande préoccupation est la popularité de ChatGPT : de plus en plus, les hackers lancent des attaques par usurpation d’identité et utilisent les applications de ChatGPT pour voler des informations à des victimes peu méfiantes.
Publié sur Forbes le 08 mai 2023