Pleins feux sur les menaces : le Dark Web et l'IA

Aperçu exécutif

Plus de 200,000 XNUMX identifiants de modèles de langage d’IA sont actuellement vendus sur le dark web dans le cadre de journaux de voleurs, des fichiers contenant des milliers d’identifiants dérivés de logiciels malveillants infostealer. Cela augmente certainement le risque que les employés divulguent des données sensibles dans les modèles, puis perdent leurs informations d'identification. Cependant, nous constatons encore plus d’utilisations malveillantes des modèles de langage d’IA. 

Mathieu Lavoie (CTO et co-fondateur de Flare), Serge-Olivier Paquette (directeur de l'innovation) et Eric Clay (VP du marketing) ont discuté des modèles de langage d'IA, de leurs capacités et de la manière dont les attaquants les utilisent. 

Alors que les organisations intègrent de plus en plus de modèles de langage d’IA, comme GPT-4, dans leurs opérations commerciales, les cybercriminels ont trouvé des moyens de les monétiser.

Avec les modèles open source, comme LAMA, LAMA 2 et Vicuna, les poids du modèle sont publics, permettant aux acteurs malveillants de contourner les mesures de sécurité telles que l'apprentissage renforcé avec retour humain (RLHF) qui empêchent les technologies d'être utilisées pour nuire à autrui. .  

Les modèles linguistiques de l’IA sont introduits dans un écosystème de cybercriminalité de plus en plus banalisé, rationalisé et facile d’accès. Pour les cybercriminels, ces modèles de langage d’IA offrent une technologie facile à utiliser qui leur permet d’automatiser des activités criminelles supplémentaires et d’améliorer leurs offres « en tant que service » actuelles.

Découvrez notre enregistrement complet du webinaire, Comment le Dark Web réagit à la révolution de l'IA, et/ou continuez à lire pour les faits saillants.

Récapitulatif de la recherche

La recherche s'est concentrée sur la manière dont les cybercriminels exploitent de grands modèles de langage. Les modèles linguistiques de l’IA sont là pour rester, ce qui signifie qu’ils seront de plus en plus intégrés à l’écosystème complexe de la cybercriminalité. Comprendre non seulement les menaces actuelles, mais aussi les menaces émergentes, est essentiel pour que les organisations puissent gérer efficacement les cyber-risques. 

Modèles et capacités linguistiques

Pour comprendre le niveau de sophistication des offres cybercriminelles actuelles, il est essentiel d’identifier des mesures de base pour les modèles eux-mêmes. Certaines capacités typiques à rechercher incluent :

• La résolution de problèmes: Raisonner vers un résultat acceptable et correct
• Théorie de l'esprit: Comprendre et appréhender les états mentaux des individus pour expliquer les comportements
• Apprentissage sans coupure: Répondre aux questions qui ne figurent pas dans les données d'entraînement du modèle et tirer une conclusion satisfaisante
• exhaustivité des réponses: Répondre aux questions de la manière la plus complète possible

En tenant compte de ces capacités, les modèles actuels, classés par capacité du moins au plus important, sont :

• LAMA
• koala-13b
• vigogne-13b
• ChatGPT
• Claudie 2
• GPT-4

Heureusement, les modèles les plus performants ne sont pas actuellement open source. Cela oblige les cybercriminels à travailler avec des modèles moins performants qui présentent pour le moment moins de risques. Cependant, la technologie évolue rapidement et il est fort probable que les acteurs malveillants auront accès à des modèles open source similaires à l’état actuel de la technique, d’ici deux ans. 

Entraîner un modèle

Tous les modèles d'IA passent par le processus de formation en quatre étapes suivant :

• Collecte et prétraitement des données: de grandes quantités de données textuelles non structurées créées pour entraîner les pondérations initiales du modèle sur
• Formation de modèle: poids initiaux du modèle créés en fin de formation
• Mise au point du modèle: les pondérations du modèle ont été affinées sur un texte idéal, beaucoup plus petit, pour des tâches spécifiques
• Apprentissage renforcé avec feedback humain (RLHF) : les évaluateurs humains évaluent la sortie du modèle, puis les pondérations sont ajustées pour favoriser la sortie mieux notée

Le RLHF « récompense » essentiellement le modèle en l’aidant à faire la distinction entre une bonne invite non nuisible et une mauvaise invite nuisible. Par exemple, une mauvaise invite demanderait comment fabriquer une arme biologique ou comment rédiger un e-mail de phishing. C'est pourquoi ChatGPT et GPT-4 refusent généralement de répondre aux questions qui pourraient être nuisibles. 

En règle générale, les entreprises – y compris les cybercriminels – ajustent les modèles open source à leurs besoins. Construire un modèle de premier ordre, souvent appelé « modèle Frontier », coûte souvent plus de 10 millions de dollars et nécessite des mois de ressources de calcul. Avoir ces poids signifie que les cybercriminels peuvent contourner le processus RLHF, ce qui leur permet d'utiliser le modèle à des fins nuisibles, comme concevoir des e-mails de phishing, créer des logiciels malveillants et améliorer le code malveillant existant.

L’état actuel de l’IA malveillante

Bien que les acteurs malveillants utilisent le terme « GPT », ils utilisent très probablement un modèle open source plutôt que la technologie OpenAI. Cependant, ils les qualifient de « GPT » car le terme trouve un écho auprès d'un public plus large. Au cours de l’été 2023, les chercheurs ont commencé à identifier des modèles open source dont les restrictions avaient été supprimées et adaptés à la cybercriminalité, à commencer par FraudGPT et WormGPT disponibles à l’achat sur le dark web.

Fondamentalement, ces modèles d'IA existent au sein de l'écosystème plus large de la cybercriminalité, car ils prennent en charge d'autres offres telles que Malware-as-a-Service (MaaS), Ransomware-as-a-Service (RaaS) et Phishing-as-a-Service (PaaS). . 

Chercheur en cybersécurité John Hammond a examiné plusieurs chatbots d'IA génératifs du Dark Web tels que DarkBard et DarkGPT tout en effectuant des références croisées avec Flare :

Vous trouverez ci-dessous quelques autres chatbots IA du Dark Web :

VerGPT

Le créateur de WormGPT était un programmeur portugais de 23 ans qui semble l'avoir depuis supprimé. Cependant, le modèle par abonnement vendu à 500 $/mois a été annoncé comme étant adapté à la création de logiciels malveillants. Le modèle a le potentiel d’aider les cybercriminels à itérer leur code malveillant plus efficacement plutôt que d’automatiser le processus de création d’une architecture ou d’un logiciel à part entière.

FraudeGPT

Plus récemment, les acteurs malveillants ont répliqué l'interface ChatGPT et affiné le modèle pour aider à créer des e-mails de spear phishing utilisés lors de la compromission des e-mails professionnels (BEC) et d'autres activités frauduleuses. 

Ce modèle présente un risque différent lorsqu'il est associé à des infrastructures PaaS pour créer des e-mails personnalisés à grande échelle, réduisant ainsi la barrière d'entrée des cybercriminels. Par exemple, les petits fraudeurs peuvent avoir une idée de ce qu'ils veulent faire, mais ils embaucher des gens « légitimement » pour mener à bien ces projets. Avec des modèles comme FraudGPT, les cybercriminels n’auront plus besoin de ces travailleurs indépendants.  

L’avenir de l’IA malveillante

Risques à court terme

Les employés utilisant ChatGPT peuvent accidentellement divulguer des données dans des modèles, puis perdre les informations d'identification de ces modèles. Par exemple, les cybercriminels pourraient s'emparer du compte d'un utilisateur pour consulter l'historique de ses publications avec le modèle. Ensuite, ils se retournent et vendent les informations sur le dark web. 

Pendant ce temps, les adversaires peuvent attaquer les modèles et les amener à exposer des données de formation sensibles telles que des informations personnellement identifiables (PII) ou des informations confidentielles fournies par les utilisateurs dans leur invite. Par exemple, une personne a découvert une attaque contradictoire dans laquelle l'affichage de 1,000 XNUMX zéros avec un espace entre chaque zéro dans le modèle générait des extraits de texte aléatoires, dont certains semblaient être d'autres conversations que les gens avaient eues avec le modèle.

Risques à moyen terme

Au cours des prochaines années, les modèles agents pourraient changer le paysage des menaces. Avec des modèles plus performants enchaînés pour créer des « agents » d’IA, un modèle de langage pourrait automatiser des processus généralement manuels tels que :

• Recherche active de vulnérabilités, de journaux de voleurs avec accès d'entreprise et de secrets GitHub plus rapidement et plus largement que les individus.
• Collecte d'informations sur les victimes pour créer des e-mails de spear phishing plus efficaces
• Expansion des campagnes de deepfake et de vishing 

Faire more robust spear-phishing training campaigns is going to become absolutely essential as attackers leverage AI tools and increase their sophistication.

Atténuations, mesures correctives et recommandations

Alors que les cybercriminels exploitent de plus en plus les modèles linguistiques, les organisations devraient commencer à travailler de manière proactive pour atténuer les risques. Simultanément, ils devraient commencer à réfléchir à la manière dont ils peuvent exploiter ces technologies pour garder une longueur d’avance sur les attaquants. 

Au minimum, les organisations peuvent commencer par :

• Détection du contenu IA: Tirer parti de la recherche sur l'identification de la différence entre le contenu généré par l'IA et celui généré par l'homme pour réduire les risques de phishing si cela peut être réalisable et rendu largement disponible
• Politiques et processus: Mise en œuvre de contrôles sur la manière dont les employés peuvent utiliser les modèles et partager des données avec eux pour atténuer les fuites de données
• tokenization: Masquage des données potentiellement sensibles pour réduire les risques liés à l'utilisation de modèles pour les applications d'entreprise tout en conservant le même résultat

Comment Flare peut aider

Flare offre une gestion proactive de l'exposition aux cybermenaces avec Technologie basée sur l'IA to constantly scan the clear & dark web, and Telegram channels. Our plateforme de surveillance du dark web provides data from 14 million stealer logs and 2 million threat actor profiles. 

Étant donné que notre plateforme collecte, analyse, structure et contextualise automatiquement les données du Dark Web, vous bénéficiez de renseignements de grande valeur spécifiques à votre organisation pour des enquêtes sur le Dark Web 10 fois plus rapides et une réduction majeure des coûts de réponse aux incidents de fuite de données. 

Commencez votre essai gratuit aujourd'hui pour en savoir plus.