Anthropic chercheur en sécurité Nicolas Carlini, dont les publications ont été citées 67 200 fois sur Google Scholar, est l'une des personnes les plus citées dans ce domaine.

Il a récemment déclaré publiquement : Claude est un chercheur en sécurité meilleur que lui.
Il a dirigé Claude vers Ghost (une plateforme de publication avec 50 000 étoiles GitHub, qui n’a jamais présenté de vulnérabilités critiques dans son histoire) pendant 90 minutes, et Claude a trouvé une vulnérabilité d'injection SQL permettant à quiconque, sans aucun privilège, d’obtenir directement la clé d’administrateur et de prendre le contrôle total du backend.
Il a ensuite dirigé Claude vers le noyau Linux. Claude a identifié une vulnérabilité de dépassement de tampon. Une faille présente depuis 2003, qui est restée cachée pendant 23 ans. Carlini affirme que ce type de vulnérabilité, même pour un expert en sécurité expérimenté, est extrêmement difficile à détecter manuellement.
Dans les tests de contrats intelligents, Claude a identifié environ 3,7 millions de dollars de vulnérabilités exploitables dans un environnement simulé.
Carlini dit qu’il ne pourrait pas atteindre le niveau de Claude dans ces tâches.
La partie la plus difficile dans cette histoire n’est pas que l’IA ait trouvé des vulnérabilités, mais que : Carlini était encore au travail.