GitGuardian Confidence Scorer mêle probabilisme et déterminisme pour déceler les secrets sur GitHub

GitGuardian lance Confidence Scorer, un modèle de machine learning (en cours de déploiement) conçu pour évaluer et classifier les potentiels secrets exposés dans les dépôts de code, notamment sur GitHub. Ses principales fonctionnalités incluent l’évaluation probabiliste des secrets, les alertes personnalisées, le traitement en temps réel, l’évolutivité et l’optimisation du modèle open source.

Le Confidence Scorer, un modèle d’apprentissage automatique, évalue chaque candidat secret en lui attribuant une valeur entre 0 et 1, reflétant la probabilité que le code contienne un véritable secret. Pour convertir cette note en une classification binaire
« Secret » ou « Pas secret », un seuil doit être établi. Ce seuil détermine l’équilibre entre la précision et le rappel.

Un seuil élevé augmente la précision, mais risque de ne pas identifier tous les secrets, tandis qu’un seuil plus bas augmente le rappel, mais peut également générer de faux positifs, réduisant ainsi la précision et augmentant le bruit pour la communauté des développeurs.

Le seuil idéal de 0,9 offre un compromis optimal, assurant une précision élevée tout en signalant un nombre suffisant de secrets pour avoir un impact significatif sur la sécurité des développeurs.

Une précision de 99 %

Grâce à ce nouveau mécanisme, « GitGuardian est en mesure de signaler environ
1 000 fuites génériques par jour, affirme l’éditeur. Avec l’aide de cet évaluateur, nous avons le potentiel de tripler le nombre d’alertes quotidiennes envoyées par e-mail, tout en maintenant une précision impressionnante de 99 % ».

Pour relever ce défi, les développeurs de GitGuardian ont « opté pour un modèle LLM léger basé sur un code open source, soigneusement sélectionné pour équilibrer performance et vitesse d’inférence. Ce modèle a été affiné avec une tête de classification personnalisée, permettant à notre équipe de se concentrer spécifiquement sur la détection de secrets dans le code source ».

En combinant le Confidence Scorer à son moteur de détection de secrets existant, GitGuardian réduit considérablement le nombre de codes à analyser. Ainsi, le modèle n’a besoin d’examiner que 300 000 secrets génériques par jour pour identifier les plus fiables.

Ce mariage de techniques probabilistes et déterministes a déjà prouvé son efficacité et a été déployé en douceur pour détecter les secrets sur GitHub.com. Le Confidence Scorer évalue déjà tous les secrets détectés sur le site public GitHub, et son utilisation est progressivement étendue pour contrôler la qualité des courriels envoyés aux développeurs. « Grâce au Confidence Scorer, nous prévoyons de plus que doubler le nombre d’alertes quotidiennes envoyées par e-mail ».