Analyseur tiers : JFrog

Le scanner de sécurité de JFrog détecte les comportements malveillants dans les modèles d’apprentissage automatique.

Exemple de rapport pour danger.dat

Nous avons collaboré avec JFrog pour fournir un balayage afin de rendre le Hub plus sûr. Les fichiers de modèle sont analysés par le scanner JFrog et nous exposons les résultats de l’analyse sur l’interface du Hub.

Le scanner de JFrog est conçu pour réduire les faux positifs. En effet, nous observons actuellement que le code contenu dans les poids d’un modèle n’est pas toujours malveillant. Lorsqu’un code est détecté dans un fichier, le scanner de JFrog l’analyse et l’examine afin de vérifier une utilisation potentiellement malveillante.

Voici un exemple de dépôt que vous pouvez consulter pour voir la fonctionnalité en action : mcpotato/42-eicar-street.

Rappel sur la sécurité des modèles

Pour partager des modèles, nous sérialisons les structures de données utilisées pour interagir avec eux, afin de faciliter le stockage et le transport. Certains formats de sérialisation sont vulnérables à des exploits malveillants, tels que l’exécution de code arbitraire (je te regarde, pickle), ce qui rend le partage de modèles potentiellement dangereux.

Avec le succès de Hugging Face en tant que plateforme de partage de modèles, nous souhaitons protéger la communauté contre ce type de menace, c’est pourquoi nous avons développé des outils comme picklescan et pourquoi nous intégrons des scanners tiers.

Pickle n’est pas le seul format exploitable, voir par exemple comment exploiter les couches Lambda de Keras pour exécuter du code arbitraire.

Update on GitHub