Data Studio

Chaque page de jeu de données contient un tableau avec le contenu du jeu de données, réparti par pages de 100 lignes. Vous pouvez naviguer entre les pages à l'aide des boutons situés en bas du tableau.

Inspecter les distributions de données

En haut des colonnes, vous pouvez voir les graphiques représentant la distribution de leurs données. Cela vous donne un aperçu rapide de l’équilibre de vos classes, de l’étendue et de la distribution des données numériques et des longueurs de texte, ainsi que de la part de données manquantes dans la colonne.

Filtrer par valeur

Si vous cliquez sur une barre d’un histogramme d’une colonne numérique, le visualiseur de jeu de données filtre les données et n’affiche que les lignes dont les valeurs tombent dans la plage sélectionnée. De même, si vous sélectionnez une classe d’une colonne catégorielle, il n’affichera que les lignes de la catégorie sélectionnée.

Rechercher un mot dans le jeu de données

Vous pouvez rechercher un mot dans le jeu de données en le saisissant dans la barre de recherche située en haut du tableau. La recherche est insensible à la casse et correspondra à toute ligne contenant le mot. Le texte est recherché dans les colonnes de type string, même si les valeurs sont imbriquées dans un dictionnaire ou une liste.

Exécuter des requêtes SQL sur le jeu de données

Vous pouvez exécuter des requêtes SQL sur le jeu de données dans le navigateur à l'aide de la console SQL. Cette fonctionnalité exploite également notre conversion automatique en Parquet.

Pour plus d’informations, consultez notre guide sur SQL Console. Vous pouvez exécuter les mêmes requêtes SQL DuckDB depuis la ligne de commande avec hf datasets sql ou directement avec DuckDB.

Partager une ligne spécifique

Vous pouvez partager une ligne spécifique en cliquant dessus, puis en copiant l’URL dans la barre d’adresse de votre navigateur. Par exemple, https://huggingface.co/datasets/nyu-mll/glue/viewer/mrpc/test?p=2&row=241 ouvrira le studio de jeu de données sur le jeu de données MRPC, sur la partition test, et sur la ligne 241.

Traces d'agent

Envoyez vos traces JSONL brutes issues d’outils tels que Claude Code, Codex ou Pi vers un jeu de données pour les parcourir dans Data Studio, ou synchronisez-les vers un Storage Bucket et ouvrez les fichiers .jsonl individuels qui s’y trouvent. Les deux chemins utilisent le même visualiseur de traces pour parcourir les sessions, les tours, les appels d’outils et les réponses du modèle. Consultez Agent Traces pour connaître les agents pris en charge et la visualisation des traces.

Jeux de données à grande échelle

Le Dataset Viewer prend en charge les jeux de données de grande taille, mais selon le format des données, il peut n’afficher que les 5 Go premiers du jeu de données :

• Pour les jeux de données Parquet : le Dataset Viewer affiche l’ensemble du jeu de données, mais le tri, le filtrage et la recherche ne sont activés que sur les 5 Go premiers.
• Pour les jeux de données de plus de 5 Go dans d’autres formats (par exemple WebDataset ou JSON Lines) : le Dataset Viewer n’affiche que les 5 Go initiaux, et le tri, le filtrage et la recherche sont activés sur ces 5 Go initiaux.

Dans ce cas, un message informatif vous indique que le Viewer est partiel. Cet échantillon doit être suffisamment grand pour représenter fidèlement l’ensemble du jeu de données ; faites-nous savoir si vous avez besoin d’un échantillon plus volumineux.

Accéder aux fichiers parquet

Pour alimenter le visualiseur de jeux de données, les 5 Go initiaux de chaque jeu de données sont convertis automatiquement au format Parquet (sauf s'il s'agissait déjà d'un jeu de données Parquet). Dans le visualiseur de jeux de données (par exemple, voir GLUE), vous pouvez cliquer sur « Auto-converted to Parquet » pour accéder aux fichiers Parquet. Veuillez consulter la documentation du visualiseur de jeux de données pour apprendre à interroger les fichiers Parquet du jeu de données à l'aide de bibliothèques telles que Polars, Pandas ou DuckDB.

Parquet est un format de stockage en colonnes optimisé pour l'interrogation et le traitement de grands jeux de données. Parquet est un choix populaire pour le traitement et l'analyse de données massives et est largement utilisé pour le traitement de données et l'apprentissage automatique. Vous pouvez en savoir plus sur les avantages associés à ce format dans la documentation.

Bot de conversion

Lors de la création d'un nouvel ensemble de données, le bot parquet-converter vous notifie dès que la conversion de l'ensemble de données au format Parquet est terminée. La discussion qu'il ouvre dans le dépôt fournit des détails sur le format Parquet ainsi que des liens vers les fichiers Parquet.

Accès programmatique

Vous pouvez également accéder à la liste des fichiers Parquet de manière programmatique en utilisant l'API du Hub ; par exemple, le point d'accès https://huggingface.co/api/datasets/nyu-mll/glue/parquet liste les fichiers parquet du jeu de données nyu-mll/glue. L'interface en ligne de commande hf fournit la même liste avec hf datasets parquet, et hf datasets sql vous permet d'interroger les fichiers avec SQL.

Nous disposons également d’une documentation spécifique sur l’API du visualiseur de jeux de données, que vous pouvez appeler directement. Cette API vous permet d’accéder au contenu, aux métadonnées et aux statistiques de base de tous les jeux de données du Hugging Face Hub, et alimente l’interface du visualiseur de jeux de données.

Aperçu du jeu de données

Pour les plus grands jeux de données, la page affiche un aperçu des 100 premières lignes au lieu d’un visualiseur complet. Cette restriction ne s’applique qu’aux jeux de données de plus de 5 Go qui ne sont pas nativement au format Parquet ou qui n’ont pas été convertis automatiquement en Parquet.

Intégrer le Dataset Viewer dans une page web

Vous pouvez intégrer le Dataset Viewer dans votre propre page web à l’aide d’une balise iframe. L’URL à utiliser est https://huggingface.co/datasets/<namespace>/<dataset-name>/embed/viewer, où <namespace> est le propriétaire du jeu de données et <dataset-name> est son nom. Vous pouvez également passer d’autres paramètres tels que le sous-ensemble, la partition, le filtre, la recherche ou la ligne sélectionnée.

Pour plus d'informations, consultez notre guide sur Comment intégrer le Dataset Viewer dans une page web.

Configurer le Dataset Viewer

Pour disposer d'un Dataset Viewer fonctionnel pour votre jeu de données, assurez-vous que celui-ci est au format et à la structure pris en charge. Il est également possible de configurer votre jeu de données à l'aide de YAML.

Vous pouvez spécifier les fichiers à afficher dans le Dataset Viewer en ajoutant un bloc de configuration YAML en haut du fichier README.md de votre jeu de données. Par exemple, pour choisir quel fichier est attribué à quelle partition :

---
configs:
- config_name: default
  data_files:
  - split: train
    path: "data.csv"
  - split: test
    path: "holdout.csv"
---

Vous pouvez également sélectionner plusieurs fichiers par split ou utiliser des motifs glob :

---
configs:
- config_name: default
  data_files:
  - split: train
    path:
    - "data/train_part1.csv"
    - "data/train_part2.csv"
  - split: test
    path: "data/*.csv"
---

Pour les jeux de données privés, le Dataset Viewer est activé pour les utilisateurs PRO et les organisations Team ou Enterprise.

Pour plus d'informations, consultez notre guide sur Comment configurer le Dataset Viewer.