Data Studio

각 데이터셋 페이지에는 데이터셋의 내용이 100행씩 페이지로 나뉘어 표로 표시됩니다. 표 하단의 버튼을 사용하여 페이지를 이동할 수 있습니다.

데이터 분포 검사

열의 상단에는 해당 데이터의 분포를 나타내는 그래프를 볼 수 있습니다. 이를 통해 클래스의 균형 상태, 수치형 데이터의 범위와 분포, 텍스트의 길이, 그리고 열 데이터 중 누락된 부분의 비율을 빠르게 파악할 수 있습니다.

값으로 필터링

숫자 열의 히스토그램 막대를 클릭하면 데이터셋 뷰어가 데이터를 필터링하여 선택된 범위에 해당하는 값이 포함된 행만 표시합니다. 마찬가지로 범주형 열에서 하나의 클래스를 선택하면 선택된 범주에 속하는 행만 표시됩니다.

데이터셋에서 단어 검색

테이블 상단의 검색창에 단어를 입력하여 데이터셋에서 검색할 수 있습니다. 검색은 대소문자를 구분하지 않으며, 해당 단어가 포함된 모든 행을 일치시킵니다. 값이 사전이나 리스트에 중첩되어 있더라도 string 열의 텍스트에서 검색됩니다.

데이터셋에서 SQL 쿼리를 실행

SQL Console를 사용하여 브라우저에서 데이터셋에 대해 SQL 쿼리를 실행할 수 있습니다. 이 기능은 또한 Parquet 자동 변환을 활용합니다.

자세한 내용은 SQL Console 가이드를 참고하세요. hf datasets sql 또는 DuckDB를 통해 명령줄에서 동일한 DuckDB SQL 쿼리를 실행할 수 있습니다.

특정 행 공유

행을 클릭한 후 브라우저 주소창의 URL을 복사하여 특정 행을 공유할 수 있습니다. 예를 들어 https://huggingface.co/datasets/nyu-mll/glue/viewer/mrpc/test?p=2&row=241은 MRPC 데이터셋의 test split에서 241번째 행을 dataset studio에서 엽니다.

Agent 추적

Claude Code, Codex, Pi와 같은 도구에서 생성한 원시 JSONL 트레이스를 데이터셋으로 업로드하여 Data Studio에서 탐색하거나, Storage Bucket에 동기화하여 해당 위치에서 개별 .jsonl 파일을 열 수 있습니다. 두 방식 모두 세션, 턴, 도구 호출, 모델 응답을 단계별로 확인하는 데 동일한 트레이스 뷰어를 사용합니다. 지원되는 에이전트 및 트레이스 확인 방법은 Agent Traces를 참고하세요.

대규모 데이터셋

Dataset Viewer는 대규모 데이터셋을 지원하지만, 데이터 형식에 따라 데이터셋의 처음 5GB만 표시할 수 있습니다:

• Parquet 데이터셋의 경우: Dataset Viewer는 전체 데이터셋을 표시하지만, 정렬, 필터링 및 검색은 처음 5GB에 대해서만 사용할 수 있습니다.
• 5GB를 초과하는 다른 형식(예: WebDataset 또는 JSON Lines)의 데이터셋의 경우: Dataset Viewer는 처음 5GB만 표시하며, 정렬, 필터링 및 검색은 이 처음 5GB에 대해서만 활성화됩니다.

이 경우, 정보 메시지가 Viewer가 부분적인 것임을 알려줍니다. 이는 전체 데이터셋을 정확히 대표하기에 충분히 큰 샘플이어야 하며, 더 큰 샘플이 필요하시면 알려주시기 바랍니다.

parquet 파일에 액세스

데이터셋 뷰어를 구동하기 위해, 모든 데이터셋의 처음 5GB는 Parquet 형식으로 자동 변환됩니다(이미 Parquet 데이터셋인 경우 제외). 데이터셋 뷰어(예: GLUE)에서 “Auto-converted to Parquet”를 클릭하면 Parquet 파일에 접근할 수 있습니다. Polars, Pandas, DuckDB와 같은 라이브러리로 데이터셋의 Parquet 파일을 쿼리하는 방법은 dataset viewer docs를 참고하세요.

Parquet는 대규모 데이터셋의 쿼리 및 처리에 최적화된 컬럼형 저장 형식입니다. Parquet는 빅데이터 처리 및 분석에서 인기 있는 선택지이며, 데이터 처리 및 기계 학습에 널리 사용됩니다. 이 형식과 관련된 이점에 대해서는 문서에서 자세히 알아볼 수 있습니다.

변환 봇

새로운 데이터셋을 생성하면 parquet-converter 봇이 데이터셋을 Parquet로 변환한 후 알림을 보냅니다. 저장소에서 여는 discussion에는 Parquet 형식에 대한 세부 정보와 Parquet 파일에 대한 링크가 제공됩니다.

프로그램 기반 액세스

Hub API를 사용하여 Parquet 파일 목록에 프로그래매틱으로 접근할 수도 있습니다. 예를 들어, https://huggingface.co/api/datasets/nyu-mll/glue/parquet 엔드포인트는 nyu-mll/glue 데이터셋의 Parquet 파일을 나열합니다. hf CLI는 hf datasets parquet를 통해 동일한 목록을 제공하며, hf datasets sql을 사용하면 SQL로 파일을 쿼리할 수 있습니다.

Dataset Viewer API에 대한 전용 문서도 있으며, 이를 직접 호출할 수 있습니다. 해당 API를 사용하면 Hugging Face Hub의 모든 데이터셋의 콘텐츠, 메타데이터 및 기본 통계에 접근할 수 있으며, Dataset viewer 프론트엔드를 구동합니다.

데이터셋 미리보기

가장 큰 데이터셋의 경우, 페이지에는 전체 기능이 포함된 뷰어 대신 첫 100행의 미리보기가 표시됩니다. 이 제한은 5GB를 초과하는 데이터셋 중 Parquet 형식이 아니거나 Parquet으로 자동 변환되지 않은 데이터셋에만 적용됩니다.

Dataset Viewer를 웹페이지에 임베드하기

Dataset Viewer를 iframe을 사용하여 자체 웹페이지에 임베드할 수 있습니다. 사용할 URL은 https://huggingface.co/datasets/<namespace>/<dataset-name>/embed/viewer이며, 여기서 <namespace>은 데이터셋의 소유자이고 <dataset-name>은 데이터셋의 이름입니다. subset, split, filter, search, 선택된 행과 같은 다른 매개변수도 전달할 수 있습니다.

자세한 내용은 Dataset Viewer를 웹페이지에 임베딩하는 방법 가이드를 참고하세요.

Dataset Viewer 구성

데이터셋에 대해 제대로 작동하는 Dataset Viewer를 사용하려면, 데이터셋이 지원되는 형식과 구조를 갖추고 있는지 확인하세요. YAML을 사용하여 데이터셋을 구성하는 옵션도 있습니다.

Dataset Viewer에서 표시할 파일을 지정하려면 데이터셋의 README.md 파일 상단에 YAML 구성 블록을 추가할 수 있습니다. 예를 들어, 어떤 파일이 어떤 split에 포함될지 선택하려면:

---
configs:
- config_name: default
  data_files:
  - split: train
    path: "data.csv"
  - split: test
    path: "holdout.csv"
---

각 split별로 여러 파일을 선택하거나 glob 패턴을 사용할 수도 있습니다:

---
configs:
- config_name: default
  data_files:
  - split: train
    path:
    - "data/train_part1.csv"
    - "data/train_part2.csv"
  - split: test
    path: "data/*.csv"
---

private 데이터셋의 경우 Dataset Viewer는 PRO 사용자와 Team 또는 Enterprise 조직에 대해 활성화됩니다.

자세한 내용은 Dataset Viewer 구성 방법 가이드를 참고하세요.