Veri kümelerini indirme

Entegre kütüphaneler

Hub'daki bir veri seti desteklenen bir kütüphaneye bağlıysa, veri setini yüklemek yalnızca birkaç satır kodla yapılabilir. Veri setine erişimle ilgili bilgi almak için, veri seti sayfasındaki “Use this dataset” düğmesine tıklayarak nasıl yapılacağını görebilirsiniz. Örneğin, samsum aşağıda datasets ile nasıl yapılacağını göstermektedir.

Hugging Face İstemci Kütüphanesini Kullanma

huggingface_hub kütüphanesini kullanarak depolar oluşturabilir, silebilir, güncelleyebilir ve depolardan bilgi alabilirsiniz. Örneğin, HuggingFaceH4/ultrachat_200k veri setini komut satırından indirmek için çalıştırın

hf download HuggingFaceH4/ultrachat_200k --repo-type dataset

Daha fazla bilgi için HF CLI indirme belgelerini inceleyin.

Bunu kendi kütüphanenize de entegre edebilirsiniz! Örneğin, Pandas kullanarak birkaç satırla bir CSV veri setini hızla yükleyebilirsiniz.

from huggingface_hub import hf_hub_download
import pandas as pd

REPO_ID = "YOUR_REPO_ID"
FILENAME = "data.csv"

dataset = pd.read_csv(
    hf_hub_download(repo_id=REPO_ID, filename=FILENAME, repo_type="dataset")
)

Git Kullanımı

Hub'daki tüm veri setleri Xet destekli Git depoları olduğundan, git-xet'i kurarak ve aşağıdakini çalıştırarak veri setlerini yerel olarak klonlayabilirsiniz:

git xet install
git lfs install
git clone git@hf.co:datasets/<dataset ID> # example: git clone git@hf.co:datasets/allenai/c4

Belirli bir veri seti deposuna yazma erişiminiz varsa, veri setine revizyonları commit etme ve push etme yetkiniz de olacaktır.

Değişiklikleri göndermek ve/veya özel depolara erişmek için SSH anahtarınızı kullanıcı ayarlarınıza ekleyin.

Daha hızlı indirmeler

Hugging Face CDN'sinden indirme hızınızı fast.hf.co adresinden test edebilirsiniz. Bu, en yakın HF kenar sunucusuna karşı hızlı bir bant genişliği testi çalıştırarak temel veri aktarım hızınızı anlamanıza yardımcı olur. Ayrıca hf-speedtest CLI eklentisini kullanarak terminalden indirme hızını ölçebilirsiniz:

hf extensions install julien-c/hf-speedtest
hf speedtest

Daha hızlı aktarımlar için Hub, ağ koşullarına göre paralel akışları otomatik olarak ayarlayan uyumlu eşzamanlılığa sahip Xet depolama arka ucunu kullanır. HF_XET_HIGH_PERFORMANCE=1 gibi ayarlama seçeneklerinin ayrıntıları için Modeller için daha hızlı indirmeler başlığını inceleyin.

hf-mount kullanımı

Büyük veri kümeleri için, tam repoyu indirmek yerine hf-mount ile bir repoyu yerel bir dosya sistemi olarak bağlayabilirsiniz. Dosyalar tembelce (lazy) getirilir — ağa yalnızca kodunuzun okuduğu baytlar ulaşır. İş akışınız Python iteratörleri yerine yerel dosya yolları (ör. tarfile, zipfile, imagefolder) bekliyorsa faydalıdır.

brew install hf-mount
hf-mount start repo datasets/stanfordnlp/imdb /tmp/imdb

Depolar salt okunur olarak bağlanır. Tam kurulum ayrıntıları, arka uç seçenekleri ve önbellekleme için Yerel Dosya Sistemi Olarak Bağlama bölümüne bakın.

Bir vekil sunucu veya güvenlik duvarı arkasında indirme

Ağınız, giden trafiği bir güvenlik duvarı veya vekil sunucu üzerinden kısıtlıyorsa, veri setlerini indirmek yalnızca huggingface.co adresine erişimi gerektirmez. Dosya içerikleri ayrı depolama ve CDN alan adlarından sunulur; bu adreslere erişilemiyorsa, huggingface.co adresi kendisi izin listesinde olsa bile load_dataset / hf download işlemleri başarısız olur.

Aşağıdaki ana makine adlarını izin listesine ekleyin (tümü HTTPS / 443 portu üzerinden):

İndirmeler, huggingface.co adresinden bu ana bilgisayar adlarına HTTP yönlendirmelerini izler; bu nedenle yalnızca huggingface.co adresini izin verilenler listesine eklemek yeterli değildir. Bir indirme sırasında bağlantı hatası yerine ReadTimeoutError alınması, genellikle ilk bağlantının başarılı olduğunu ancak bir depolama veya CDN ana bilgisayarının engellendiğini gösterir.

Yabani karakter davranışı, vekil sunucunuzun alan adlarını nasıl eşleştirdiğine bağlıdır. Birçok kurumsal vekil sunucusu, izin listesi girdisini herhangi bir derinlikteki alt alan adlarını kapsayan bir sonek eşleşmesi olarak ele alır. Vekil sunucunuz da bunu yapıyorsa, en basit seçenek hf.co ve huggingface.co soneklerini izin listesine eklemektir — bunlar mevcut ve gelecekteki tüm depolama ve CDN uç noktalarını kapsar.

Vekil sunucunuz yalnızca tek etiketli joker karakterleri destekliyorsa (*.hf.co, cdn-lfs-us-1.hf.co ile eşleşir ancak daha derin us.aws.cdn.hf.co veya cas-server.xethub.hf.co ile eşleşmez), yukarıdaki tablodaki açık ana bilgisayar adlarını izin listesine ekleyin. *.xethub.hf.co'nun xethub-eu.hf.co altındaki AB ana bilgisayarlarını kapsamadığını ve *.cdn.hf.co'nun iki etiketli us.aws.cdn.hf.co / us.gcp.cdn.hf.co adreslerini kapsamadığını unutmayın.

Bu host adları, depolama ve CDN altyapımız evrildikçe değişebilir. Güvenlik politikanız izin veriyorsa, belirli bir uç nokta değiştiğinde kurallarınızın bozulmaması için hf.co ve huggingface.co soneklerini (tüm alt alan adları) izinli listeye ekleyin.

Makine-okunabilir liste

Yukarıdaki ana bilgisayar adları ayrıca https://huggingface.co/.well-known/meta.json adresinde JSON olarak da yayımlanmaktadır, böylece tabloyu elle kopyalamak yerine bu dosyadan vekil sunucu veya güvenlik duvarı kuralları oluşturabilirsiniz.

Dosya, uç noktalar eklendikçe ve kaldırıldıkça değişir. Kopyayı sabitlemek yerine, kurallarınızı oluştururken dosyayı çekin.