Hugging Face Hub ドキュメント

Hugging Face Hubは、オープンな機械学習のための標準的なAIプラットフォームです。200万を超えるモデル、150万のデータセット、150万のAIアプリ（Spaces）をホストしており、すべてオープンかつ公開されています。オープンAIの枠を超え、Hubは社内チームやプライベートチームのための優れたコラボレーションプラットフォームでもあります。探索、実験、コラボレーション、構築を、すべて1つの場所で実現しましょう！🤗

Hugging Face Hubとは何ですか？

私たちは、機械学習の発展という目標に向けて、コミュニティが協力して取り組めるよう支援しています🔥。

Tech Titansを含む、いかなる単一の企業も、AIを「解決」することはできません。この目標を達成する唯一の方法は、コミュニティ中心のアプローチで知識とリソースを共有することです。私たちは、Hugging Face Hub上で、すべての人々のために機械学習を民主化し、推進するために、最大規模のオープンソースのモデル、データセット、デモのコレクションを構築しています🚀。

コミュニティメンバーに期待する価値観を理解するために、行動規範とコンテンツガイドラインをお読みいただくことをお勧めします 🤗。

Hubには何がありますか？

Hugging Face HubはGitベースのリポジトリをホストしており、これはバージョン管理されたフォルダであり、すべてのファイルを含めることができます。バージョン管理されない可変オブジェクトストレージについては、HubはStorage Bucketsも提供しています。

これにより、アップロードと発見が可能になります…

• モデル: LLM、テキスト、ビジョン、オーディオタスク向けの最新の最先端モデルをホスティング
• Datasets: さまざまなドメインやモダリティに対応する多様なデータを提供
• Spaces: ブラウザ上でMLモデルを直接デモンストレーションするためのインタラクティブなアプリ

Hubでは、バージョン管理、コミット履歴、差分、ブランチ、および10種類以上のライブラリ統合を提供しています! すべてのリポジトリは、Git内で大規模なファイルを効率的に保存する新しい技術であるXetを基盤としています。Xetはファイルを一意のチャンクに知的に分割し、アップロードとダウンロードを高速化します。

すべてのリポジトリに共通する機能については、リポジトリのドキュメントで詳しく学ぶことができます。

モデル

コミュニティによって共有されている何十万ものオープンソースのMLモデルを発見し、利用できます。責任あるモデルの利用と開発を促進するため、モデルのリポジトリには各モデルの限界やバイアスについてユーザーに知らせるModel Cardsが用意されています。タスク、言語、評価結果などの情報に関する追加のメタデータを含めることができ、リポジトリにTensorBoard tracesが含まれている場合は、トレーニング指標のチャートも追加できます。また、モデルに推論ウィジェットを追加することも簡単で、誰でもブラウザ上でモデルを直接試すことができます！プログラムによるアクセスには、Inference ProvidersによってサーバーレスAPIが提供されています。

モデルをHubにアップロードしたり、モデルをダウンロードして作業に統合したりするには、Modelsのドキュメントをご覧ください。また、🤗 Transformers、Asteroid、ESPnetなど、Hubをサポートする10以上のライブラリから選択することもできます。

データセット

Hubには、NLP、Computer Vision、Audioの幅広いタスクに使用できる、8,000以上の言語で構成された50万を超えるパブリックなデータセットが公開されています。Hubでは、データセットの検索、ダウンロード、アップロードが簡単に実行できます。データセットには、Dataset CardsやData Studioという形式の充実したドキュメントが付属しており、ブラウザ上で直接データを探索できます。多くのデータセットはパブリックですが、organizationsや個人は、ライセンスやプライバシーの問題に対応するためにプライベートなデータセットを作成できます。Hugging Face HubのドキュメントでDatasetsについて詳しく学ぶことができます。

🤗 datasets ライブラリを使用すると、データセットをプログラム的に操作できるため、Hub 上のデータセットをプロジェクトで簡単に利用できます。1 行のコードでデータセットにアクセスでき、コンピュータのメモリに収まらないほど大きなデータセットであっても、ストリーミングを活用してデータを効率的にアクセスできます。

Spaces

Spacesは、Hub上でMLデモアプリをホストするためのシンプルな方法です。MLポートフォリオの構築、カンファレンスやステークホルダーへのプロジェクトの紹介、MLエコシステム内の他の人々との協働作業を可能にします。

現在、数分でクールなアプリを構築できる2つの優れたPython SDK（GradioとStreamlit）をサポートしています。ユーザーは、シンプルなHTML/CSS/JavaScriptページである静的なSpacesを作成したり、Dockerベースの任意のアプリケーションをデプロイしたりすることもできます。

デモにGPUの性能が必要な場合は、ZeroGPUをお試しください。必要に応じて、NVIDIA RTX Pro 6000 Blackwell GPUをリアルタイムで動的に提供します。

いくつかの Spaces を探索した後は（今週の Space!もぜひご覧ください）、Spaces のドキュメントを参照して、ご自身の Space を作成する方法を詳しく学んでください。また、Space を GPU やその他の高速化ハードウェアで実行するようにアップグレードすることもできます。⚡️

ストレージバケット

Storage Buckets は、Xet ストレージバックエンドによって提供される、Hugging Face 上の S3 互換のオブジェクトストレージです。リポジトリ（git ベースでファイルの履歴を追跡するもの）とは異なり、バケットは、コンテンツアドレス可能な重複排除を備えた大規模ファイル用に設計されたリモートオブジェクトストレージコンテナです。バージョン管理が不要な、学習チェックポイント、ログ、中間成果物、または大規模なファイルコレクションの保存など、シンプルで高速な変更可能なストレージが必要なユースケース向けに設計されています。

組織

企業、大学、非営利団体は Hugging Face コミュニティの重要な一員です! Hub では、組織を使用してアカウントをグループ化し、データセット、モデル、Spaces を管理できます。教育者は、Hugging Face for Classroomsを使用して、学生のための協働組織を作成することもできます。組織のリポジトリは組織のページに紹介され、組織のすべてのメンバーがそのリポジトリに貢献できます。組織のすべての作業を便利にグループ化できるだけでなく、Hub では管理者がロールを設定してリポジトリへのアクセスを制御し、組織の支払い方法と請求情報を管理できます。機械学習は、協働することでより楽しくなります! 🔥

既存の組織を探索し、こちらで新しい組織を作成してから、Organizations のドキュメントを参照して詳細を学習してください。

セキュリティ

Hugging Face Hubは、コード、モデル、データが安全であることを安心していただけるよう、セキュリティおよびアクセス制御の機能をサポートしています。これらのドキュメントのセキュリティセクションを参照して、以下の内容について学習してください:

• ユーザーアクセストークン
• 組織のアクセス制御
• GPGによるコミット署名
• マルウェアのスキャン

Update on GitHub