# Точки вывода

Inference Endpoints — это безопасное решение для продакшена, позволяющее легко развертывать модели на выделенной инфраструктуре с автоматическим масштабированием, управляемой Hugging Face. Inference Endpoint создается на основе модели из [Hub](https://huggingface.co/models). Эта страница является справочным руководством по интеграции `huggingface_hub` с Inference Endpoints. Для получения дополнительной информации о продукте Inference Endpoints обратитесь к его [официальной документации](https://huggingface.co/docs/inference-endpoints/index).

> [!TIP]
> Ознакомьтесь с [соответствующим руководством](../guides/inference_endpoints), чтобы узнать, как использовать `huggingface_hub` для программного управления вашими Inference Endpoints.

Inference Endpoints можно полностью управлять через API. Эндпоинты задокументированы с помощью [Swagger](https://api.endpoints.huggingface.cloud/). Класс [InferenceEndpoint](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint) представляет собой простую обёртку, построенную на основе этого API.

## Методы

Подмножество функций Inference Endpoint реализовано в [HfApi](/docs/huggingface_hub/v2.4.0/ru/package_reference/hf_api#huggingface_hub.HfApi):

- [get_inference_endpoint()](/docs/huggingface_hub/v2.4.0/ru/package_reference/hf_api#huggingface_hub.HfApi.get_inference_endpoint) и [list_inference_endpoints()](/docs/huggingface_hub/v2.4.0/ru/package_reference/hf_api#huggingface_hub.HfApi.list_inference_endpoints) для получения информации о ваших Inference Endpoints
- [list_inference_endpoints_hardware()](/docs/huggingface_hub/v2.4.0/ru/package_reference/hf_api#huggingface_hub.HfApi.list_inference_endpoints_hardware) — для получения списка оборудования, на котором можно развернуть Inference Endpoint
- [create_inference_endpoint()](/docs/huggingface_hub/v2.4.0/ru/package_reference/hf_api#huggingface_hub.HfApi.create_inference_endpoint), [update_inference_endpoint()](/docs/huggingface_hub/v2.4.0/ru/package_reference/hf_api#huggingface_hub.HfApi.update_inference_endpoint) и [delete_inference_endpoint()](/docs/huggingface_hub/v2.4.0/ru/package_reference/hf_api#huggingface_hub.HfApi.delete_inference_endpoint) для развертывания и управления Inference Endpoints
- [list_inference_catalog()](/docs/huggingface_hub/v2.4.0/ru/package_reference/hf_api#huggingface_hub.HfApi.list_inference_catalog) и [create_inference_endpoint_from_catalog()](/docs/huggingface_hub/v2.4.0/ru/package_reference/hf_api#huggingface_hub.HfApi.create_inference_endpoint_from_catalog) для просмотра и развертывания отобранного каталога моделей
- [pause_inference_endpoint()](/docs/huggingface_hub/v2.4.0/ru/package_reference/hf_api#huggingface_hub.HfApi.pause_inference_endpoint) и [resume_inference_endpoint()](/docs/huggingface_hub/v2.4.0/ru/package_reference/hf_api#huggingface_hub.HfApi.resume_inference_endpoint) для приостановки и возобновления работы Inference Endpoint
- [scale_to_zero_inference_endpoint()](/docs/huggingface_hub/v2.4.0/ru/package_reference/hf_api#huggingface_hub.HfApi.scale_to_zero_inference_endpoint) to manually scale an Endpoint to 0 replicas

## InferenceEndpoint[[huggingface_hub.InferenceEndpoint]]

Основным dataclass является [InferenceEndpoint](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint). Он содержит информацию о развернутом `InferenceEndpoint`, включая его конфигурацию и текущее состояние. После развертывания вы можете выполнять инференс на Endpoint с помощью свойств [InferenceEndpoint.client](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint.client) и [InferenceEndpoint.async_client](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint.async_client), которые возвращают объекты [InferenceClient](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_client#huggingface_hub.InferenceClient) и [AsyncInferenceClient](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_client#huggingface_hub.AsyncInferenceClient) соответственно.

#### huggingface_hub.InferenceEndpoint[[huggingface_hub.InferenceEndpoint]]

```python
huggingface_hub.InferenceEndpoint(namespace: str, raw: dict, _token: str | bool | None, _api: HfApi)
```

[Источник](https://github.com/huggingface/huggingface_hub/blob/v2.4.0/src/huggingface_hub/_inference_endpoints.py#L116)

**Параметры:**

name (`str`) : Уникальное имя Inference Endpoint.

namespace (`str`) : пространство имён, в котором находится Inference Endpoint.

repository (`str`) : Имя репозитория модели, развернутого на этом Inference Endpoint.

status ([InferenceEndpointStatus](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpointStatus)) : текущий статус Inference Endpoint.

url (`str`, *необязательный*) : URL Inference Endpoint, если он доступен. URL есть только у развернутого Inference Endpoint.

framework (`str`) : Фреймворк машинного обучения, используемый для модели.

revision (`str`) : Конкретная ревизия модели, развернутая на Inference Endpoint.

task (`str`) : задача, связанная с развернутой моделью.

created_at (`datetime.datetime`) : метка времени создания Inference Endpoint.

updated_at (`datetime.datetime`) : метка времени последнего обновления Inference Endpoint.

type ([InferenceEndpointType](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpointType)) : тип Inference Endpoint (public, authenticated, private).

raw (`dict`) : Исходные данные словаря, возвращённые из API.

token (`str` или `bool`, *необязательный*) : Токен аутентификации для Inference Endpoint, если он был указан при запросе к API. Если не указан, по умолчанию используется локально сохранённый токен. Передайте `token=False`, если не хотите отправлять свой токен на сервер.

Содержит информацию о развернутом Inference Endpoint.

Пример:
```python
>>> from huggingface_hub import get_inference_endpoint
>>> endpoint = get_inference_endpoint("my-text-to-image")
>>> endpoint
InferenceEndpoint(name='my-text-to-image', ...)

# Get status
>>> endpoint.status
'running'
>>> endpoint.url
'https://68a0f3b5c6ee5c9dcc0e0a01.endpoints.huggingface.cloud'

# Run inference
>>> endpoint.client.text_to_image(...)

# Pause endpoint to save $$$
>>> endpoint.pause()

# ...
# Resume and wait for deployment
>>> endpoint.resume()
>>> endpoint.wait()
>>> endpoint.client.text_to_image(...)
```

#### from_raw[[huggingface_hub.InferenceEndpoint.from_raw]]

```python
from_raw(raw: dict, namespace: str, token: str | bool | None = None, api: typing.Optional[ForwardRef('HfApi')] = None)
```

[Источник](https://github.com/huggingface/huggingface_hub/blob/v2.4.0/src/huggingface_hub/_inference_endpoints.py#L199)

Инициализация объекта из исходного словаря.

#### client[[huggingface_hub.InferenceEndpoint.client]]

```python
client()
```

[Источник](https://github.com/huggingface/huggingface_hub/blob/v2.4.0/src/huggingface_hub/_inference_endpoints.py#L220)

**Возвращает:** [InferenceClient](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_client#huggingface_hub.InferenceClient)

клиент для инференса, указывающий на развернутый конечный пункт.

**Исключения:** [InferenceEndpointError](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpointError)

- [InferenceEndpointError](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpointError) -- если Inference Endpoint ещё не развёрнут.

Возвращает клиент для выполнения предсказаний на этом Inference Endpoint.

#### async_client[[huggingface_hub.InferenceEndpoint.async_client]]

```python
async_client()
```

[Источник](https://github.com/huggingface/huggingface_hub/blob/v2.4.0/src/huggingface_hub/_inference_endpoints.py#L242)

**Возвращает:** [AsyncInferenceClient](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_client#huggingface_hub.AsyncInferenceClient)

асинхронный клиент для вывода, совместимый с asyncio, указывающий на развернутый конечный пункт.

**Исключения:** [InferenceEndpointError](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpointError)

- [InferenceEndpointError](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpointError) -- если Inference Endpoint ещё не развёрнут.

Возвращает клиент для выполнения предсказаний на этом Inference Endpoint.

#### удалить[[huggingface_hub.InferenceEndpoint.delete]]

```python
delete()
```

[Источник](https://github.com/huggingface/huggingface_hub/blob/v2.4.0/src/huggingface_hub/_inference_endpoints.py#L487)

Удалите Inference Endpoint.

Эта операция необратима. Если вы не хотите платить за Inference Endpoint, лучше приостановить его с помощью [InferenceEndpoint.pause()](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint.pause) или масштабировать до нуля с помощью [InferenceEndpoint.scale_to_zero()](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint.scale_to_zero).

Это псевдоним для [HfApi.delete_inference_endpoint()](/docs/huggingface_hub/v2.4.0/ru/package_reference/hf_api#huggingface_hub.HfApi.delete_inference_endpoint).

#### fetch[[huggingface_hub.InferenceEndpoint.fetch]]

```python
fetch()
```

[Источник](https://github.com/huggingface/huggingface_hub/blob/v2.4.0/src/huggingface_hub/_inference_endpoints.py#L317)

**Возвращает:** [InferenceEndpoint](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint)

тот же самый Inference Endpoint, изменённый на месте с последними данными.

Получить актуальную информацию об Inference Endpoint.

#### пауза[[huggingface_hub.InferenceEndpoint.pause]]

```python
pause()
```

[Источник](https://github.com/huggingface/huggingface_hub/blob/v2.4.0/src/huggingface_hub/_inference_endpoints.py#L430)

**Возвращает:** [InferenceEndpoint](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint)

тот же самый Inference Endpoint, изменённый на месте с последними данными.

Приостановьте Inference Endpoint.

Запущенный Inference Endpoint в режиме паузы не тарифицируется. Его можно возобновить в любой момент с помощью [InferenceEndpoint.resume()](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint.resume). Это отличается от масштабирования Inference Endpoint до нуля с помощью [InferenceEndpoint.scale_to_zero()](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint.scale_to_zero), при котором он автоматически перезапускается при поступлении запроса.

Это псевдоним для [HfApi.pause_inference_endpoint()](/docs/huggingface_hub/v2.4.0/ru/package_reference/hf_api#huggingface_hub.HfApi.pause_inference_endpoint). Текущий объект изменяется на месте с использованием последних данных с сервера.

#### продолжить[[huggingface_hub.InferenceEndpoint.resume]]

```python
resume(running_ok: bool = True)
```

[Источник](https://github.com/huggingface/huggingface_hub/blob/v2.4.0/src/huggingface_hub/_inference_endpoints.py#L448)

**Параметры:**

running_ok (`bool`, *необязательный*) : Если `True`, метод не будет вызывать ошибку, если Inference Endpoint уже запущен. По умолчанию `True`.

**Возвращает:** [InferenceEndpoint](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint)

тот же самый Inference Endpoint, изменённый на месте с последними данными.

Возобновите работу конечной точки вывода.

Это псевдоним для [HfApi.resume_inference_endpoint()](/docs/huggingface_hub/v2.4.0/ru/package_reference/hf_api#huggingface_hub.HfApi.resume_inference_endpoint). Текущий объект изменяется на месте с использованием последних данных с сервера.

#### scale_to_zero[[huggingface_hub.InferenceEndpoint.scale_to_zero]]

```python
scale_to_zero()
```

[Источник](https://github.com/huggingface/huggingface_hub/blob/v2.4.0/src/huggingface_hub/_inference_endpoints.py#L469)

**Возвращает:** [InferenceEndpoint](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint)

тот же самый Inference Endpoint, изменённый на месте с последними данными.

Масштабируйте конечную точку вывода до нуля.

Точка вывода (Inference Endpoint), масштабированная до нуля, не тарифицируется. Она возобновит работу при следующем запросе к ней, с задержкой холодного запуска. Это отличается от приостановки точки вывода с помощью [InferenceEndpoint.pause()](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint.pause), в этом случае для возобновления работы потребуется вручную вызвать [InferenceEndpoint.resume()](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint.resume).

This is an alias for [HfApi.scale_to_zero_inference_endpoint()](/docs/huggingface_hub/v2.4.0/ru/package_reference/hf_api#huggingface_hub.HfApi.scale_to_zero_inference_endpoint). The current object is mutated in place with the latest data from the server.

#### обновление[[huggingface_hub.InferenceEndpoint.update]]

```python
update(accelerator: str | None = None, instance_size: str | None = None, instance_type: str | None = None, min_replica: int | None = None, max_replica: int | None = None, scale_to_zero_timeout: int | None = None, repository: str | None = None, framework: str | None = None, revision: str | None = None, task: str | None = None, custom_image: dict | None = None, container_command: list[str] | None = None, container_args: list[str] | None = None, tensor_parallel_size: int | None = None, data_parallel_size: int | None = None, secrets: dict[str, str] | None = None)
```

[Источник](https://github.com/huggingface/huggingface_hub/blob/v2.4.0/src/huggingface_hub/_inference_endpoints.py#L328)

**Параметры:**

accelerator (`str`, *необязательный*) : аппаратный ускоритель, используемый для вывода (например, `"cpu"`).

instance_size (`str`, *необязательный*) : размер или тип экземпляра, который будет использоваться для размещения модели (например, `"x4"`).

instance_type (`str`, *необязательный*) : тип облачного экземпляра, на котором будет развернут Inference Endpoint (например, `"intel-icl"`).

min_replica (`int`, *необязательный*) : минимальное количество реплик (инстансов), которое следует держать запущенным для Inference Endpoint.

max_replica (`int`, *необязательный*) : Максимальное количество реплик (экземпляров), до которого можно масштабировать Inference Endpoint.

scale_to_zero_timeout (`int`, *optional*) : Длительность в минутах, по истечении которой неактивный endpoint масштабируется до нуля.

repository (`str`, *необязательный*) : Имя репозитория модели, связанного с Inference Endpoint (например, `"gpt2"`).

framework (`str`, *необязательный*) : Машинное обучение фреймворк, используемый для модели (например, `"custom"`).

revision (`str`, *необязательный*) : Конкретная ревизия модели для развертывания на Inference Endpoint (например, `"6c0e6080953db56375760c0471a8c5f2929baf11"`).

task (`str`, *необязательный*) : Задача, для которой развернуть модель (например, `"text-classification"`).

custom_image (`dict`, *необязательный*) : Контейнерный образ для запуска. Либо словарь с ключами по варианту образа (например, `{"vLLM": {"url": "vllm/vllm-openai:v0.23.0", "port": 8000}}`, также `sGLang`, `tgi`, `tei`, `llamacpp`, `hfServe`, ...), который передаётся как есть, либо плоский словарь, описывающий пользовательский контейнер (например, `{"url": ..., "port": ...}`), который отправляется как `{"custom": ...}`.

container_command (`list[str]`, *необязательный*) : Переопределяет команду entrypoint контейнера (соответствует `model.command` в API-запросе). Работает как с управляемыми образами движков (например, vLLM, SGLang), так и с пользовательскими образами.

container_args (`list[str]`, *необязательный*) : Аргументы, добавляемые к entrypoint контейнера (соответствует `model.args` в API-запросе). Работает как с управляемыми образами движков (например, vLLM, SGLang), так и с пользовательскими образами.

tensor_parallel_size (`int`, *optional*) : Количество ускорителей, на которые следует распределить одну копию модели (образы vLLM и SGLang). Если `custom_image` не указан, то образ, в данный момент настроенный на эндпоинте, будет получен и обновлён на месте, поскольку API требует передавать `model.image` целиком.

data_parallel_size (`int`, *необязательный*) : Количество копий модели для запуска, по одной на каждый ускоритель (образы vLLM).

secrets (`dict[str, str]`, *необязательный*) : Секретные значения для внедрения в окружение контейнера.

**Возвращает:** [InferenceEndpoint](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint)

тот же самый Inference Endpoint, изменённый на месте с последними данными.

Обновите конечную точку вывода.

Этот метод позволяет обновить конфигурацию вычислений, развёрнутую модель или оба параметра. Все аргументы необязательны, но необходимо указать как минимум один.

Это псевдоним для [HfApi.update_inference_endpoint()](/docs/huggingface_hub/v2.4.0/ru/package_reference/hf_api#huggingface_hub.HfApi.update_inference_endpoint). Текущий объект изменяется на месте с использованием последних данных с сервера.

#### wait[[huggingface_hub.InferenceEndpoint.wait]]

```python
wait(timeout: int | None = None, refresh_every: int = 5)
```

[Источник](https://github.com/huggingface/huggingface_hub/blob/v2.4.0/src/huggingface_hub/_inference_endpoints.py#L264)

**Параметры:**

timeout (`int`, *optional*) : Максимальное время ожидания развёртывания Inference Endpoint, в секундах. Если `None`, ожидание будет бесконечным.

refresh_every (`int`, *optional*) : Время ожидания между каждым запросом статуса Inference Endpoint, в секундах. По умолчанию 5 с.

**Возвращает:** [InferenceEndpoint](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint)

тот же самый Inference Endpoint, изменённый на месте с последними данными.

**Исключения:** [InferenceEndpointError](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpointError) или `InferenceEndpointTimeoutError`

- [InferenceEndpointError](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpointError) -- если конечная точка вывода (Inference Endpoint) перешла в состояние сбоя.
- `InferenceEndpointTimeoutError` -- Если Inference Endpoint не был развернут в течение `timeout` секунд.

Дождитесь развертывания Inference Endpoint.

Информация с сервера будет запрашиваться каждые 1 с. Если Inference Endpoint не будет развернут в течение `timeout` секунд, будет выброшено исключение `InferenceEndpointTimeoutError`. Объект [InferenceEndpoint](/docs/huggingface_hub/v2.4.0/ru/package_reference/inference_endpoints#huggingface_hub.InferenceEndpoint) будет изменен на месте с использованием последних данных.

## InferenceEndpointHardware[[huggingface_hub.InferenceEndpointHardware]]

#### huggingface_hub.InferenceEndpointHardware[[huggingface_hub.InferenceEndpointHardware]]

```python
huggingface_hub.InferenceEndpointHardware(id: str, vendor: str, region: str, accelerator: str, instance_type: str, instance_size: str, architecture: str, num_accelerators: int, num_cpus: int | None, memory_gb: float, gpu_memory_gb: int | None, price_per_hour: float, status: str, max_accelerators: int, used_accelerators: int)
```

[Источник](https://github.com/huggingface/huggingface_hub/blob/v2.4.0/src/huggingface_hub/_inference_endpoints.py#L519)

**Параметры:**

id (`str`) : Уникальный идентификатор оборудования, например, `"aws-us-east-1-nvidia-l4-x1"`.

vendor (`str`) : Облачный провайдер, на котором размещено оборудование, например, `"aws"`.

region (`str`) : Облако, в котором доступно оборудование, например, `"us-east-1"`.

accelerator (`str`) : Тип аппаратного ускорителя, например `"cpu"`, `"gpu"` или `"neuron"`.

instance_type (`str`) : тип облачного инстанса, например `"nvidia-l4"`.

instance_size (`str`) : Множитель размера экземпляра, например, `"x1"`.

architecture (`str`) : Человекочитаемое описание оборудования, например, `"Nvidia L4"`.

num_accelerators (`int`) : Количество ускорителей на реплику.

num_cpus (`int`, *необязательный*) : Количество виртуальных ЦПУ на реплику.

memory_gb (`float`) : объём ОЗУ на реплику, в ГБ.

gpu_memory_gb (`int`, *optional*) : Общий объём памяти GPU на реплику, в ГБ (т. е. сумма по всем `num_accelerators`). `None` для не-GPU оборудования.

price_per_hour (`float`) : Стоимость на один репликат в час, в долларах США.

status (`str`) : Доступность оборудования: `"available"`, `"low_availability"`, `"not_available"`, `"reserved"` или `"deprecated"`.

max_accelerators (`int`) : Максимальное количество ускорителей данного типа, которые разрешено запускать в этом пространстве имён.

used_accelerators (`int`) : Количество ускорителей этого типа, используемых в настоящее время в пространстве имён.

Содержит информацию о конфигурации оборудования, доступной для Inference Endpoints.

Поля `vendor`, `region`, `accelerator`, `instance_type` и `instance_size` — это именно те значения, которые нужно передать в [create_inference_endpoint()](/docs/huggingface_hub/v2.4.0/ru/package_reference/hf_api#huggingface_hub.HfApi.create_inference_endpoint) (или `hf endpoints deploy`) для развертывания на этом оборудовании.

Пример:
```python
>>> from huggingface_hub import list_inference_endpoints_hardware
>>> hardware = list_inference_endpoints_hardware()
>>> hardware[0]
InferenceEndpointHardware(id='aws-us-east-1-nvidia-l4-x1', vendor='aws', region='us-east-1', ...)
```

#### from_raw[[huggingface_hub.InferenceEndpointHardware.from_raw]]

```python
from_raw(raw: dict, vendor: str, region: str)
```

[Источник](https://github.com/huggingface/huggingface_hub/blob/v2.4.0/src/huggingface_hub/_inference_endpoints.py#L584)

Инициализирует объект из исходного словаря вычислений, вложенного в ответ API под ключами вендора и региона.

## InferenceCatalogModel[[huggingface_hub.InferenceCatalogModel]]

#### huggingface_hub.InferenceCatalogModel[[huggingface_hub.InferenceCatalogModel]]

```python
huggingface_hub.InferenceCatalogModel(repo_id: str, name: str, author: str, license: str, task: str, created_at: datetime, recipes: list)
```

[Источник](https://github.com/huggingface/huggingface_hub/blob/v2.4.0/src/huggingface_hub/_inference_endpoints.py#L647)

**Параметры:**

repo_id (`str`) : Идентификатор репозитория модели на Hub, например, `"meta-llama/Llama-3.1-8B-Instruct"`.

name (`str`) : Имя модели, то есть часть `repo_id` после имени автора, например `"Llama-3.1-8B-Instruct"`.

author (`str`) : автор репозитория модели, например, `"meta-llama"`.

license (`str`) : Лицензия модели, например, `"Apache 2.0"`.

task (`str`) : Задача, для которой развёрнута модель, например `"text-generation"`.

created_at (`datetime`) : дата добавления модели в каталог.

recipes (`list[InferenceCatalogRecipe]`) : Проверенные способы развёртывания этой модели.

Содержит информацию о модели, доступной в Inference Catalog.

Пример:
```python
>>> from huggingface_hub import list_inference_catalog
>>> catalog = list_inference_catalog(engine="vllm")
>>> catalog[0]
InferenceCatalogModel(repo_id='Qwen/Qwen2.5-Coder-7B-Instruct', name='Qwen2.5-Coder-7B-Instruct', ...)
```

#### from_raw[[huggingface_hub.InferenceCatalogModel.from_raw]]

```python
from_raw(raw: dict)
```

[Источник](https://github.com/huggingface/huggingface_hub/blob/v2.4.0/src/huggingface_hub/_inference_endpoints.py#L684)

Инициализация объекта из словаря исходного элемента каталога.

## InferenceCatalogRecipe[[huggingface_hub.InferenceCatalogRecipe]]

#### huggingface_hub.InferenceCatalogRecipe[[huggingface_hub.InferenceCatalogRecipe]]

```python
huggingface_hub.InferenceCatalogRecipe(id: str, accelerator: str, engine: str, gguf_file: str | None, revision: str | None)
```

[Источник](https://github.com/huggingface/huggingface_hub/blob/v2.4.0/src/huggingface_hub/_inference_endpoints.py#L608)

**Параметры:**

id (`str`) : Публичный идентификатор рецепта, который нужно передать в [create_inference_endpoint_from_catalog()](/docs/huggingface_hub/v2.4.0/ru/package_reference/hf_api#huggingface_hub.HfApi.create_inference_endpoint_from_catalog) в качестве `recipe_id`.

accelerator (`str`) : Тип аппаратного ускорителя, на котором выполняется рецепт, например `"cpu"`, `"gpu"` или `"neuron"`.

engine (`str`) : Движок инференса, на котором выполняется рецепт, например `"vllm"`, `"llamacpp"`, `"tei"` или `"sglang"`.

gguf_file (`str`, *необязательный*) : GGUF-файл, развёрнутый рецептом. Устанавливается только для рецептов `"llamacpp"`.

revision (`str`, *необязательный*) : ревизия модели, к которой закреплён рецепт, если таковая имеется.

Содержит информацию о предварительно протестированном способе развертывания модели из Inference Catalog.

Рецепт — это комбинация аппаратного обеспечения и движка, которую команда Inference Endpoints протестировала для конкретной модели. Как правило, у модели есть один рецепт, но их может быть несколько (например, один для GPU и один для Neuron, или по одному для каждого квантования GGUF).

#### from_raw[[huggingface_hub.InferenceCatalogRecipe.from_raw]]

```python
from_raw(raw: dict)
```

[Источник](https://github.com/huggingface/huggingface_hub/blob/v2.4.0/src/huggingface_hub/_inference_endpoints.py#L634)

Инициализация объекта из исходного словаря рецепта, вложенного под модель в ответе API.

## InferenceEndpointStatus[[huggingface_hub.InferenceEndpointStatus]]

#### huggingface_hub.InferenceEndpointStatus[[huggingface_hub.InferenceEndpointStatus]]

```python
huggingface_hub.InferenceEndpointStatus(value, names = None, module = None, qualname = None, type = None, start = 1)
```

[Источник](https://github.com/huggingface/huggingface_hub/blob/v2.4.0/src/huggingface_hub/_inference_endpoints.py#L93)

Перечисление.

## InferenceEndpointType[[huggingface_hub.InferenceEndpointType]]

#### huggingface_hub.InferenceEndpointType[[huggingface_hub.InferenceEndpointType]]

```python
huggingface_hub.InferenceEndpointType(value, names = None, module = None, qualname = None, type = None, start = 1)
```

[Источник](https://github.com/huggingface/huggingface_hub/blob/v2.4.0/src/huggingface_hub/_inference_endpoints.py#L104)

Перечисление.

## InferenceEndpointError[[huggingface_hub.InferenceEndpointError]]

#### huggingface_hub.InferenceEndpointError[[huggingface_hub.InferenceEndpointError]]

[Источник](https://github.com/huggingface/huggingface_hub/blob/v2.4.0/src/huggingface_hub/errors.py#L162)

Общее исключение при работе с Inference Endpoints.