app.py

import gradio as gr
from huggingface_hub import InferenceClient
import os
from dotenv import load_dotenv

# Загрузка файла .env (если ты тестируешь локально)
load_dotenv()

# Получение токена из переменной окружения
HF_TOKEN = os.getenv("HF_TOKEN")

# Настройка клиента Hugging Face с токеном
client = InferenceClient(model="IlyaGusev/saiga_llama3_8b", token=HF_TOKEN)

def summarize(text):
    """
    Функция для вызова модели Hugging Face через API.
    """
    try:
        response = client.text_generation(text, max_new_tokens=100, do_sample=False)
        return response
    except Exception as e:
        return f"Произошла ошибка: {e}"

# Интерфейс Gradio
demo = gr.Interface(
    fn=summarize,
    inputs=gr.Textbox(lines=5, label="Введите текст для суммаризации"),
    outputs=gr.Textbox(label="Результат суммаризации"),
    title="Суммаризация текста"
)

if __name__ == "__main__":
    demo.launch()