Update app.py

app.py

@@ -5,7 +5,6 @@ from sumy.summarizers.lex_rank import LexRankSummarizer
 from sumy.summarizers.lsa import LsaSummarizer
 import nltk
 import re
-import requests
 
 # Скачиваем данные для nltk
 try:
@@ -16,64 +15,6 @@ except LookupError:
 
 history = []
 
-# ===== Hugging Face нейросеть (бесплатно, без VPN) =====
-def hf_summarize(text, num_sentences):
-    """Суммаризация через Hugging Face (пересказ своими словами)"""
-    
-    # Ограничиваем текст для модели
-    if len(text) > 1024:
-        text = text[:1024]
-    
-    # API запрос к бесплатной модели
-    API_URL = "https://api-inference.huggingface.co/models/facebook/bart-large-cnn"
-    headers = {"Authorization": "Bearer hf_mock"}  # публичный эндпоинт без ключа
-    
-    # Для русских текстов пробуем другую модель
-    prompt = f"Summarize this text in {num_sentences} sentences, preserving key information:\n{text}"
-    
-    try:
-        response = requests.post(
-            API_URL,
-            headers=headers,
-            json={"inputs": prompt, "parameters": {"max_length": 500, "min_length": 50}},
-            timeout=30
-        )
-        
-        if response.status_code == 200:
-            result = response.json()
-            if isinstance(result, list) and len(result) > 0:
-                return result[0].get('summary_text', result[0].get('generated_text', 'Ошибка'))
-        return None
-    except Exception as e:
-        print(f"HuggingFace ошибка: {e}")
-        return None
-
-# ===== Русскоязычная модель (лучше работает с русским) =====
-def russian_summarize(text, num_sentences):
-    """Русскоязычная модель суммаризации"""
-    if len(text) > 1024:
-        text = text[:1024]
-    
-    API_URL = "https://api-inference.huggingface.co/models/IlyaGusev/mbart_ru_sum_gazeta"
-    headers = {"Authorization": "Bearer hf_mock"}
-    
-    try:
-        response = requests.post(
-            API_URL,
-            headers=headers,
-            json={"inputs": text, "parameters": {"max_length": 500, "min_length": 50}},
-            timeout=30
-        )
-        
-        if response.status_code == 200:
-            result = response.json()
-            if isinstance(result, list) and len(result) > 0:
-                return result[0].get('summary_text', str(result[0]))
-        return None
-    except Exception as e:
-        print(f"Русская модель ошибка: {e}")
-        return None
-
 def split_sentences(text):
     sentences = re.split(r'[.!?]+', text)
     sentences = [s.strip() for s in sentences if len(s.strip()) > 10]
@@ -88,14 +29,59 @@ def summarize_text(text, num_sentences):
     return result
 
 def clean_sentence(sent):
-    skip_start = r'^(кроме того|более того|при этом|также|итак|во-первых|во-вторых|однако|следовательно|наконец|в общем)\s*,?\s*'
+    # Убираем вводные слова в начале
+    skip_start = r'^(кроме того|более того|при этом|также|итак|во-первых|во-вторых|однако|следовательно|наконец|в общем|кстати|например)\s*,?\s*'
     sent = re.sub(skip_start, '', sent, flags=re.IGNORECASE)
+    
+    # Убираем повторы слов
     sent = re.sub(r'\b(\w+)\s+\1\b', r'\1', sent, flags=re.IGNORECASE)
+    
+    # Убираем лишние прилагательные и наречия (очень, крайне, весьма, достаточно)
+    sent = re.sub(r'\b(очень|крайне|весьма|достаточно|слишком)\s+', '', sent, flags=re.IGNORECASE)
+    
+    # Сокращаем конструкции "которые", "что", "где" (упрощаем)
+    sent = re.sub(r', (который|которая|которое|которые|что|где|когда) [^,]*[,.]', ', ', sent)
+    
     sent = sent.strip()
+    # Делаем первую букву заглавной
     if sent and not sent[0].isupper():
         sent = sent[0].upper() + sent[1:]
     return sent
 
+def remove_duplicate_info(sentences):
+    """Удаляет предложения, которые несут одинаковую информацию"""
+    unique = []
+    for s in sentences:
+        # Проверяем, не дублирует ли предложение уже добавленные
+        is_duplicate = False
+        for existing in unique:
+            # Если предложения очень похожи (более 70%), считаем дубликатом
+            common_words = set(s.split()) & set(existing.split())
+            if len(common_words) > min(len(s.split()), len(existing.split())) * 0.7:
+                is_duplicate = True
+                break
+        if not is_duplicate and len(s) > 20:
+            unique.append(s)
+    return unique
+
+def shorten_long_sentence(sent):
+    """Сокращает длинное предложение, оставляя только главную мысль"""
+    words = sent.split()
+    if len(words) <= 15:
+        return sent
+    
+    # Ищем ключевые слова (показывают главную мысль)
+    keywords = ['важно', 'главное', 'ключевой', 'основной', 'результат', 'итог', 'цель', 'задача']
+    keyword_indices = [i for i, w in enumerate(words) if w.lower() in keywords]
+    
+    if keyword_indices:
+        # Оставляем часть от ключевого слова
+        start = max(0, min(keyword_indices) - 3)
+        return ' '.join(words[start:start + 12]) + '...'
+    
+    # Если ключевых слов нет, берем первые 12 слов
+    return ' '.join(words[:12]) + '...'
+
 def summarize(text, num_sentences, method, file):
     # Загрузка файла
     if file is not None:
@@ -121,35 +107,39 @@ def summarize(text, num_sentences, method, file):
     if len(text) < 50:
         return warning + "❌ Текст слишком короткий. Введите минимум 50 символов.", format_history()
     
-    # ===== ВЫБОР МЕТОДА =====
-    if method == "Нейросеть (HF)":
-        result = russian_summarize(text, num_sentences)
-        if result is None:
-            result = hf_summarize(text, num_sentences)
-        if result is None:
-            result = "⚠️ Нейросеть временно недоступна. Попробуйте позже или выберите LexRank/LSA."
-    else:
-        # LexRank или LSA
-        try:
-            parser = PlaintextParser.from_string(text, Tokenizer("russian"))
-            if method == "LexRank":
-                summarizer = LexRankSummarizer()
-            else:
-                summarizer = LsaSummarizer()
-            summary_sentences = summarizer(parser.document, num_sentences)
-            result = " ".join(str(s) for s in summary_sentences)
-        except Exception as e:
-            print(f"Ошибка в sumy: {e}")
-            result = summarize_text(text, num_sentences)
-        
-        if not result or len(result.strip()) < 10:
-            result = summarize_text(text, num_sentences)
-        
-        # Постобработка для очистки
-        sentences_out = re.split(r'(?<=[.!?])\s+', result)
-        cleaned = [clean_sentence(s) for s in sentences_out if len(clean_sentence(s)) > 15]
-        if cleaned:
-            result = ' '.join(cleaned)
+    # Суммаризация
+    try:
+        parser = PlaintextParser.from_string(text, Tokenizer("russian"))
+        if method == "LexRank":
+            summarizer = LexRankSummarizer()
+        else:
+            summarizer = LsaSummarizer()
+        summary_sentences = summarizer(parser.document, num_sentences)
+        result = " ".join(str(s) for s in summary_sentences)
+    except Exception as e:
+        print(f"Ошибка: {e}")
+        result = summarize_text(text, num_sentences)
+    
+    if not result or len(result.strip()) < 10:
+        result = summarize_text(text, num_sentences)
+    
+    # Постобработка: чистим каждое предложение
+    sentences_out = re.split(r'(?<=[.!?])\s+', result)
+    
+    # Удаляем дублирующую информацию
+    sentences_out = remove_duplicate_info(sentences_out)
+    
+    # Чистим и сокращаем длинные предложения
+    cleaned = []
+    for s in sentences_out:
+        cleaned_s = clean_sentence(s)
+        if len(cleaned_s.split()) > 20:
+            cleaned_s = shorten_long_sentence(cleaned_s)
+        if len(cleaned_s) > 15:
+            cleaned.append(cleaned_s)
+    
+    if cleaned:
+        result = ' '.join(cleaned)
     
     # Сохранение в историю
     history.append({"text": text[:150] + "...", "summary": result[:500]})
@@ -175,7 +165,7 @@ with gr.Blocks(title="Система суммаризации текста") as
             text_input = gr.Textbox(label="📝 Исходный текст", lines=12, placeholder="Вставьте текст сюда...")
             file_input = gr.File(label="📂 Или загрузите .txt файл", file_types=[".txt"])
             slider = gr.Slider(1, 10, value=3, step=1, label="📊 Количество предложений")
-            method = gr.Radio(["LexRank", "LSA", "Нейросеть (HF)"], label="🔧 Метод суммаризации", value="LexRank")
+            method = gr.Radio(["LexRank", "LSA"], label="🔧 Метод суммаризации", value="LexRank")
             btn = gr.Button("🔍 Сумма��изировать", variant="primary")
         with gr.Column(scale=1):
             text_output = gr.Textbox(label="📋 Результат", lines=6)