Merge remote-tracking branch 'origin/dev'

Author: mithmith

.gitignore

@@ -12,12 +12,14 @@ yt-dlp
 *.pyo
 __pycache__/
 .pytest_cache/
+.mypy_cache/
 
 # Файл со списком каналов для мониторинга
-channels_list.json
+*_channels*.json
 
 # Игнорирование файлов с секретами и ключи
 .env
+*.env
 *oauth2*.json
 *secret*.json
 *.pickle
@@ -42,6 +44,7 @@ dist/
 # Игнорирование зависимостей
 node_modules/
 venv/
+.venv/
 *.wheel
 
 # Игнорирование IDE и редакторов

TODO.md

@@ -12,7 +12,7 @@
   - [ ] Выборка статистической информацией по каналам и видео, включая просмотры, лайки, количество подписчиков, количество видео, новые видео и другие метрики.
 
 - [ ] **Скачивание контента**:
-  - [ ] Скачивание shorts видео
+  - [x] Скачивание shorts видео
   - [ ] Скачивание видео, аудио, субтитров и миниатюр.
 
 - [ ] **Редактирование видео**:
@@ -37,6 +37,9 @@
 - [ ] **Интеграция с сервером Peertube**:
   - [ ] Зеркальное размещение видео на децентрализованном хостинге.
 
+- [ ] **Тесты**:
+  - [ ] Добавить в github CI прогон тестов
+
 ## Frontend + back API для нескольких подборок каналов:
 - [ ] Сделать фронт-дашбоард для визуализации данных
 - [ ] Сделать API для вывода на фронт-дашбоард для визуализации данных с нескольких подборок каналов
@@ -48,6 +51,11 @@
 - [ ] Мониторинг логов: вывод последних 10 ошибок
 - [ ] Возможность просмотра или скачивания логов
 - [ ] Статистика публикации сообщений в телеграмм
+- [ ] Редактирование конфигов
+- [ ] Редактирование списка каналов
+- [ ] Редактирование шаблонов сообщений
 
 ## Docker-контейнер:
-- [x] Собрать контейнер с postgres, peertube и всем необходимым для работы
+- [x] Собрать контейнер со всем необходимым для работы
+- [x] Скрипты для запуска контейнеров с разными `channels_list` для публикации в разных tg каналах
+- [ ] Добавить сборку и публикацию контенера в github при формировании релизов

app/__main__.py

@@ -1,9 +1,9 @@
-import json
 import logging
 from multiprocessing import Queue
 
-from app.config import logger, settings
+from app.config import settings
 from app.service.telegram import TelegramBotService
+from app.service.utils import load_channels_data
 from app.service.yt_monitor import YTMonitorService
 
 # Настройка уровня логирования SQLAlchemy
@@ -16,29 +16,6 @@
     logging.getLogger("sqlalchemy.engine").removeHandler(handler)
 
 
-def load_channels_list(file_path: str = "channels_list.json") -> list[str]:
-    """
-    Загружает список каналов из JSON файла.
-
-    :param file_path: Путь к JSON файлу.
-    :return: Список каналов или пустой список в случае ошибки.
-    """
-    try:
-        logger.debug(f"Channels list loading from {file_path}")
-        with open(file_path, encoding="utf8") as f:
-            data = json.load(f)
-            channels = data.get("channels", [])
-            logger.debug(f"Loaded {len(channels)} channels")
-            return channels
-    except FileNotFoundError:
-        logger.error(f"Файл {file_path} не найден")
-    except json.JSONDecodeError as e:
-        logger.error(f"Ошибка декодирования JSON: {e}")
-    except Exception as e:
-        logger.error(f"Неизвестная ошибка при загрузке списка каналов: {e}")
-    return []
-
-
 if __name__ == "__main__":
     # Общая очередь для передачи данных между сервисами
     news_queue = Queue()
@@ -47,11 +24,11 @@ def load_channels_list(file_path: str = "channels_list.json") -> list[str]:
     else:
         shorts_queue = None
     # Загружаем список каналов
-    channels_list = load_channels_list()
+    channels_list, channels_name = load_channels_data(settings.channels_list_path)
 
     # Инициализируем мониторинг YouTube
     monitor = YTMonitorService(
-        channels_list=channels_list, new_videos_queue=news_queue, shorts_videos_queue=shorts_queue
+        channels_list, channels_name, new_videos_queue=news_queue, shorts_videos_queue=shorts_queue
     )
 
     # Запускаем процессы

app/config.py

@@ -1,6 +1,7 @@
 import os
 import sys
 from functools import lru_cache
+from pathlib import Path
 
 from loguru import logger as log
 from pydantic_settings import BaseSettings, SettingsConfigDict
@@ -10,17 +11,18 @@ class Settings(BaseSettings):
     app_host: str = "localhost"
     app_port: int = 9191
 
+    channels_list_path: str = "channels_list.json"
     storage_path: str = "/mnt/volume"
     video_download_path: str = "videos"
     shorts_download_path: str = "shorts"
-    thumbnail_download_path: str = "videos/thumbnail"
+    thumbnail_download_path: str = "thumbnails"
 
     db_host: str = "localhost"
     db_port: int = 5432
-    db_name: str = "peer_tube_db"
+    db_name: str = "youtube_db"
     db_schema: str = "youtube"
-    db_username: str = "peer_tube_user"
-    db_password: str = "peer_tube_password"
+    db_username: str = "you_tube_db_user"
+    db_password: str = "you_tube_db_password"
 
     monitor_new: bool = True
     monitor_history: bool = False
@@ -35,7 +37,13 @@ class Settings(BaseSettings):
     tg_bot_token: str = "TELEGRAM_BOT_TOKEN"
     tg_group_id: str = "group_id"
     tg_admin_id: int = 0
+    tg_new_video_template: Path = "./templates/new_video.md"
+    tg_shorts_template: Path = "./templates/shorts.md"
+    tg_new_video_template_default: Path = "./templates/new_video.md"
+    tg_shorts_template_default: Path = "./templates/shorts.md"
 
+    use_proxy: bool = False
+    use_ssh_tunnel: bool = False
     ssh_host: str = "localhost"
     ssh_port: int = 22
     ssh_user: str = "root"
@@ -57,6 +65,13 @@ def database_url(self) -> str:
             f"postgresql+psycopg2://{self.db_username}:{self.db_password}@{self.db_host}:{self.db_port}/{self.db_name}"
         )
 
+    def __init__(self, **kwargs):
+        super().__init__(**kwargs)
+        self.tg_new_video_template = Path(self.tg_new_video_template).resolve()
+        self.tg_shorts_template = Path(self.tg_shorts_template).resolve()
+        self.tg_new_video_template_default = Path(self.tg_new_video_template_default).resolve()
+        self.tg_shorts_template_default = Path(self.tg_shorts_template_default).resolve()
+
 
 @lru_cache()
 def get_logger(log_lvl: str, log_dir: str, log_to_file: bool):
@@ -66,7 +81,7 @@ def get_logger(log_lvl: str, log_dir: str, log_to_file: bool):
         "| <cyan>{file.name}:{line}</cyan> - <level>{message}</level>"
     )
     log_format_file = "{time:YYYY-MM-DD HH:mm:ss.SS} | {level:<8} | {file.name}:{line} - {message}"
-    
+
     log.remove()
     log.add(sys.stderr, level=log_lvl, format=log_format_console, colorize=True, enqueue=True)
     if log_to_file:

app/db/data_table.py

@@ -46,6 +46,7 @@ class Channel(Base, table=True):
     banner_path: Optional[str] = Field(default=None)
     avatar_path: Optional[str] = Field(default=None)
     last_update: datetime = Field(default_factory=lambda: datetime.now().replace(microsecond=0))
+    list_name: Optional[str] = Field(default=None)
 
     thumbnails: List["Thumbnail"] = Relationship(back_populates="channel")
     videos: List["Video"] = Relationship(back_populates="channel")

app/db/repository.py

@@ -458,7 +458,9 @@ def get_new_and_existing_video_ids(self, video_ids: list[str], channel_id: str)
         new_v_ids = [v_id for v_id in video_ids if v_id not in existing_v_ids]
         return new_v_ids, existing_v_ids
 
-    def upsert_channel(self, channel_data: Union[ChannelInfoSchema, ChannelAPIInfoSchema]) -> Channel:
+    def upsert_channel(
+        self, channel_data: Union[ChannelInfoSchema, ChannelAPIInfoSchema], channels_list_name: str
+    ) -> Channel:
         """
         Updates the details of an existing channel or creates a new channel if it does not exist.
 
@@ -490,11 +492,13 @@ def upsert_channel(self, channel_data: Union[ChannelInfoSchema, ChannelAPIInfoSc
                     if hasattr(channel, key):
                         setattr(channel, key, value)
                 channel.last_update = datetime.now().replace(microsecond=0)
+                channel.list_name = channels_list_name
             else:
                 # Create a new channel
                 new_channel_data = {key: value for key, value in channel_dict.items() if hasattr(Channel, key)}
                 new_channel_data["last_update"] = datetime.now().replace(microsecond=0)
                 channel = Channel(**new_channel_data)
+                channel.list_name = channels_list_name
                 self._session.add(channel)
 
             # Commit the transaction