Merge remote-tracking branch 'origin/dev'

Author: mithmith

.env.example

@@ -1,5 +1,11 @@
+STORAGE_PATH = "~/youtube_storage"
+VIDEO_DOWNLOAD_PATH = "videos"
+SHORTS_DOWNLOAD_PATH = "shorts"
+THUMBNAIL_DOWNLOAD_PATH = "thumbnails"
+
 YOUTUBE_API_KEY = "youtube_api_key"
-YOUTUBE_SECRET_JSON = "client_secret_google.json_file_name"
+YOUTUBE_SECRET_JSON = "client_secret_apps.googleusercontent.com.json"
+YOUTUBE_SERVICE_SECRET_JSON = "service-account-secret.json"
 
 TG_BOT_TOKEN = "tg_bot_token"
 TG_GROUP_ID = "tg_group_id"

TODO.md

@@ -12,6 +12,7 @@
   - [ ] Выборка статистической информацией по каналам и видео, включая просмотры, лайки, количество подписчиков, количество видео, новые видео и другие метрики.
 
 - [ ] **Скачивание контента**:
+  - [ ] Скачивание shorts видео
   - [ ] Скачивание видео, аудио, субтитров и миниатюр.
 
 - [ ] **Редактирование видео**:
@@ -21,22 +22,32 @@
 - [ ] **Локализация контента**:
   - [ ] Перевод описаний, названий, аудио дорожек и субтитров.
   - [ ] Перевод аудио дорожки с помощью внешнего сервиса.
-  - [ ] Определение языка аудио дорожки (присылает youtube API).
+  - [x] Определение языка аудио дорожки (присылает youtube API).
 
 - [ ] **Создание субтитров и краткого пересказа**:
   - [ ] Автоматическое создание субтитров в случае их отсутствия с помощью внешнего сервиса.
   - [ ] Генерация краткого пересказа содержимого видео по субтитрам через внешний сервис.
 
 - [ ] **Интеграция с телеграмм**:
   - [x] Формирование сообщения с новым видео на канале.
-  - [ ] Создание сообщений с самыми популярными видео.
-  - [ ] Отправка сообщений с топ популярных каналов за неделю и т.п.
+  - [x] Публикация сообщений с shorts видео с каналов
+  - [ ] Создание сообщений с ТОП самыми популярными видео.
+  - [ ] Создание сообщений с ТОП популярных каналов за неделю и т.п.
 
 - [ ] **Интеграция с сервером Peertube**:
   - [ ] Зеркальное размещение видео на децентрализованном хостинге.
 
-## Frontend:
-- [ ] **Сделать фронт-дашбоард для визуализации данных**
+## Frontend + back API для нескольких подборок каналов:
+- [ ] Сделать фронт-дашбоард для визуализации данных
+- [ ] Сделать API для вывода на фронт-дашбоард для визуализации данных с нескольких подборок каналов
+- [ ] Вывод состояния проекта: Online, Offline
+- [ ] Вывод статуса БД: Online, Offline
+- [ ] Вывод наличия yt-dlp и его версии
+- [ ] Вывод статуса подключения по Youtube API
+- [ ] Вывод запущенных сервисов: monitor_new, monitor_history, tg_bot, и т.д.
+- [ ] Мониторинг логов: вывод последних 10 ошибок
+- [ ] Возможность просмотра или скачивания логов
+- [ ] Статистика публикации сообщений в телеграмм
 
 ## Docker-контейнер:
-- [ ] **Собрать контейнер с postgres, peertube и всем необходимым для работы**
+- [x] Собрать контейнер с postgres, peertube и всем необходимым для работы

app/__main__.py

@@ -2,9 +2,7 @@
 import logging
 from multiprocessing import Queue
 
-from loguru import logger
-
-from app.config import settings
+from app.config import logger, settings
 from app.service.telegram import TelegramBotService
 from app.service.yt_monitor import YTMonitorService
 
@@ -43,23 +41,28 @@ def load_channels_list(file_path: str = "channels_list.json") -> list[str]:
 
 if __name__ == "__main__":
     # Общая очередь для передачи данных между сервисами
-    queue = Queue()
+    news_queue = Queue()
+    if settings.run_tg_bot_shorts_publish:
+        shorts_queue = Queue()
+    else:
+        shorts_queue = None
     # Загружаем список каналов
     channels_list = load_channels_list()
 
     # Инициализируем мониторинг YouTube
     monitor = YTMonitorService(
-        channels_list=channels_list, new_videos_queue=queue, shorts_publish=settings.run_tg_bot_shorts_publish
+        channels_list=channels_list, new_videos_queue=news_queue, shorts_videos_queue=shorts_queue
     )
 
     # Запускаем процессы
+    # logger.debug(f"Current Settings: {settings.model_dump()}")
     monitor_processes = monitor.run(settings.monitor_new, settings.monitor_history, settings.monitor_video_formats)
-    logger.debug(f"TG bot started: {settings.run_tg_bot}")
     if settings.run_tg_bot:
         tg_bot = TelegramBotService(
             bot_token=settings.tg_bot_token,
             group_id=settings.tg_group_id,
-            queue=queue,
+            msg_queue=news_queue,
+            shorts_queue=shorts_queue,
         )
         bot_process = tg_bot.run()
         bot_process.join()

app/config.py

@@ -1,16 +1,19 @@
+import os
+import sys
 from functools import lru_cache
 
-from pydantic_settings import BaseSettings
+from loguru import logger as log
+from pydantic_settings import BaseSettings, SettingsConfigDict
 
 
 class Settings(BaseSettings):
     app_host: str = "localhost"
     app_port: int = 9191
 
     storage_path: str = "/mnt/volume"
-    video_download_path: str = "/videos"
-    shorts_download_path: str = "/shorts"
-    thumbnail_download_path: str = "/videos/thumbnail"
+    video_download_path: str = "videos"
+    shorts_download_path: str = "shorts"
+    thumbnail_download_path: str = "videos/thumbnail"
 
     db_host: str = "localhost"
     db_port: int = 5432
@@ -27,6 +30,7 @@ class Settings(BaseSettings):
 
     youtube_api_key: str = "youtube_key"
     youtube_secret_json: str = ""
+    youtube_service_secret_json: str = ""
 
     tg_bot_token: str = "TELEGRAM_BOT_TOKEN"
     tg_group_id: str = "group_id"
@@ -37,9 +41,15 @@ class Settings(BaseSettings):
     ssh_user: str = "root"
     ssh_private_key: str = "/root/.ssh/id_rsa"
 
-    class Config:
-        env_file = ".env"
-        env_file_encoding = "utf-8"
+    log_lvl: str = "DEBUG"
+    log_dir: str = "logs"
+    log_to_file: bool = True
+
+    model_config = SettingsConfigDict(
+        env_file=".env",
+        env_file_encoding="utf-8",
+        case_sensitive=False,
+    )
 
     @property
     def database_url(self) -> str:
@@ -48,9 +58,35 @@ def database_url(self) -> str:
         )
 
 
+@lru_cache()
+def get_logger(log_lvl: str, log_dir: str, log_to_file: bool):
+    log_format_console = (
+        "<green>{time:YYYY-MM-DD HH:mm:ss.SS}</green> "
+        "| <level>{level:<8}</level> "
+        "| <cyan>{file.name}:{line}</cyan> - <level>{message}</level>"
+    )
+    log_format_file = "{time:YYYY-MM-DD HH:mm:ss.SS} | {level:<8} | {file.name}:{line} - {message}"
+    
+    log.remove()
+    log.add(sys.stderr, level=log_lvl, format=log_format_console, colorize=True, enqueue=True)
+    if log_to_file:
+        os.makedirs(log_dir, exist_ok=True)
+        log.add(  # Example log file name: logs/log_2024-02-13.log
+            f"{log_dir}/log_{{time:YYYY-MM-DD}}.log",
+            level="DEBUG",
+            format=log_format_file,
+            rotation="1 day",
+            retention="30 days",
+            compression="zip",
+            enqueue=True,
+        )
+    return log
+
+
 @lru_cache()
 def get_settings() -> Settings:
     return Settings()
 
 
 settings = get_settings()
+logger = get_logger(settings.log_lvl, settings.log_dir, settings.log_to_file)

app/db/base.py

@@ -1,12 +1,11 @@
 from typing import Generic, Type, TypeVar
 from uuid import UUID
 
-from loguru import logger
 from sqlalchemy import MetaData, create_engine, orm
 from sqlalchemy.exc import SQLAlchemyError
 from sqlmodel import SQLModel, select
 
-from app.config import settings
+from app.config import logger, settings
 
 engine = create_engine(settings.database_url, echo=False, pool_size=10, max_overflow=20)
 Session = orm.sessionmaker(engine, expire_on_commit=False)

app/db/data_table.py

@@ -92,7 +92,8 @@ class Video(Base, table=True):
     upload_date: Optional[datetime] = Field(default=None)
     defaultaudiolanguage: Optional[str] = Field(default=None)
     last_update: datetime = Field(default_factory=lambda: datetime.now().replace(microsecond=0))
-    tg_post_date: Optional[datetime] = Field(default=None)
+    # path: Optional[str] = Field(default=None)
+    # tg_post_date: Optional[datetime] = Field(default=None)
 
     channel: Channel = Relationship(back_populates="videos")
     thumbnails: List["Thumbnail"] = Relationship(back_populates="video")

app/db/repository.py

@@ -3,10 +3,10 @@
 from typing import Optional, Union
 from uuid import UUID, uuid4
 
-from loguru import logger
 from sqlalchemy import or_
 from sqlalchemy.exc import IntegrityError, NoResultFound, SQLAlchemyError
 
+from app.config import logger
 from app.db.base import BaseRepository
 from app.db.data_table import Channel, ChannelHistory, Tag, Thumbnail, Video, VideoHistory, VideoTag, YTFormat
 from app.schema import ChannelAPIInfoSchema, ChannelInfoSchema, ThumbnailSchema, VideoSchema, YTFormatSchema

app/integrations/telegram/__main__.py

@@ -5,7 +5,7 @@
 
 from app.config import settings
 from app.integrations.telegram.commands import start, start_command
-from app.integrations.telegram.messages import handle_message, send_test_message
+from app.integrations.telegram.messages import handle_message, send_test_message, send_test_shorts_video
 
 # set higher logging level for httpx to avoid all GET and POST requests being logged
 logging.getLogger("httpx").setLevel(logging.INFO)
@@ -17,7 +17,7 @@ def get_telegram_handlers(test_mode: bool = False) -> list[BaseHandler]:
     if test_mode:
         return [
             CommandHandler("start", start),
-            MessageHandler(filters.TEXT & ~filters.COMMAND, send_test_message),
+            MessageHandler(filters.TEXT & ~filters.COMMAND, send_test_shorts_video),
         ]
     return [
         CommandHandler("start", start_command),

app/integrations/telegram/messages.py

@@ -1,10 +1,14 @@
-from loguru import logger
+import os
+
 from telegram import Message, Update
 from telegram.ext import ContextTypes
+from telegram.helpers import escape_markdown
 
-from app.config import settings
+from app.config import logger, settings
 from app.integrations.telegram.utils import extract_original_user_id, format_telegram_message
 
+MAX_TELEGRAM_VIDEO_SIZE = 50 * 1024 * 1024  # 50 MB
+
 
 async def send_test_message(update: Update, context: ContextTypes.DEFAULT_TYPE) -> None:
     """Отправить тестовое сообщение в группу Telegram."""
@@ -24,6 +28,37 @@ async def send_test_message(update: Update, context: ContextTypes.DEFAULT_TYPE)
     await update.message.reply_text("Сообщение отправлено в группу.")
 
 
+async def send_test_shorts_video(update: Update, context: ContextTypes.DEFAULT_TYPE) -> None:
+    video_path = "../test_shorts_video_w6CxKyVLtmo.mp4"
+    channel_name = "Это базис"
+    channel_url = "https://www.youtube.com/@eto_basis"
+    video_title = "Почему власть боится бумажных стаканчиков и как это связано с Богородицей?"
+    video_url = "https://www.youtube.com/shorts/w6CxKyVLtmo"
+
+    # Проверяем размер видео
+    if os.path.getsize(video_path) > MAX_TELEGRAM_VIDEO_SIZE:
+        logger.error(
+            f"Видео {video_url} слишком большое для Telegram! ({os.path.getsize(video_path) / (1024 * 1024):.2f} MB)"
+        )
+        return
+
+    await context.bot.send_video(
+        chat_id=settings.tg_admin_id,
+        video=open(video_path, "rb"),
+        caption=format_shorts_message(channel_name, channel_url, video_title, video_url),
+        parse_mode="Markdown",
+    )
+
+
+def format_shorts_message(channel_name: str, channel_url: str, video_title: str, video_url: str):
+    """Форматирование сообщения в Markdown формате."""
+    return (
+        f"🎥 [{escape_markdown(video_title)}]({video_url})\n"
+        f'📺 На канале "[{escape_markdown(channel_name)}]({channel_url})" '
+        f"🎬🔥 *Новое видео!*\n" + escape_markdown(f'\n#Shorts #YouTube #{channel_name.replace(" ", "_")}')
+    )
+
+
 async def handle_message(update: Update, context: ContextTypes.DEFAULT_TYPE) -> None:
     """Обработка входящих сообщений от пользователей."""
     admin_users_ids = [settings.tg_admin_id]

app/integrations/telegram/utils.py

@@ -1,6 +1,6 @@
 from typing import Optional
 
-from loguru import logger
+from app.config import logger
 
 
 def format_telegram_message(channel_name, channel_url, video_title, video_url):