SLR Translation Bot

SLR Translation Bot — это чат-бот для Telegram, который переводит текст с русского жестового языка (РЖЯ) на русский язык и обратно. Бот предназначен для помощи людям, использующим жестовый язык, в общении и понимании текста.

Функции

• Перевод видео с РЖЯ на русский язык.
• Перевод кружочков с РЖЯ на русский язык.

Использование

1. Попробовать прототип можно по id: @SLR_Translation_bot
2. Введите /start и бот опишет, как лучше снимать видео
3. Наслаждайтесь переводом

Ограничения

Для использования бота необходимо подписаться на канал с примерами использования. Обращаем Ваше внимание на то, что лимит запросов в день - 1 минута видео.

Архитектура обработки видео

Для распознавания жестов на видео мы используем архитектуру S3D. Далее, распознанные глоссы постобрабатываются и приводятся к естественному виду с использованием Gigachat-2 API

Локальный запуск

git clone https://github.com/pururus/SLR-Translation.git
cd SLR-Translation
python3 ./app.py

Также нужно создать .env файл и внести в него все необходимые токены:

• токен Gigachat в формате Client_secret:Client_id
• токен Telegram bot
• База данных sqlite+aiosqlite:///<my_base.db>