интеллектуальный помощник для различных цифровых интерфейсов, который предоставляет пошаговую помощь пользователям, анализируя содержимое экрана и выводя контекстные подсказки. Программа:
- В реальном времени обводит кнопки и другие элементы интерфейса, указывая на них пользователю
- Снижает стресс от использования систем
- Повышает эффективность работы
- Снижает вероятность ошибок
Принцип работы системы следующий: в GPT поступает вся необходимая информация, затем с помощью поиска текста и методов компьютерного зрения выделяются все элементы интерфейса и из них выбирается нужный. Такой принцип работы позволяет сделать систему универсальной, менять ее части, форматы вывода и тд. В Teept анализ интерфейса основан на проекте UIED: текстовые элементы распознаются с помощью OCR, нетекстовые - с помощью градиентных карт и сегментации. Идентификация нужного элемента происходит с помощью LLM, нейросети CLIP и сравнения текста.
- Клонируйте репозиторий:
git clone https://github.com/LISA-ITMO/teept-gui-assistant
cd teept-gui-assistant- Создайте и активируйте виртуальное окружение:
# Для Windows
python -m venv venv
venv\Scripts\activate
# Для Linux/macOS
python3 -m venv venv
source venv/bin/activate- Установите зависимости:
pip install -r requirements.txt- Настройте окружение:
cp .env.example .envПока что сервис работает через сервер. Для теста в .env файле отредактируйте:
SITE_URL=jgsnapp.ru