This repository was archived by the owner on Mar 9, 2025. It is now read-only.
This repository was archived by the owner on Mar 9, 2025. It is now read-only.
Двойной EOS-токен в скрипте генерации датасета #34
Description
При запуске обучения в логе появляется пример промпта для обучения:
Full prompt: <s>system
Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.</s>
<s>user
Привет!</s>
<s>bot
Привет!</s>
</s>
В конце стоит двойной EOS-токен. Скорее всего, ситуация возникает из-за этой строки, т.к. последний символ промпта - знак переноса, поэтому добавляется второй EOS-токен