Skip to content

Latest commit

 

History

History
27 lines (23 loc) · 1.47 KB

File metadata and controls

27 lines (23 loc) · 1.47 KB

Neural Machine Translation with LSTM and Attention

PyTorch W&B

Нейронная сеть для машинного перевода (немецкий → английский) на основе bidirection LSTM с механизмом внимания. Поддерживает регулируемый teacher forcing и beam search.

Особенности

  • Архитектура: Двунаправленный LSTM-encoder + LSTM-decoder с attention.
  • Функционал:
    • Динамический teacher forcing.
    • Beam search для инференса.
    • Оценка качества через BLEU.
    • Интеграция с Weights & Biases.
  • Обработка данных:
    • Автоматическая фильтрация редких слов.
    • Замена чисел на <NUM>
    • Замена межязыковых токенов на <SUB>.

Отчет о проделанной работе

  1. Работа с данными
  2. Архитекрутра модели
  3. Train loop
  4. Beam search
  5. Эксперименты с гиперпараметрами
  6. BLUE
  7. Пути улучшения