Skip to content

Latest commit

 

History

History
20 lines (17 loc) · 1.62 KB

File metadata and controls

20 lines (17 loc) · 1.62 KB

• Наблюдения

  • sentence-transformers фигурирует только в pipeline/requirements.txt:13.
  • В pipeline/pipeline/s0.py, pipeline/pipeline/s1.py и pipeline/pipeline/s2.py нет импортов или вызовов sentence_transformers; модуль S2 ограничивается дедупликацией и нормализацией графа (см. pipeline/pipeline/s2.py).
  • Текущая сборка воркера тянет библиотеку впустую, что притягивает тяжёлые зависимости (torch занимает ~1–1.5 ГБ).

Варианты

  1. Удалить строку с sentence-transformers из pipeline/requirements.txt, если ближайшие планы по семантическому сопоставлению отсутствуют — образ станет заметно легче.
  2. Если позже появится необходимость в эмбеддингах, вынести библиотеку в отдельный optional-зависимый файл (requirements-embeddings.txt) и устанавливать её только в соответствующих окружениях.
  3. При желании заменить на более лёгкий стек — рассмотреть scikit-learn с TfidfVectorizer или уже установленный rapidfuzz для лексического матчинга; эти варианты не требуют torch и покрывают простые сценари и S2-постпроцессинг.