Исследование классификации открытых вопросов анкеты

Заказчик: KPMI - платформа по определению типа личности и подбору профессии с помощью искусственного интеллекта.

KPMI проводит опрос респондента для построения психотипа (аналог методики MBTI) и оценки удовлетворенности профессией.

Вопрос "Кем вы работаете?" в анкете открытый.

Для построения модели, прогнозирующей сферы деятельности, в которых респонтент сможет себя реализовать, необходимо привести значения открытого вопроса к ограниченному множеству значений -- справочнику профессий.

Результаты проекта

Описание этапов и результатов проекта в Wiki.

Структура проекта

Файлы проекта:

• datasets -- данные
  • external -- данные из внешних источников
    • abbreviation.csv - аббревиатуры
    • extrastopwords.csv - дополнительные стоп-слова
  • processed -- обработанные данные
    • answer-profession-match.csv -- результат классификации открытых вопросов
• notebooks -- исследования проекта в формате Jupyter Notebook:
  • eda.ipynb -- исследовательский анализ данных
  • create_dictionary.ipynb -- создание словарей для symspell и создание справочника профессий
  • answers_analysis.ipynb -- анализ признаков, выделенных из ответов
  • answers_classification.ipynb -- классифиакация ответов
• reports -- отчеты
• src -- модули и утилиты
  • data
    • analyse_answers.py -- утилита выделения признаков из ответа
    • extract_verbs.py -- утилита выделения глаголов из ответов
    • preprocess.py -- модуль с функциями препроцессинга текстов
• environment.yml — параметры окружения (conda).

Данные являются собственностью заказчика и не включены в проект.