Skip to content

README.md

Latest commit

 

History

History
52 lines (51 loc) · 5.24 KB

README.md

File metadata and controls

52 lines (51 loc) · 5.24 KB
Raw

Прогнозирование дохода населения (Adult Income Dataset)

Ссылка на dataset (https://www.kaggle.com/datasets/wenruliu/adult-income-dataset/data). Набор данных содержит демографическую информацию о переписи населения и используется для прогнозирования того, превышает ли годовой доход человека 50 000 долларов США.

Характеристики:

Набор данных содержит 48 842 наблюдения, 14 признаков и 1 целевая переменная (income).

Признаки:

  • age: Возраст человека.
  • workclass: Тип работодателя. Категориальный признак.
  • fnlwgt: Вес, присвоенный Бюро переписи населения для представления долей населения.
  • education: Уровень образования. Категориальный признак с пятью значениями.
  • education-num: Количество лет обучения.
  • marital-status: Семейное положение. Категориальный признак.
  • occupation: Род занятий. Категориальный признак.
  • relationship: Семейная роль. Категориальный признак.
  • race: Раса. Категориальный признак.
  • sex: Пол. Категориальный признак.
  • capital-gain: Доход от капиталовложений (в долларах).
  • capital-loss: Убыток от капиталовложений (в долларах).
  • hours-per-week: Количество рабочих часов в неделю.
  • native-country: Страна происхождения. Категориальный признак.

Целевая переменная:

  • income: Категориальная переменная, указывающая, превышает ли годовой доход человека 50 000 долларов США. Имеет два значения: <=50K и >50K.

Разведочный анализ данных

  • Целевая переменная имеет ярко выраженный дисбаланс классов.
  • В данных отсутствует мультиколлинеарность.
  • Все количественные переменные оказывают влияние на целевую переменную.
  • Для прогнозирования необходимо использовать модель с учетом дисбаланса классов.

Обработка данных

  • Удалил строки с дубликатами.
  • Преобразовал типы данных: для количественных переменных установил тип float32, а для категориальных category.
  • С помощью RFECV отобрал факторы. Удалил has-spouse, gender, race, self-employed, gov-sector, from-usa, full-time, capital-gain_yeo, capital-loss_yeo.

Эффект от обработки данных

  • За счет удаления факторов скорость работы модели увеличилась.

Подбор гиперпараметров модели

  • В начале было зафиксировано: is_unbalance = True.
  • Стартовое количество деревьев (n_estimators) было подобрано с помощью замера метрики (average_precision) на кросс-валидации с критерием останова early_stopping_rounds = 50. Оно равнялось 126.
  • Количество листов в дереве (num_leaves) было подобрано с помощью замера метрики на кросс-валидации. Значения были в диапазоне от 7 до 50. Лучшим оказалось 27.
  • Параметры сэмплирования относительно столбцов (colsample_bytree) и строк (subsample) подбирались таким же образом. Оптимальные значения - subsample = 0.1, colsample_bytree = 0.4.
  • Скорректировал количество деревьев (n_estimators) - оптимальным оказалось число 118.

Эффект от подбора гиперпараметров модели

  • Доля правильных ответов для положительного класса (>50K) сильно увеличилась.
  • Увеличилась метрика recall для положительного класса (>50K).

Метрики итоговой модели на обучающей и тестовой выборке

Метрика Train Test
roc_auc 0.943 0.928
accuracy 0.845 0.830
weighted avg precision 0.881 0.866
weighted avg recall 0.845 0.830
weighted avg f1-score 0.853 0.839

Отсутствует переобучение.