Парсер документов PEP на базе фреймворка Scrapy. Парсер должен выводить собранную информацию в два файла .csv:
- В первый файл выводится список всех PEP: номер, название и статус.
- Второй файл содержит сводку по статусам PEP — сколько найдено документов в каждом статусе (статус, количество). В последней строке этого файла в колонке «Статус» стоит слово Total, а в колонке «Количество» — общее количество всех документов.
- Шаг первый: клонируем репозиторий
git clone git@github.com:Nurbek878/scrapy_parser_pep.git- Переходим в папку с проектом
cd scrapy_parser_pep- Создаем и активируем виртуальное окружение
python -m venv venv
source venv/bin/activate - Обновляем менеджер пакетов pip
pip install --upgrade pip - Устанавливаем необходимые зависимости
pip install -r requirements.txt- Запускаем парсер
scrapy crawl pep