O projeto que tem como principal objetivo fazer consultas em notícias sobre tecnologia. As notícias podem ser obtidas através da raspagem do blog da Trybe: https://blog.betrybe.com.
Projeto feito enquanto estudante da Trybe.
- Utilizar o terminal interativo do Python
- Aplicar técnicas de raspagem de dados
- Extrair dados de conteúdo HTML
- Armazenar os dados obtidos em um banco de dados
- tech_news/analyzer/ratings.py
- tech_news/analyzer/search_engine.py
- tech_news/menu.py
- tech_news/scraper.py
- Clone o repositório:
[email protected]:mayukuni/tech-news.git - Entre na pasta do repositório:
cd tech-news - Criar o ambiente virtual:
python3 -m venv .venv - Ativar o ambiente virtual:
source .venv/bin/activate - Instalar as dependências no ambiente virtual:
python3 -m pip install -r dev-requirements.txt - Caso queira desativar o ambiente virtual:
deactivate - Para rodar o MongoDB via Docker:
docker-compose up -d mongodb
- Dentro do terminal Python, execute a função
python3 -i tech_news/scraper.py - Invoque as funções utilizando diferentes parâmetros:
html = fetch("url_da_noticia")e depoisscrape_news(html)