Este repositório contém scripts Python organizados em 4 diretórios, cada um com uma tarefa específica. O projeto envolve Web Scraping, Povoamento de Banco de Dados MySQL, Criação de API com FastAPI e uma Aplicação Web.
O projeto depende de algumas bibliotecas Python. Para instalar todas as dependências necessárias, basta usar o arquivo requirements.txt.
- Clone o repositório ou baixe os arquivos do projeto.
- Abra o terminal ou prompt de comando e navegue até a pasta do projeto.
- Instale as dependências com o seguinte comando:
pip install -r requirements.txt
- O que faz: Realiza web scraping e Baixa dois arquivos PDF do site da ANS e compacta em .zip.
- O que faz: Realiza web scraping Baixa alguns arquivos CSV de um site e compacta em .zip.
- O que faz:
- Scripts 3.1 e 3.2: Realizam web scraping e baixam arquivos .zip, descompactando-os.
- Script
criar_banco: Cria um banco de dados MySQL e popula com os dados extraídos. - Arquivos
.sqlcom o esquema de banco e queries de consulta.
Para funcionar é necessários rodar ambos os códigos ao mesmo tempo.
- O que faz:
- Server: Possue um script em python e um arquivo .csv que será utilizado como conteúdo da api, e um arquivo em .py que Inicia um servidor local com FastAPI.
- Para Ele Funcionar Execute:
python -m uvicorn server:app --reload
- Pasta Matheus_diniz: Uma Aplicação web que exibe os dados da API.
Na raiz do projeto, há uma coleção de requisições no Postman para testar a API.
- Python v3.12 ou subsequentes
- Navegador Chrome
- Plataforma Windows 11
- Visual Studio Code (IDE)
- Vue.js
- Postman
- MySQL