- Extração de dados de sites oficiais:
- Projeto feito em .NET 5;
- Onion Architecture Medium;
- AutoMapper (DTO's e entidades de Domínio);
- Swagger (Documentação em toda API);
- Helpers para salvar dados em Filas SQS AWS;
- Helpers para salvar dados em buckets S3 AWS;
- Mapeamento com Code-First pelo EF Core;
- Entrega de dados via API Rest;
- Dados salvos em base de dados MySQL;
- WEB Crawler dos sites via HTML Pack Agility;
- Tratamento Centralizado de erros (LOG);
- Implementação de Cache de Memória;
- Padrão Repositório;
- Health Check das bases de dados;
- Injeção de Dependência;
- Separação de projetos em contextos;
- Homologação dos dados via evidências de arquivos salvos.
- Implementações com Programação Paralela
-
Notifications
You must be signed in to change notification settings - Fork 0
Projeto ASP.NET Core .NET 5 para Extração e Parseamento de Dados do governo de São Paulo com integração com Buckets S3, Filas SQS AWS e Persistência realizada via EF Core no Mysql.
License
Marcus-V-Freitas/CrawlerBrazilGovData
Folders and files
Name | Name | Last commit message | Last commit date | |
---|---|---|---|---|
Repository files navigation
About
Projeto ASP.NET Core .NET 5 para Extração e Parseamento de Dados do governo de São Paulo com integração com Buckets S3, Filas SQS AWS e Persistência realizada via EF Core no Mysql.
Topics
Resources
License
Stars
Watchers
Forks
Packages 0
No packages published