[Remoto] Enenheiro(a) de Dados Senior - Confi #12146
Description
Nossa empresa
Buscamos um(a) Engenheiro(a) de Dados Sênior para atuar em uma arquitetura moderna de dados na OCI (Oracle Cloud Infrastructure), com ingestão near–real time e processamento distribuído em PySpark. O papel envolve construir e evoluir pipelines robustos, garantir qualidade das camadas do modelo medalhão (Bronze → Platinum) e disponibilizar dados para consumo via MySQL HeatWave e Metabase.
Descrição da vaga
Responsabilidades
- Desenvolver e otimizar pipelines em PySpark (Bronze/Silver/Gold/Platinum).
- Ingestão via EventHub, flat files e MongoDB (API).
- Operar arquitetura Lakehouse em OCI (buckets, HeatWave, external tables).
- Criar e manter DAGs no Airflow.
- Automatizar processos com GitHub + GitHub Actions.
- Implementar integrações e exports com Python + Metabase API.
- Garantir padrões de qualidade, observabilidade e performance.
Requisitos
- Domínio avançado em PySpark , Python e SQL
- Domínio avançado em Modelagem de dados
- Domínio de Data Lake / Delta Lake
- Experiência com arquitetura medalhão e pipelines near–real time.
- Experiência com Airflow e Git/GitHub Actions.
- Experiência em infraestrutura em cloud (AWS, GCP, Azure, OCI...)
Desejáveis
- Conhecimento na Cloud OCI (Dataflow, buckets, HeatWave, external tables).
- Governança de dados
- Observabilidade
Local
100% remoto
Salário e Benefícios
R$ 18.000 - R$ 21.000
30 dias de férias remuneradas após 1 ano de contrato.
Contratação
PJ
Como se candidatar
Inscreva-se através do site da Remotar
Labels
Nível
- Sênior
- Especialista
Regime
- PJ
Alocação
- Remoto