Desenvolver e sustentar pipelines e infraestruturas de dados que suportem automações, análises e modelos de IA corporativos, garantindo escalabilidade e confiabilidade.
Principais Atividades:
Construir pipelines robustos com Airflow, PySpark e Python.
Automatizar ingestões e transformações em MinIO/S3 e bancos relacionais.
Otimizar performance de consultas e processos de carga.
Aplicar IA e scripts de automação para melhorar qualidade de dados.
Implementar monitoração, logs e alertas.
Trabalhar com times de automação e ciência de dados.
Participar da definição de arquitetura e padrões técnicos da área.
Requisitos
Habilidade Técnica
Formação Acadêmica:
Superior completo em Engenharia, Ciência da Computação, TI ou áreas afins;
Mínimo de 1 ano de experiência em engenharia ou integração de dados;
Requisitos Técnicos:
Experiência prática com ETL/ELT, modelagem e integração de dados;
Domínio intermediário em Python, SQL e Airflow;
Experiência com bancos relacionais e não relacionais (PostgreSQL, BigQuery, MongoDB);
Vivência com armazenamento de dados em MinIO, AWS S3 ou GCP Storage;
Experiência com Apache Spark para processamento distribuído;
Conhecimento em arquitetura de dados em nuvem (GCP, AWS, Azure);
Familiaridade com DBT, PySpark e automação de pipelines;
Capacidade de integrar modelos de IA e análises preditivas em pipelines;
Experiência com versionamento, CI/CD e containers (Git, Docker);
Boas práticas de governança, logging e monitoramento de dados.