PowerOfData | Engenheiro de Dados Júnior

Buscamos um Engenheiro de Dados para atuar na construção de  pipelines de dados, tanto para ingestão de novos dados quanto para construção das camadas do DataLake e na construção de books de variáveis/features store. As atividades serão  O profissional atuará em projetos estratégicos com clientes de grande porte, com atuação no formato de alocação dentro do cliente.

Tecnologias

• Spark (Python ou Scala) e PySpark

• Tecnologias AWS: EMR, S3, IAM

• Airflow (orquestração)

• OCI Data Flow

• OCI Storage

• Shell Script

• Docker

• Git

• Bitbucket

Soft Skills

• Experiência na construção de pipelines distribuídas usando Spark

• Vivência prática em ambientes AWS, especialmente EMR e S3

• Experiência com orquestração de pipelines

• Conhecimento de arquitetura de dados em nuvem (AWS, OCI ou GCP)

• Capacidade de analisar pipelines existentes e propor ajustes para otimização durante a migração

• Experiência com automação e scripts (shell)

Hard Skills

• Construção e migração de pipelines Spark de médio e grande porte

• Domínio de Airflow (DAGs, operators, sensores, boas práticas)

• Capacidade de depuração e otimização de jobs distribuídos

• Conhecimento de versionamento (Git) e fluxo GitFlow

• Escrita de código limpo, seguro e testável

• Capacidade de contribuir na definição e melhoria de padrões técnicos para o time
  
  

Soft Skills

• Autonomia e ownership sobre entregas e etapas de migração

• Comunicação clara com times de arquitetura, dados e infraestrutura

• Proatividade na identificação e resolução de problemas

• Foco em qualidade, documentação e governança dos pipelines migrados

• Capacidade de resolver problemas de forma criativa e eficiente