Senior Data engineer (Especialidade em Apache Spark)

Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis.

Com mais de 7.400 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1.000 clientes durante nossos 30 anos de história.

Inteligência Artificial é nossa realidade.

Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.

Responsabilidades: - Atuar como protagonista na transformação digital da empresa, contribuindo para a construção de soluções inovadoras em engenharia de dados em um ambiente colaborativo.

- Desenvolver e otimizar pipelines de dados utilizando Apache Spark, assegurando a eficiência no processamento e análise de grandes volumes de dados.

- Colaborar com equipes multidisciplinares para projetar, implementar e manter soluções de integração e manipulação de dados que impactem positivamente o negócio.

- Aplicar boas práticas de desenvolvimento de software, assegurando a qualidade, escalabilidade e manutenibilidade dos sistemas.

- Liderar iniciativas de melhoria contínua nos processos de engenharia de dados, orientando desenvolvedores juniores e promovendo uma cultura de aprendizado e excelência técnica.

- Realizar a coleta, transformação e análise de dados, garantindo a integridade e qualidade da informação.

- Manter e aprimorar continuamente os sistemas de dados existentes, buscando inovações e atualizações tecnológicas.

Requisitos: - Sólida experiência em desenvolvimento Java, com forte compreensão dos fundamentos de engenharia de dados.

- Experiência prática em Apache Spark, incluindo o desenvolvimento de trabalhos de ETL e análise de dados distribuídos.

- Conhecimento em bancos de dados relacionais e não-relacionais, bem como em ferramentas de gerenciamento de dados.

- Familiaridade com ferramentas de orquestração de dados, como Apache Airflow ou similar.

- Experiência com integração de APIs REST para consumo de dados externos.

- Compreensão de arquiteturas de dados em nuvem, preferencialmente em ambientes AWS ou Azure.

- Habilidade em trabalhar com equipes ágeis e metodologias Scrum/Kanban.

- Familiaridade com ferramentas de controle de versão, como Git e GitHub.

Diferenciais: - Conhecimento em containers e orquestração, como Docker e Kubernetes.

- Experiência em framework de testes automatizados, como JUnit ou Mockito.

- Compreensão e aplicação de princípios de arquitetura como Data Lake e Data Warehouse.

- Conhecimento em cloud OCI (Oracle). - Desejável conhecimento em práticas de Ciência de Dados e Machine Learning.

- Desejável familiaridade com ferramentas de visualização de dados (ex: Tableau, Power BI). #LI-RB2 #Midsenior

Homeoffice

Nossos benefícios: - Plano de saúde e odontológico; - Vale alimentação e refeição; - Auxílio-creche; - Licença parental estendida; - Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass; - Participação nos Lucros e Resultados (PLR); - Seguro de Vida; - Plataforma de aprendizagem contínua (CI&T University); - Clube de descontos; - Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar; - Curso gestante e parentalidade responsável; - Parceria com plataformas de cursos online; - Plataforma para aprendizagem de idiomas; - E muitos outros Mais detalhes sobre os nossos benefícios aqui: Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo. Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.