Sobre a oportunidade
Buscamos um Arquiteto/Engenheiro de Dados Especialista em Databricks para liderar o desenho e a evolução de arquiteturas modernas de dados baseadas em Lakehouse. A posição será responsável por definir padrões técnicos, apoiar decisões de arquitetura e garantir que as soluções apresentem escalabilidade, segurança, governança, desempenho e eficiência de custos. Início imediato.
Principais responsabilidades
- Projetar arquiteturas de dados utilizando Databricks e o conceito de Lakehouse.
- Definir padrões para ingestão, processamento, armazenamento, integração e consumo de dados.
- Desenvolver e orientar a construção de pipelines de dados escaláveis com Apache Spark, Python e SQL.
- Estruturar arquiteturas em camadas, como Bronze, Silver e Gold.
- Implementar e evoluir soluções utilizando Delta Lake e Unity Catalog.
- Definir estratégias de governança, catalogação, linhagem, qualidade e segurança dos dados.
- Avaliar e otimizar desempenho, processamento, armazenamento e custos da plataforma.
- Apoiar a integração do Databricks com serviços e ferramentas do ecossistema de dados.
- Estabelecer práticas de CI/CD, versionamento, testes e automação para pipelines de dados.
- Apoiar tecnicamente equipes de Engenharia de Dados, Analytics, Ciência de Dados e áreas parceiras.
- Participar de decisões de arquitetura, revisões técnicas e resolução de problemas complexos.
- Produzir documentação técnica, diagramas de arquitetura, padrões e boas práticas.
Requisitos
- Experiência sólida com arquitetura e engenharia de dados.
- Experiência avançada com a plataforma Databricks.
- Domínio de Apache Spark, PySpark, Python e SQL.
- Experiência com arquiteturas Lakehouse e processamento distribuído de dados.
- Conhecimento avançado de Delta Lake e Unity Catalog.
- Experiência na construção e otimização de pipelines ETL e ELT.
- Conhecimento de modelagem de dados, qualidade, governança, linhagem e segurança.
- Experiência com pelo menos um dos principais provedores de nuvem: Microsoft Azure, AWS ou Google Cloud Platform.
- Conhecimento em integração de dados por meio de APIs, arquivos, bancos de dados, streaming e mensageria.
- Experiência com controle de versão, CI/CD e práticas de desenvolvimento aplicadas à Engenharia de Dados.
- Capacidade para analisar requisitos técnicos e traduzi-los em soluções de arquitetura escaláveis.
- Experiência na definição de padrões técnicos e orientação de equipes multidisciplinares.
Diferenciais
- Certificação Databricks relacionada a Engenharia de Dados ou arquitetura da plataforma.
- Experiência com Terraform ou outras ferramentas de infraestrutura como código.
- Conhecimento de dbt, Airflow, Kafka ou ferramentas equivalentes.
- Experiência com MLflow, MLOps ou soluções de Inteligência Artificial e Machine Learning.
- Conhecimento em FinOps aplicado a plataformas de dados e ambientes de nuvem.
- Experiência com migração e modernização de plataformas tradicionais de dados.
Perfil comportamental
- Visão estratégica e capacidade de conectar decisões técnicas às necessidades do negócio.
- Capacidade analítica e habilidade para resolver problemas complexos.
- Comunicação clara com públicos técnicos e não técnicos.
- Autonomia para conduzir decisões e propor melhorias de arquitetura.
- Liderança técnica e facilidade para orientar equipes.
- Organização, colaboração e compromisso com boas práticas.
Importante
O Vagas Todo Dia divulga a oportunidade e facilita o contato inicial. As etapas, condições e decisões do processo seletivo são conduzidas pela empresa responsável pela contratação.