Lucas Alberto Martins

• Responsável pelo desenho e implementação de pipelines de ingestão de dados de alta performance, integrando dados em tempo real e batch.
• Atuação em integrações multicanais, incluindo APIs internas e externas.
• Colaboração direta com equipes de produto, ciência de dados e negócio para entrega de soluções escaláveis.

AWS – Plataforma Arcotech:

• Implementação da primeira versão de uma plataforma de dados na AWS, com ingestão, processamento e armazenamento em múltiplas camadas.
• Pipelines: AWS DMS (CDC e batch), Glue (Spark), Redshift e Airflow.
• Infraestrutura como Código: Terraform, Atlantis e ArgoCD.

GCP – Modernização e Escalabilidade (Arco Educação):

• Evolução da arquitetura de dados com Kubernetes, Debezium e Kafka para ingestão em tempo real.
• Armazenamento e análise escalável com BigQuery (Landing, Raw, Refined).
• Transformações com dbt e visualização via Metabase.
• CI/CD com Terraform e GitHub Actions.

• Desenvolvimento de pipelines ETL/ELT com Apache Spark (PySpark) e Databricks para grandes volumes de dados.
• Criação de Lakehouse com Delta Lake e governança de dados.
• Orquestração com Airflow e migração de processos de Azure Data Factory e SSIS para ambientes modernos.

• Pipelines de alto volume em Apache Spark (Scala) e AWS EMR.
• Consultas analíticas otimizadas em Hive e Impala.
• Orquestração com Airflow e AWS Lambda.

• Processos ETL com Spark e Scala no cliente Santander.
• Armazenamento otimizado em HDFS com dados particionados.
• UDFs personalizadas em Java/MapReduce e orquestração com Control-M.