Descrição de Vaga
| Código: | 2025 | |
| Título da vaga: | engenheiro de dados | |
| Local: | São Paulo,São Paulo | |
| Região: | Outra | |
| Tipo de emprego: | Efetivo | |
| Nível Profissional: | ||
| NÍvel Acadêmico: | Ensino Superior Completo | |
| Turno/Horas: | ||
| Habilidades: | Requisitos Conhecimento em diferentes arquiteturas tradicionais de armazenamento de dados (RDBMS) e conceitos de Data Warehouse; Conhecimentos dos panoramas de ferramentas atuais relacionadas a Big Data e Analytics tanto Open Source como comerciais; Experiência em desenvolvimento de softwares relacionada a design, codificação e testes, assim como experiência em engenharia de plataformas de software e infraestrutura de dados em grande escala (comercial ou open source); Desenvolvimento, construção, testes e manutenção da arquitetura de dados; Desenvolver processos de conjunto de dados; Linguagem de programação e ferramentas (Python, Scala, spark); Identificação, melhoria e confiabilidade na a eficiência e a qualidade dos dados; Realização de pesquisas para questões industriais e de negócios; Implementação de programas analíticos sofisticados, Machine Learning e métodos estatísticos; Preparação de dados para modelagem preditiva e prescritiva; Experiência em encontrar padrões ocultos usando dados. Experiência mínima de 4 anos como Engenheiro de Dados. |
|
| Categoria: | ||
| Remuneração Básica: | - - | |
| Benefícios: | 0 | |
| Resumo da Vaga: | Responsabilidades Criar processos de ETL de diferentes fontes de dados (coletar, validar, homogeneizar, transformar e modelar); Atuar na definição das fontes de dados para ingestão na plataforma Hadoop e database SQL (estruturado) e no SQL (não estruturado); Transformação de dados com Hadoop e Hive, usando Java, Python ou linguagem mais adequada; Fornecer datasets prontos para serem usados pelos Data Scientists e analistas de BI; Resolução de problemas de produtividade e escalabilidade; Preparar Dados para facilitar e permitir o acesso de usuários no-tech aos dados processados; Colaborar com discussões relacionadas à plataforma Big Data, estratégia e roteiro, assim como as capacidades do ambiente analítico e as fontes de dados; Colaborar com a integração de novas plataformas Big Data/Analíticas e os sistemas tradicionais de relatórios, data warehouse, plataformas de campanha e KPI’s de negócios; Definir condutores de informação entre fontes de dados, armazenamento tradicional, e novas plataformas Big Data minimizando impactos das operações; Suportar a definição e a implementação das bases de dados relacionais e não relacionais para os serviços e APIs; Efetuar análise e aplicar melhorias no desempenho das aplicações no que tange às estruturas de bancos de dados; Criar e automatizar processos de homogeneização de dados; Gerenciar todos os condutores de dados, garantindo a qualidade dos dados através da criação de mecanismos de controle; Desenvolver softwares em Big Data Hadoop, ecossistema Hadoop e Spark para analises, estatísticas e aprendizado de máquina; Desenvolver POC (proof of concepts) com objetivo de fazer datasets para a construção de modelos e relatórios analíticos; Desenvolver desenho de soluções que envolvam o ecossistema Hadoop e outros componentes do ambiente analítico |
|