Ingestão Contínua – O Sonho de todo engenheiro de dados.
Dentro de uma Squad de engenharia de dados, as principais ações estão sempre relacionadas a dados. E os dados, podem ser representados de diversas maneiras. Arquivos estruturados, que possuem delimitadores definidos, como arquivos CSV, TSV. Ou talvez, arquivos semi-estruturados como arquivos em formato JSON ou…
Do Raw para Analytics – Big Data
Recentemente fui acionado para fazer uma tarefa no Data Lake que possui aproximadamente 150Tb. Normalmente, o processo de ingestão é automatizado. Porém, às vezes, algum processo para e precisa reprocessar. Neste caso, os arquivos ingeridos estavam em parte corrompidos. Houve uma falha no processo de…
5 Passos para montar seu Data Lake
Vinicius Vale faz um bate papo com o especialista em Big Data, Moisés Pereira.
O dia a dia do engenheiro de dados
Vinicius Vale faz um bate papo com os especialistas em Big Data, Moisés Pereira e Paulo Werneck.
Big Data e o mercado de Trabalho
Olá a todos, sou o Vinicius Vale e hoje vou falar sobre Big Data e o mercado de trabalho. Para você que está chegando agora no mundo Big Data, primeiro precisa conhecer um pouco sobre esse tema. O artigo NoSQL na Era da Informação lhe dará informações…
SQL, NoSQL ou newSQL?
Olá a todos, sou o Vinicius Vale e hoje vou falar um pouco SQL, NoSQL e NewSQL, sendo uma continuação do artigo NoSQL e o mundo Big Data na Era da Informação. Primeiro, vamos entender as principais diferenças entre SQL e NoSQL. Quando se inicia um projeto, começa-se entendendo as análises de requisitos, dessa forma, seguindo…
MongoDB
Introdução ao MongoDB O que vem a ser o MongoDB: “MongoDB (do inglês humongous, “gigantesco”) é uma aplicação de código aberto, de alta performance, sem esquemas, orientado a documentos. Desenvolvido em C++. MongoDB é um SGDB orientado a documentos. Que armazena objetos JSON-like que compõem…
NoSQL
Introdução ao NoSQL NoSQL é uma tecnologia que veio para gerar grande performance e escalabilidade em grande quantidade de dados e o mercado vem se interessando a cada dia com essa tecnologia. Algumas pessoas acreditam que NoSQL significa sem SQL, o que não é verdade….
Bucardo replicação Master->Master
Replicação master master com Bucardo Bucardo é um sistema de replicação para PostgreSQL que fornece recursos tanto master-master e master-slave. Ele é assíncrono e baseado em trigger. Seus principais objetivos são fornecer replicação master-master para balanceamento de carga e failover, e para fornecer balanceamento de…
Replicação com Bucardo
Replicação com Bucardo Bucardo é um sistema de replicação para PostgreSQL que fornece recursos tanto master-master e master-slave. Ele é assíncrono e baseado em trigger. Seus principais objetivos são fornecer replicação master-master para balanceamento de carga e failover, e para fornecer balanceamento de carga e…