Big Data, Datawarehouse e BI

      Nenhum comentário em Big Data, Datawarehouse e BI

Podemos estabelecer uma relação entre Big Data, Datawarehouse e Business Intelligence?

Este é um assunto muito polêmico.

De qualquer forma, são assuntos vitais para que as empresas possam ter um diferencial competitivo. Precisamos inicialmente entender os conceitos de cada um para tentar compreender até que ponto há uma relação entre eles.

De forma rápida, grosseira e suscinta:

  • Big Data: Gigantesco volume de dados, disponíveis em grande velocidade, de altíssima variedade e de forma complexa. Segundo gartner: volume, velocidade, variedade e complexibilidade.
  • Datawarehouse: Armazenamento de dados consolidados, relacionados e organizados de diversas fontes.
  • Business Intelligence (BI): É uma tecnologia que tem como conceito básico a entrega da informação coletada a partir de dados do seu datawarehouse, de forma exata e útil para a tomada de decisões.

Podemos também tentar resumir o termo “big data” pelos 5V´s: Velocidade, Volume, Variedade, Veracidade e Valor.

Segundo um estudo feito pela IBM, em 2008 mais de 2 quintilhões de bytes foram produzidos todos os dias e 90% dos dados no mundo foram criados nos últimos dois anos. A previsão que em 2015 (daqui a 3 anos) chegaremos a quase 8 zettabytes. Pra ter uma idéia, 8 zettabytes são apenas 8.000.000.000.000.000.000.000 bytes.

As origens de dados do Big Data vem de todos os lugares e de todas as formas: sejam de um localização de um GPS, de documentos, emails, imagens, gravações de logs, de videos e mensagens instantâneas, redes sociais, etc. Surgiu na década passada mas nos últimos anos vem ganhando um força impressionante.

Muitas empresas tem utilizado Big Data a seu favor, fazendo uma análise avançada de dados vindo de um ambiente externo (significa que a análise não é apenas vindo de dentro dela mesmo) para apoio a tomada de decisão, de forma estratégica.

Por cima, concluimos e notamos algo em comum nisto tudo: “dados que são utilizados para tomadas de decisões”.

Na organização de dados visando a análise, podemos classificar como:

  • Estruturados (bancos de dados corporativos relacionais)
  • Semi estruturados (arquivos de logs de servidores, por exemplo)
  • Não estruturados (não relacionais, fora do ambiente corporativo e de inúmeras fontes e de várias formas e meios diferentes)

O Datawarehouse é um meio de organização de dados que resulta num modelo estruturado. Visa a precisão e qualidade dos dados e pela complexibilidade na consolidação destes dados, é gerado a partir de um processo que é demorado e que conceitualmente fornece informações de passado, até o dia de ontem (d-1). O modelo de um datawarehouse não é volátil, é construido para atender uma forma pré determinada.

Big Data é um meio variado de altíssimo volume de dados que resulta num modelo não estruturado. Visa a rapidez na coleta, que tanto serve para visualizar o passado como o que acontece em tempo real. Em outras palavras, é algo muito mais escalável, podendo ser volátil ou não.

O mercado de Big Data vem crescendo cada vez mais, cerca de 40% ao ano. A realidade atual nos mostra que na área de tecnologia da informação, faltam profissionais qualificados e a previsão para os próximos anos é que serão necessários ainda mais profissionais para atender a demanda, uma vez que cada vez mais as empresas estarão adotando Big Data.

Surge um novo perfil, um novo cargo dentro das empresas, que é o “Cientista de dados”.

Observação: Para quem pensa que o conhecimento de Matemática e Estatística não é algo tão importante dentro da tecnologia da informação, saiba que está comentendo um tremendo equívoco.

 

Concluindo, em meu ponto de vista, há pontos em comum entre Big Data e Business Intelligence, mas a principio não há como ter algo que possa unificar as duas visões por se tratar de processos e métodos de conceitos diferentes. Ainda segundo meu ponto de vista, um complementa o outro, ambos são úteis e importantes, cada vez mais as grandes empresas adotarão estas análises e visões, gerando um diferencial no mercado em relação à concorrência.

Em outras palavras, o meio difere pela característica da origem, mas o fim é comum: visa a tomada de decisões.

Esta é minha opinião.

 

O que pensa sobre o assunto? São várias óticas sobre a teoria e a prática, existem controvérsias e polêmicas quando se pensa em tecnologia e negócio.

 

Participe, deixe seu comentário.

 

Deixe uma resposta