Big Data e DATA-WAREHOUSE - Uemerson Pinheiro Junior e Gustavo Alencar

Big Data e DATA-WAREHOUSE

Discente 1: Uemerson Pinheiro Junior

Discente 2: Gustavo Alencar Rocha

Big Data

Introdução

Big Data é um conceito utilizado para caracterizar dados que excedem a capacidade de processamento de sistemas de banco de dados convencionais (Henriques et al., 21-?). Para Ragazzo e Monteiro (2018) em linhas gerais o termo big data se refere “a um grande volume de dados digitais variados, que são coletados, armazenados e processados analiticamente em alta velocidade, particularmente com o objetivo de identificar padrões e comportamentos e fazer correlações, extraindo-se, dessa forma, informações relevantes que lhes conferem valor e podem ser utilizadas em processos de decisão informada nas mais variadas áreas”. Beyer e Laney (2012) define que big data “são grandes volumes de dados de alta velocidade, e/ou alta variedade de informações que requerem novas formas de processamento para possibilitar uma eficiente 25 tomada de decisão”. De acordo com a empresa IBM (2018), big data é um termo usado para conjuntos de dados de que tamanho ou tipo está além da capacidade dos tradicionais bancos de dados relacionais de capturar, gerenciar e processar os dados com baixa latência. E possuindo uma ou mais das seguintes características: alto volume, alta velocidade ou alta variedade. Observando as definições dos autores sobre big data, compreende-se que esse termo é aplicado para conjuntos de dados que extrapolam os limites dos bancos de dados relacionais tradicionais. Além disso, esses conjuntos de dados precisam ter características especificas que os diferenciam de dados normais, tais como: grande volume de dados, processamento desses dados em alta velocidade e alta variedade de dados.

Big Data era caracterizado e definido por três características essenciais, sendo elas o volume, a variedade e a velocidade dos dados (Laney, 2001). Com novos estudos efetuados sobre big data, foram adicionadas duas novas características a veracidade e o valor. Segundo Menezes (2014) a característica volume se refere a uma quantidade de dados armazenada em larga escala, o que torna impossível sua analise na totalidade com os sistemas tradicionais de gestão de Base de Dados. O autor ainda define que a característica variedade representa todos os tipos de dados como parte do processo de decisão. Para o autor a característica a velocidade, consiste na rapidez em que os dados chegam e são armazenados. É citado pelo autor que A veracidade é a garantia da consistência dos dados, nomeadamente, a sua origem, recolha e métodos de processamento, utilizando infraestruturas confiáveis. Para o autor o valor é uma característica importante pois define o valor agregado que os dados recolhidos podem trazer para o processo, atividade ou análise a que se destina.

A seguir é apresentado a seção objetivos, a qual será detalhado os objetivos do presente trabalho.

Objetivos

O presente trabalho tem como objetivo definir o que é big data, definir suas características e por último, mas não menos importante mostrar as vantagens que a analise de big data pode trazer para as empresas.

Justificativa

É importante antes de entrar nas vantagens do big data para as empresas definir o que é big data e quais são suas características. Desta forma no capitulo de introdução foi definido o que é big data, que resumidamente é um conjunto grande de dados, que está além da capacidade dos tradicionais bancos de dados relacionais de capturar, gerenciar e processar os dados com baixa latência. E suas características são: volume, variedade, velocidade dos dados, veracidade e o valor.

De acordo com Fontes et al. (2016) “big data é capaz de apresentar os caminhos e paralelismo encontrados em grandes volumes de dados, no menor tempo possível, para que as empresas analisem estes dados com a intenção de obter vantagens competitivas”. Ainda o autor cita que por meio do big data é possível as empresas fazerem infinidades de análises, pesquisas e relatórios das mais diversas fontes e tipos. O autor também cita alguns casos de uso do big data em empresas, como por exemplo o caso da rede de lojas Renner que utilizou o big data para cruzar as informações de uma pesquisa realizada com usuários do Facebook, essa pesquisa tinha como objetivo saber o interesse do público sobre o lançamento de uma nova coleção de roupas ou acessórios, o que possibilitou que a rede de lojas pudesse ter um maior controle sobre o estoque em determinadas lojas de determinadas regiões, e sobre os pedidos que deveriam ser feitos.

Maçada et al. (2015) cita dois casos de sucesso onde big data é aplicado nas empresas, o primeiro é a do Google flutrends, onde conseguiu mapear as buscas sobre a doença, para saber onde poderá surgir um novo surto. A epidemia de ebola foi melhor gerenciada quando cientistas de dados, participaram de um movimento internacional para evitar que a epidemia tivesse maiores proporções. O segundo caso é das empresas varejistas Macy’s onde conseguiu fixar os preços em tempo real de 73 milhões de itens de suas lojas e realizar promoções rapidamente a partir do comportamento da demanda e estoque em cada uma das unidades espalhadas nos Estados Unidos. E da empresa Wal­Mart que buscou recursos para analisar os seus dados e, por meio da adição de busca semântica, tem melhorado a finalização de compras on­line de 10% para 15%, o que significam milhares de milhões de dólares.

Com base nesses casos de uso, é notável que as empresas que utilizaram o big data obtiveram de alguma forma vantagens, seja econômica ou competitiva, além é claro de ter um controle maior dos seus dados. Desta forma é importante ressaltar que o big data é algo valioso para as empresas e quando usado de uma maneira correta traz inúmeras vantagens para a empresa.

Na próxima seção é abordado as considerações finais do presente trabalho.

Considerações Finais

Com base nas seções anteriores é big data, já não são apenas prospecções e sim realidade. As empresas devem investir em big data, e ao aderir-se ao big data, as informações por ele geradas deverão ser analisadas por profissionais capacitados para que estratégias sejam criadas e assim consequentemente seguir forte na concorrência pelos clientes e consumidores. Para isso é necessário capacitar os funcionários para lidar com a nova solução, ou terceirizar uma empresa que faça o gerenciamento de toda esta cadeia.

Com base nas vantagens econômica ou competitiva, além é claro de ter um controle maior dos seus dados que o big data trás para as empresas, é viável as empresas fazerem investimentos nessa área, e as que não fizerem ficaram para trás. Isso porque o mundo cada vez mais gera dados, e as empresas que não trabalharem suas estratégias de comercio em cima desses dados estão fadadas a falirem.

Referências

BEYER, M. A.; LANEY, D. The importance of ‘big data’: a definition. Stamford, CT: Gartner, p. 1–9, 2012.

FONTES, N. R.; SILVA, G.; ALMEIDA, J. W. R. UTILIZAÇÃO DO BIG DATA PARA OBTER VANTAGENS COMPETITIVAS. 2016. Disponível em: <http://www.fatecguaratingueta.edu.br/revista/index.php/RCO-TGH/article/view/121>. Acesso em 02 novembro 2019.

HENRIQUES, M. S. B.; FURTADO, M. R. S.; SILVA. P. E. S; MORAVIA, R. V. Big Data. 21 - ?. Disponível em: <http://revistapensar.com.br/tecnologia/pasta_upload/artigos/a55.pdf>. Acesso em 02 novembro 2019.

IBM. Data Lake Analytics. 2018. Disponível em: < https://www.ibm.com/analytics/hadoop/big-data-analytics>. Acesso em: 29 outubro 2019.

LANEY, D. Controlling Data Volume, Velocity, and Variety. 2001. Disponível em: <http://blogs.gartner.com/doug-laney/files/2012/01/ad949-3D-Data-Management-Controlling-Data-Volume-Velocity-and-Variety.pdf>. Acesso em: 02 novembro 2019.

MAÇADA, A. C. G.; BRINKHUES, R. A.; FREITAS JÚNIOR, J. C. Big data e as capacidades de gestão da informação. 2015. Disponível em: < https://www.researchgate.net/profile/Rafael_Brinkhues/publication/279965068_Big_data_e_as_capacidades_de_gestao_da_informacao/links/55a0a15408ae967fb3e97c60/Big-data-e-as-capacidades-de-gestao-da-informacao.pdf>. >. Acesso em 02 novembro 2019.

MENEZES, C. S. V. C. Big City Data: Uma nova dimensão sobre as cidades. 2014. Disponível em: <https://repositorium.sdum.uminho.pt/bitstream/1822/35216/1/Disserta%c3%a7%c3%a3o_C%c3%a1tia%20Sofia%20Vaz%20de%20Menezez_2014.pdf>. Acesso em 02 novembro 2019.

RAGAZZO, C.; MONTEIRO, Gabriela. Big Data e Concorrência: Quando Big Data é Uma Variável Competitiva em Mercados Digitais e Deve Ser Considerada na Análise Concorrencial? 2018. Disponível em: <https://portalrevistas.ucb.br/index.php/EALR/article/view/9436/pdf>. Acesso em 02 novembro 2019.

DATA WAREHOUSE

Resumo

De modo simples, Data Warehouse (Armazém de Dados), pode ser definido como um banco especializado, que gerencia de forma integrada o fluxo de informações contidas nos bancos de dados de uma organização e fontes de dados externa à empresa.

O Data Warehouse gera sues dados de forma integrada e de forma histórica, para o auxiliar os gestores a tomarem decisões embasadas em fatos inibindo o uso de especulações e intuições. Conhecer essa tecnologia permite que a empresa tenha um diferencial dentro de uma economia globalizada como essa em que vivemos, proporcionando uma flexibilidade em relação a elaboração de diferentes estratégias a fim de chegar no seu cliente final.

O presente artigo visa importância do Data Warehouse nas empresas, organizações, etc., trazendo algumas definições e características dessa tecnologia e por fim, considerações finais.

Introdução

Ter a capacidade de analisar, planejar e reagir de forma rápida e efetiva às mudanças do mercado é um dos fatores relevantes para o sucesso de uma organização. Para tal feito a empresa precisa se dispor de melhores e mais informações de base destes processos.

Essa tecnologia possibilita a manipulação de um grande volume de dados e trocas de informações em escala mundial, excluindo fronteiras e respostas com o menor tempo possível e a utilização de um sistema de apoio a decisão tem sido um diferencial dentro das empresas.

Dados dos mais variados tipos são gerados e armazenados diariamente. Entretanto, essas informações estão de modo geral, espalhadas nos mais diversos sistemas, exigindo um esforço considerável para obtê-las e consequentemente dar suporte e auxílio nas tomadas de decisões.

Por esse motivo, esse conceito e ferramentas tem ganhado cada vez mais espaço, o Data Warehouse é um deles, oferecendo uma maneira flexível e eficiente de obter as informações necessárias para chegar numa melhor decisão.

A importância do Data Warehouse nas empresas

Devido ao grande volume de informações e de computadores conectados, as empresas têm utilizado sistemas informatizados para a realização de processos importantes. Os sistemas convencionais não são projetados para armazenar informações estratégicas, o que torna os dados gerados vagos, sem oferecer qualquer apoio aos processos decisórios, decisões essas que são tomadas por meio da experiência dos administradores, que no caso poderiam ser baseados no histórico de dados armazenados. O uso desse histórico de dados, possibilita a identificação de uma potencial tendência no mercado, consequentemente posicionando a empresa de forma estratégica para ser mais efetiva quanto ao serviço e/ou produto que presta ou oferece.

Essa necessidade surgiu, quando os sistemas e aplicações comerciais, não conseguiam atender aquilo que era proposto por eles, mesmo gerando dados. Pensando nisso, conceituaram que a melhor forma de usar esses dados era, agrupá-los adequando aos seus usuários finais, obtendo um formato mais útil dos dados, permitindo assim, a análise e distribuição para os grupos competentes, aumentando a disponibilidade e acessibilidade. A organização dos dados, da melhor maneira possível dão o subsídio das informações que os gerentes e diretores das organizações precisam para que possam tomar decisões.

Definição de Data Warehouse

O Data Warehouse é um conjunto de técnicas que quando aplicadas juntas gera um sistema de dados que proporcionam informação para o apoio a tomadas de decisão. Cliente/Servidor é a sua arquitetura.

O warehouse extrai dados dos ambientes de produção da empresa, que foram selecionados e depurados, sido otimizados para o processamento e consultas. A diferença entro o Data Warehouse e o Banco de Dados convencional é que, ele permite possuir uma enorme quantidade de dados de múltiplas fontes, podendo incluir o banco de dados de diferentes modelos e arquivos de sistemas independentes e plataformas.

Sistemas de DW revitalizam os sistemas da empresa pois permite que sistemas mais antigos continuem em operação, consolidadão dados inconsistentes, extraem benefícios de novas informações oriundas das operações correntes, provêm ambientes para o planejamento e arquitetura de novos sistemas de cunho operacional.

Um Data Warehouse é construído para que tais dados possam ser armazenados e acessados de forma que não sejam limitados por tabelas e linhas estritamente relacionais. Elmasri e Navathe (1994) complementam ao afirmando que ele é um modelo de dados multidimensional que armazena dados de forma integrada e disponibiliza séries no tempo e análises de tendências por meio de banco de dados histórico e sem volatilidade. É interessante salientar que o DW está separado dos bancos de dados operacionais, portanto as consultas dos usuários não impactam nestes sistemas, que ficam resguardados de alterações indevidas ou perdas de dados.

Stair e Reynolds (2002) atestam que como o propósito do DW é suportar requisições de informações, esse tem como características: fonte de dados de arquivos múltiplos, de banco de dados internos e externos; os acessos dos usuários são para somente leitura; o modo de acesso primário aos dados se dá por consultas simples ou complexas, com uso crescente do data mining; utilização de um modelo de banco de dados relacional e multidimensional; os níveis de detalhes são frequentemente resumidos; dados históricos de múltiplos anos; há um processo periódico de atualização, mas esses são complexos, já que se combinam diversas fontes; e é necessário um grande esforço de limpeza dos dados para que esses fiquem íntegros.

Características do Data Warehouse

O DW possui algumas características tais como a orientação por assunto, a integração, variação no tempo, não volátil e sendo o mais importante a localização, credibilidade de dados e granularidade.

Orientação por assunto – Essa característica determina, por meio dos principais assuntos da empresa de como será feita a modelagem. Pois esse é o foco do DW, quando comparado aos sistemas de processos e aplicações específicas, ou seja, o sistema trabalha em torno de uma área estratégica escolhida pela empresa.

Integração – Por meio dela é possível padronizar de forma única os dados de formação do DW. A sua construção está basicamente na análise de dos sistemas de transação e nos dados contidos neles. Normalmente as empresas utilizam uma série de programas e é comum que esses sistemas não tenham um padrão no seu código de banco de dados, e isso no DW jamais deverá existir, por isso é realizada essa integração.

Varição no Tempo – São variáveis em relação ao tempo, seus dados ficam armazenadas em um período muito maior em relação aos sistemas transacionais, referindo-se a um momento específico, não atualizável, quando existe uma mudança, alteração, etc., uma nova entrada é criada para o registro dessa ocorrência. E por não atualizar esses dados gerados quando gerados, pode se dizer que vamos ter uma imagem fiel da época em que os dados foram gerados.

Não Volatilidade – No DW existem apenas duas operações, a carga inicial e as consultas dos front-ends aos dados. Após os dados serem tradados, eles são carregados em formato de blocos para o data warehouse, a fim de estarem disponíveis para os usuários. “No ambiente operacional, ao contrário, os dados são, em geral, atualizados registro a registro, em múltiplas transações. Esta volatilidade requer um trabalho considerável para assegurar integridade e consistência. Um data warehouse não requer este grau de controle típico dos sistemas orientados a transações, pois, no DW o que acontece é somente ler os dados na origem e gravá-los no destino, ou seja, no banco modelado multidimensional” - Gabriela, André e Felipe.

Localização – Os dados podem estar armazenados de três formas:

1.      Pode estar em apenas um local, a intenção desse formato de armazenado é maximizar o poder de processamento e agilizar a busca dos dados, sendo o mais utilizado, porém existe um investimento relativamente considerável em um hardware capaz de suportar a volumosa base de dados e uma capacidade de processamento apto para atender a quantidade de buscas instantâneas realizadas pelos usuários.

2.      Os distribuídos, são dados armazenados baseados na área de interesse, ou seja, cada setor possuí um servidor onde seus dados gerados são armazenados, dessa forma é possível atender a demanda de buscas feitas simultaneamente evitando a sobrecarga do servidor.

3.      Por nível de detalhes, que são separados em níveis de importância. Os dados são armazenados de forma resumida no primeiro servidor, dados intermediários em um segundo servidor e os dados mais detalhados no terceiro servidor por exemplo, onde os primeiros níveis armazenariam menos dados e com um muito mais acessos simultâneos e as camadas superiores, onde estariam os dados mais específicos e intermediários, com a capacidade de armazenamento maior e com baixo número de acesso.

Credibilidade dos Dados – É de suma importância para o sucesso de qualquer organização o trabalho com dados verídicos, pelo simples motivo de que esses dados servem de apoio para processos decisórios da empresa, podendo causar sérios problemas caso esses dados sejam falsos ou adulterados, gerando relatórios inúteis e decisões que comprometeram o futuro da empresa.

Granularidade – Nada mais é que o nível de detalhe ou resumo dos dados existentes no DW. Quanto maior for o nível de detalhes, menor será o nível de granularidade. Isso afeta diretamente na capacidade de armazenamento e na resposta à consulta.

Quanto maior for o nível de granularidade, menores são os recursos necessários como o espaço em disco e o número de índices, porém diminuí a possibilidade da consulta dos dados de forma detalhada.

Com o nível de granularidade for baixo, é possível responder basicamente qualquer consulta, mas exige muito dos recursos computacionais. Entretanto, no DW, dificilmente um evento isolado será examinado, sendo provável a utilização de um conjunto deles.

Dados levemente resumidos correspondem ao nível intermediário da estrutura do DW e quase sempre é armazenado no disco. Os dados que chegam nesse nível, sofrem alterações.

Os dados altamente resumidos devem ser de fácil acesso, pois e deles que os Sistemas de Informações Executivas conseguem as informações valiosas, enquanto os níveis anteriores para os Sistemas de Apoio a Decisão por trabalharem de forma analítica portanto precisam de dados com informações mais amplas.

O balanceamento no DW tem um aspecto crítico no planejamento, pois exige eficiência no armazenamento e no acesso dos dados, como também, pela capacidade de analisar esses dados em um maior nível de detalhes.

Conclusões Finais

A utilização do Data Warehouse permite o armazenamento de dados em níveis, como também a geração de dados integrados e históricos para o auxílio nos processos de tomada de decisão das organizações de forma ágil e eficiente, mostrando o quanto é útil sua utilização no mercado, para um melhor planejamento dos próximos passos que uma organização pode dar e se posicionar melhor no mercado.

Referências

DATAWAREHOUSE. Disponível em: <www.datawarehouse.inf.br.>

CAVALCANTI, Gabriela Góis; FELL, André Felipe de Albuquerque; DORNELAS, Jairo Simião (Ed.). Data Warehouse: uma ferramenta de tecnologia de informação para as organizações. Bauru: Gabriela Góis Cavalcanti, 2005. 12 p. DATA WAREHOUSE. Disponível em: <www.datawarehouse.com>.

ELMASRI, Ramez.; NAVATHE, Sham.. Fundamentals of database systems. 2nd ed. - Redwood City Calif. : Benjamin/Cummings, c1994