Amostra
Amostra
Amostra
OBJETIVOS DE APRENDIZAGEM
Introdução
Atualmente, a cada dia surgem novos dispositivos e aplicações, além de novas
tecnologias, como Internet das Coisas (IoT) e computação em nuvem, que são
muito utilizadas pessoal e profissionalmente. As mais diversas áreas fazem uso
de tecnologias digitais para comunicação, execução de processos, diversão,
informação, etc. Tudo isso facilita o dia a dia, tornando a sociedade dependente
da tecnologia. Dessa forma, um imenso volume de dados é gerado diariamente,
também chamado de big data. Assim, a big data analytics serve para realizar
o processamento e a análise desses conjuntos de dados.
Neste capítulo, você verá uma introdução sobre big data analytics, incluindo
a definição de big data e o cenário onde se aplica, com exemplos do mundo
real para melhor entendimento. Por fim, encontrará uma comparação entre
data science e business intelligence.
12 Introdução à big data analytics
Big data
Big data pode ser definido como conjuntos de dados cujo volume, velocidade
e variedade são tão grandes que tornam difícil seu armazenamento, gerencia-
mento, processamento e análise com uso de banco de dados e ferramentas
de processamento tradicionais. Nos últimos anos, houve um crescimento
colossal de dados gerados nos ramos de tecnologia da informação (TI),
indústrias, saúde, IoT e em outros sistemas envolvendo quase todos os setores
da sociedade. Uma estimativa da IBM de 2019 concluiu que 2,5 quintilhões de
bytes de dados são criados diariamente (BAHGA; MADISETTI, 2019).
Sob o guarda-chuva do conceito de big data, podemos incluir:
Mas como chegamos a essa era de big data? Isso ocorreu paulatinamente,
com o avanço constante da tecnologia e de inúmeras soluções capazes de
facilitar as ações diárias das pessoas, além de transformar totalmente modos
de comunicação e gerar novas estratégias de negócios. Observe o Quadro 1:
(Continuação)
Para que um projeto de big data seja desenvolvido de forma correta a fim
de realmente atingir seus objetivos, existem alguns passos que podem ser
seguidos (MARQUESONE, 2017). O primeiro passo deve ser a identificação de
quais perguntas se deseja responder com os dados gerados. Assim, é preciso
definir quais informações devem ser extraídas de um conjunto de dados.
O segundo passo envolve a captura e armazenamento dos dados. Nessa
etapa, é preciso identificar quais fontes de dados serão utilizadas e como os
dados serão extraídos, sendo necessário definir as soluções adequadas para
armazenar cada tipo de dado. Com os dados armazenados, a próxima etapa
envolve o processamento e a análise dos dados, em que são determinas as tec-
nologias de big data a serem adotadas, oferecendo escalabilidade e desempenho
às aplicações. Para finalizar, a última etapa se refere à visualização dos dados,
em que são utilizadas técnicas de criação de gráficos dinâmicos e interativos.
No cenário atual, ferramentas de big data pode ser aplicadas nas mais
diferentes áreas, incluindo as examinadas a seguir (MARQUESONE, 2017).
Para que esses dados sejam utilizados de modo a permitir insights que
revelem novas fontes de valor para os negócios, as organizações devem obter
novas arquiteturas de dados, ferramentas, métodos analíticos e integração
de diversas habilidades junto a seus funcionários responsáveis pela análise
dos dados (EMC EDUCATION SERVICES, 2015).
prever algo: se, por exemplo, uma transação é fraude ou não, se vai
chover em um dia específico, se um tumor é benigno ou maligno, etc.;
encontrar padrões nos dados: descobrir as páginas mais visitadas em
determinado site ou as celebridades mais pesquisadas em determinado
período, por exemplo;
encontrar relações entre dados: buscar artigos e notícias semelhantes,
pacientes compatíveis em um sistema de registro eletrônico, correlação
entre itens de notícias e preços de ações, entre outros.
Introdução à big data analytics 17
Exploratória
Data
Abordagem science
analítica
Business
intelligence
Histórica
Passado Tempo Futuro
Data science
A data science é uma combinação de diversos campos para extração de valores
de dados, incluindo estatística, métodos científicos, inteligência artificial e
análise de dados. O profissional que atua na área é chamado de cientista
de dados. Esse profissional combina várias habilidades para analisar dados
coletados da web, de clientes, smartphones, sensores e demais fontes que
possam gerar insights. A data science envolve preparação de dados para
análise, o que inclui sua limpeza, agregação e manipulação para realização
de análises avançadas. Após isso, aplicativos analíticos e cientistas de dados
podem visualizar os resultados e descobrir os padrões gerados.
Em data science, a tendência é a utilização de dados de maneira prospectiva
e exploratória, focando na análise do presente, além de possibilitar informa-
ções para decisões futuras. Digamos que uma empresa varejista busca prever
vendas futuras de produtos e receitas utilizando análise de série temporal,
ou seja, coletando observações sequenciais ao longo do tempo. Nesse caso,
em comparação com a BI, a data science funciona como uma ferramenta mais
exploratória e utiliza otimizações de cenários para lidar com questões mais
abertas, concentrando-se em responder questões envolvendo como e por
que tal evento ocorreu.
A data science trabalha com dados estruturados, semiestruturados e não
estruturados, cuja abordagem tem a capacidade de fornecer visualizações
de padrões e percepções que não são humanamente possíveis. Assim, a data
science envolve descoberta, criação de conhecimento, afirmação e comu-
nicação de padrões, associações, classificações e aprendizagem de dados.
Os padrões identificados apresentam formas geométricas com repre-
sentações matemáticas capazes de explicar as relações e associações entre
elementos de dados. Os métodos de big data analytics fornecem exploração
de dados, visualização e modelos adaptativos robustos, que não sofrem com
as mudanças nos dados, pois o recurso de aprendizado de máquina dos mo-
delos analíticos avançados é capaz de aprender com as mudanças ocorridas
e se adaptar ao modelo conforme necessário. Assim, é correto afirmar que a
data science é baseada em modelos.
22 Introdução à big data analytics
BI
BI é uma combinação de coleta e armazenamento de dados, além de gerencia-
mento de conhecimento, para avaliação e transformação de dados complexos
em informações significativas, usadas para apoiar tomadas de decisões
estratégicas nas empresas. A BI fornece relatórios, painéis e consultas sobre
dados empresariais para o período corrente ou para o passado. Digamos,
por exemplo, que uma empresa varejista busca uma análise da receita tri-
mestral até a data atual, do progresso em direção às metas trimestrais e do
quanto determinado produto foi vendido em trimestre ou até o ano anterior.
Nesse caso, sistemas de BI fornecem tais respostas. A tendência é que as
respostas sejam fechadas, explicando comportamento atual ou passado
a partir de dados históricos. Ou seja, a BI gera vislumbres retrospectivos
e algumas percepções, respondendo a perguntas de quando e onde um
determinado evento ocorreu.
Seu objetivo é a transformação de dados brutos em informações, percep-
ções e significados para fins comerciais. Para isso, obtém um instantâneo
de informações pelo do uso de painéis estáticos. A BI trabalha com dados
estruturados e considerados precisos, que devem ser normalizados e com-
pletos, sendo geralmente organizados em linhas e colunas. Dados fora do
intervalo ou díspares são removidos antes que sejam processados. Para a
execução do processamento, são utilizadas estatísticas matemáticas simples
e descritivas. como média, moda e linhas de tendência.
O Quadro 2 apresenta um resumo das principais diferença entre as abor-
dagens de data science e BI.
Introdução à big data analytics 23
Data science BI
De modo geral, os dados afetam cada parte de nossas vidas, e com o big
data analytics é possível processar e analisar grandes volumes, entendo
padrões e comportamentos dos consumidores e utilizando tais informações
como vantagem competitiva.
Referências
BAHGA, A.; MADISETTI, V. Big data analytics: a hands-on approach. [S. l.]: Hands-on
Approach Textbooks, 2019.
CHAI, W. Big data analytics. [S. l.: s. n.], 2021. Disponível em: https://searchbusinessa-
nalytics.techtarget.com/definition/big-data-analytics. Acesso em: 20 set. 2021.
EMC EDUCATION SERVICES. Data science & big data analytics: discovering, analyzing,
visualizing and presenting data. Indianopolis: John Wiley & Sons, 2015.
GHAVAMI, P. Big data analytics methods: analytics techniques in data mining, deep
learning and natural language processing. 2. ed. Boston: De Gruyter, 2020.
HURWITZ, J. S. et al. Big data for dummies. New Jersey: John Wiley & Sons, 2013.
MARQUESONE, R. Big data: técnicas e tecnologias para extração de valor dos dados.
São Paulo: Casa do Código, 2017.
SATPATHY, S.; MOHANTY, S. N. Big data analytics and computing for digital forensic
investigations. Boca Raton: CRC Press, 2020.