The data science design manual (SKIENA, 2017) Seção 3.

3
Esta seção descreve os potenciais problemas presentes em bases de dados reais e como tais
problemas podem afetar, ou até mesmo inviabilizar, o processo de ciência de dados.

An introduction to data science (SALTZ; STANTON, 2018) Capítulos 1 e 2

Apresenta o problema de limpeza e tratamento de dados de modo informal, evitando um
linguajar matemático.

Explorando e analisando os dados

Nesta unidade, discutiremos a importância de explorar os dados antes de iniciar o processo de
modelagem do problema. Vamos discutir duas ferramentas básicas bastante empregadas nessa tarefa:
estatística descritiva e visualização. Ao final, o estudante terá uma visão clara de como explorar uma
base de dados a fim de entender as propriedades e particularidades dos seus dos atributos.

A general introduction to data analytics (MOREIRA et al., 2018) Capítulo 2

Fornece noções básicas de ferramentas estatísticas tipicamente empregadas em ciência de
dados, mostrando como tais ferramentas podem ser empregadas para fins de exploração e
conhecimento do comportamento dos dados.

Exploratory data analysis

(Disponível em: <https://en.wikipedia.org/wiki/Exploratory_data_analysis>)
Traz um resumo sobre a etapa de exploração e análise de dados, adotando o ponto de vista
estatístico, o que requer alguma familiaridade com conceitos básicos de estatística para acompanhar
a narrativa.

Experimental design and analysis (SELTMAN, 2018) Capítulo 4

Apresenta com bom rigor matemático – estatístico – o problema de analisar e explorar dados,
requerendo alguma familiaridade com conceitos básicos de estatística por parte do leitor.

The data science design manual (SKIENA, 2017) Capítulo 6

Descreve técnicas e recursos de visualização que podem ser empregados no processo de
exploração dos dados, visando principalmente a compreender como os dados estão distribuídos nos
atributos.

17
Selecionando métodos e ajustando modelos
Nesta unidade, discutiremos como construir um modelo que “aprenda” o comportamento
dos dados, permitindo identificar grupos de instâncias semelhantes ou então realizar predições a
partir das informações contidas nos dados. Ao final desta unidade, o estudante terá conhecimento
da diferença entre métodos descritivos e preditivos e quais classes de problemas esses métodos
buscam resolver.

Data science, The MIT Press (KELLEHER; TIERNEY, 20180 Capítulo 5

Apresenta uma discussão informal sobre a questão de identificar o tipo de problema, as
técnicas a serem empregadas a cada tipo de problema e os resultados que podem ser obtidos a partir
de cada técnica.

Moving into data science as a career: mathematical models

(Disponível em: <https://towardsdatascience.com/moving-into-data-science-as-a-career-
mathematical-models-e13f30690b00>)
Discute o problema de modelagem matemática em ciência de dados a partir da perspectiva
das habilidades matemáticas e computacionais dos profissionais que atuam na área.

Numsense! Data science for the layman: no math added (NG; SOO, 2017) Seção 1.2 e 1.3
Apresenta o problema de como definir modelos matemáticos utilizando um linguajar não
matemático, sendo uma discussão pouco profunda.

The data science design manual (SKIENA, 2017) Seções 7.1 a 7.3
Fornece uma discussão mais técnica sobre os tipos de problemas e técnicas relacionadas a cada
um deles, apresentando uma taxonomia que permite claramente identificar e classificar problemas
e métodos.

Avaliando métodos e modelos

Nesta unidade, discutiremos a questão da avaliação de métodos descritivos e preditivos. Em
particular, estudaremos os diferentes tipos de métricas que podem ser utilizados e as suas particularidades
com relação ao tipo de dado e método. Discutiremos ainda, no caso de modelos preditivos, como
organizar os dados a fim de não incorrermos em avaliações errôneas ou equivocadas.

18
 A general introduction to data analytics (MOREIRA et al., 2018) Seção 5.2
Fornece uma visão geral do problema de avaliar a qualidade dos métodos e dos modelos
empregados no processo de extração e de geração de conhecimento.

Evaluating a machine learning model

(Disponível em: <https://www.jeremyjordan.me/evaluating-a-machine-learning-model>)
Discute de forma clara e ilustrativa os métodos utilizados para avaliar modelos matemáticos
utilizados em ciência de dados, discutindo métricas e recursos computacionais.

Important model evaluation error metrics everyone should know

(Disponível em: <https://www.analyticsvidhya.com/blog/2016/02/7-important-model-
evaluation-error-metrics>)
Apresenta de forma objetiva, porém pouco formal, a questão de avaliar a qualidade dos modelos
matemáticos utilizados em Ciência de Dados, discutindo as estratégias de avaliação mais utilizadas.

Numsense! Data science for the layman: no math added (NG; SOO, 2017) Seção 1.4
Apresenta o problema de avaliar modelos matemáticos utilizando uma linguagem não
matemática.

Data mining: practical machine learning tools and techniques (WITTEN et al., 2016)
Capítulo 5
Esta leitura é bastante técnica e fornece uma base sólida de conhecimentos sobre os
procedimentos empregados para avaliar métodos e modelos tipicamente empregados em ciência
de dados.

Conclusão do módulo
Neste módulo do curso, foram indicadas as leituras para o estudo das principais etapas do
processo de extração e geração de conhecimento, a partir de dados. As leituras e os estudos realizados
devem ter deixado claro que bases de dados reais apresentam inconsistências, dados faltantes e
atributos redundantes, demandando processamento específico antes de serem utilizadas. O aluno
deve ter adquirido ainda uma visão dos métodos empregados na exploração dos diferentes tipos de
dados, mostrando a importância de ferramentas estatísticas e de visualização nesse contexto.
Finalmente, o aluno deve ter compreendido a diferença entre métodos descritivos e preditivos, o
tipo de problema que cada um desses métodos pode tratar e a importância de avaliar a eficácia de
tais métodos.

19
20
MÓDULO IV – MÉTODOS MATEMÁTICOS E
COMPUTACIONAIS

Neste módulo, estudaremos ferramentas matemáticas e computacionais comumente

empregadas nas diversas etapas do processo de extração e geração de conhecimento em Ciência de
Dados. O foco deste módulo não é um detalhamento rigoroso das ferramentas matemáticas e
computacionais, mas, sim, apresentar os conceitos envolvidos de forma simples e intuitiva, de modo
que o estudante seja capaz de compreender o que tais ferramentas são capazes de realizar e quais são
as suas limitações.

Técnicas para tratamento e transformação de dados

Depois de estudar a unidade 4.1, o estudante terá conhecimento de como tratar dados faltantes,
como detectar informações discrepantes – os chamados outliers – e como realizar transformações de
escala, muito utilizadas em problemas reais. A importância e o impacto das transformações de escala
nos métodos descritivos e preditivos também serão discutidos e ilustrados.

A general introduction to data analytics (MOREIRA et al., 2018) Seções 4.1 a 4.4
Descreve os principais problemas presentes em bases de dados reais, fornecendo uma
discussão simplificada de como tratar tais problemas.

Dealing with missing data: key assumptions and methods for applied analysis (SOLEY-
BORI, 2013) Seções 1, 2, 3 e 4.1
Discute o problema específico de dados faltantes e por que são tão frequentes em aplicações
reais. Traz ainda uma discussão clara sobre as principais estratégias para contornar o problema de
dados faltantes, discutindo as vantagens e desvantagens de cada uma delas.
 Imputation: statistics
(Disponível em: <https://en.wikipedia.org/wiki/Imputation_(statistics)>)
Discute a questão de inserir informações para remover dados faltantes, apresentando de forma
resumida diferentes técnicas matemáticas e computacionais tipicamente empregadas nesse contexto.

The data science design manual (SKIENA, 2017) Seção 3.3 e 4.3
A seção 4.3 discute a questão de normalização dos dados e as suas implicações. O tema é
abordado com um linguajar matemático bastante formal.

Outlier analysis (AGGARWAL, 2017) Capítulo 1, Seção 1.1 a 1.3

Este é um livro todo dedicado ao problema de detecção de outliers. As seções 1.1 a 1.3
descrevem o problema de forma geral e apresentam estratégias simples, porém bastante empregadas,
de como abordar tal problema.

Análise de componentes principais

Nesta unidade, estudaremos uma das mais importantes técnicas de análise e transformação
de dados, a chamada Análise de Componentes Principais – do inglês Principal Component Analysis
(PCA). A técnica PCA será apresentada de modo que o estudante possa compreender como ela
funciona, qual o tipo de análise que ela proporciona e quais são as suas limitações.

A tutorial on principal components analysis (SMITH, 2002) Seção 3

Este artigo discute a técnica PCA do ponto de vista estatístico. O interessante é que traz toda
a fundamentação matemática necessária para a compreensão da dedução matemática do método.
Alunos com pouca familiaridade com conceitos básicos de estatística devem ler os capítulos 1 e 2.

Principal component analysis

(Disponível em: <http://setosa.io/ev/principal-component-analysis>)
Este site fornece uma ferramenta on-line por meio da qual se pode interagir com o conjunto
de dados e analisar o efeito da interação no cálculo das componentes principais.

22
 A one-stop shop for principal component analysis
(Disponível em: <https://towardsdatascience.com/a-one-stop-shop-for-principal-
component-analysis-5582fb7e0a9c>)
Apresenta o conceito de Análise de Componentes Principais com um linguajar informal e
não matemático. Fornece ainda uma lista de recursos computacionais e material on-line relacionado
com o tema.

Numsense! Data science for the layman: no math added (NG; SOO, 2017) Capítulo 3
Apresenta o conceito de Análise de Componentes Principais com um linguajar informal e
não matemático, buscando fornecer uma descrição intuitiva.

A tutorial on principal component analysis (SHLENS, 2014)

Este artigo fornece uma visão intuitiva do método PCA, apresentando em seguida um
detalhamento matemático de como o método funciona. Estudantes menos familiarizados com
noções de álgebra linear podem concentrar-se nas seções I, II e III.A.

Técnicas de agrupamento
Técnicas de agrupamento são métodos descritivos que buscam encontrar conjuntos de objetos
semelhantes, sendo extremamente úteis para revelar padrões que caracterizam conjuntos específicos
de objetos. Nesta unidade, estudaremos duas das principais técnicas de agrupamento, o método
Kmeans e agrupamento hierárquico, analisando as suas diferenças, vantagens e limitações.

A general introduction to data analytics (MOREIRA et al., 2018) Capítulo 5, Seções 51 e 5.3
Traz uma discussão mais detalhada sobre a questão da escolha da métrica para diferentes tipos
de dados e o impacto nos resultados de agrupamentos, apresentando exemplos.

K-means clustering
(Disponível em: <https://en.wikipedia.org/wiki/K-means_clustering>)
Aborda a técnica K-means de forma bastante detalhada, discutindo a sua formulação
matemática e os aspectos computacionais. Traz ainda uma lista de métodos que são variantes da
técnica K-means.

Hierarchical clustering
(Disponível em: <https://en.wikipedia.org/wiki/Hierarchical_clustering>)
Apresenta o método de agrupamento hierárquico forma intuitiva, ilustrando as principais etapas
do processo. Traz ainda uma lista de softwares existentes para o cálculo de agrupamento hierárquico.

23
 Numsense! Data science for the layman: no math added (NG; SOO, 2017) Capítulo 2
Discute a técnica K-means com um linguajar informal e não matemático, buscando fornecer
uma descrição intuitiva.

Introduction to data mining (TAN et al. 2005) Capítulo 8, Seções 8.1 a 8.3
Apresenta de forma bastante rigorosa as técnicas K-means e agrupamento hierárquico,
enfatizando aspectos matemático e computacionais. Fornece ainda uma discussão detalhada das
vantagens e desvantagens de cada uma das técnicas.

The data science design manual (SKIENA, 2017) Capítulo 10, Seção 10.5
Discute as técnicas de agrupamento K-means e agrupamento hierárquico de forma clara e
objetiva, apresentando ainda uma breve descrição de como avaliar técnicas de agrupamento.

Modelos de regressão
Modelos de predição, calculados via técnicas de regressão, são métodos preditivos muito
utilizados para inferir valores numéricos a partir de atributos também numéricos. Nesta
unidade, estudaremos uma classe particular de técnicas de regressão voltadas para a geração dos
chamados modelos lineares. Aprenderemos o que são tais modelos, como interpretá-los e como
avaliar a sua eficácia.

A general introduction to data analytics (MOREIRA et al., 2018) Capítulo 8, Seções 8.1,
8.2.1, 8.2.2 e 8.2.3
Fornece uma discussão detalhada sobre como avaliar modelos de predição, com ênfase na
questão de dividir dados de treinamento em treinamento e teste. Apresenta ainda uma discussão
importante sobre Bias e Variância.

Data science, The MIT Press (KELLEHER; TIERNEY, 2018) Capítulo 4, p. 97-120
Apresenta o problema de regressão linear com um linguajar não matemático, fornecendo uma
descrição intuitiva e acompanhada de diversos exemplos.

Linear regression
(Disponível em: <https://en.wikipedia.org/wiki/Linear_regression>)
Apresenta de forma bastante detalhada e completa o problema de regressão linear, discutindo
a questão de como interpretar o resultado da regressão e como generalizar o problema para outros
tipos de regressão.

24