Everand Logo

Bem-vindo(a) ao Everand!

  • Encontre milhões de e-books, audiobooks e muito mais com um período de teste gratuito

    Apenas $9.99/mês após o término do seu período de teste gratuito. Cancele a qualquer momento.

    Aprendendo Ciência De Dados
    Aprendendo Ciência De Dados
    Aprendendo Ciência De Dados
    E-book295 páginas1 hora

    Aprendendo Ciência De Dados

    De Jideon Francisco Marques

    ()

    Ler a amostra

    Sobre este e-book

    Descrição do livro Como aspirante a cientista de dados, você entende por que as organizações confiam nos dados para decisões importantes, seja para empresas projetando sites, cidades decidindo como melhorar serviços ou cientistas descobrindo como impedir a propagação de doenças. E você quer as habilidades necessárias para destilar uma pilha confusa de dados em insights acionáveis. Chamamos isso de ciclo de vida da ciência de dados: o processo de coletar, discutir, analisar e tirar conclusões dos dados. Learning Data Science é o primeiro livro a abordar habilidades fundamentais em programação e estatística que abrangem todo esse ciclo de vida. É voltado para aqueles que desejam se tornar cientistas de dados ou que já trabalham com cientistas de dados e para analistas de dados que desejam cruzar a divisão técnico/não técnico . Se você tiver um conhecimento básico de programação Python, aprenderá a trabalhar com dados usando ferramentas padrão do setor, como pandas. Refinar uma questão de interesse para uma que possa ser estudada com dados Buscar a coleta de dados que pode envolver processamento de texto, web scraping, etc. Obtenha informações valiosas sobre dados por meio de limpeza, exploração e visualização de dados Aprenda a usar a modelagem para descrever os dados Generalizar descobertas além dos dados
    IdiomaPortuguês
    EditoraClube de Autores
    Data de lançamento13 de nov. de 2022
    Aprendendo Ciência De Dados

    Leia mais títulos de Jideon Francisco Marques

    Relacionado a Aprendendo Ciência De Dados

    Ebooks relacionados

    Aplicativos e Software para você

    Visualizar mais
    Visualizar mais

    Episódios de podcast relacionados

    Artigos relacionados

    • Artigo

      Inovações Para A Década

      17 de dez. de 2020

      Inovações Para A Década
      9 minutos lidos

    • Artigo

      Saúde Tech

      20 de abr. de 2021

      Saúde Tech
      6 minutos lidos

    • Artigo

      Empreendedorismo Do Bem

      20 de set. de 2021

      Empreendedorismo Do Bem
      2 minutos lidos

    • Artigo

      Métricas Sociais

      20 de mai. de 2021

      Métricas Sociais
      1 minutos lidos

    • Artigo

      O Que O Google Pode Te Ensinar

      20 de set. de 2021

      O Que O Google Pode Te Ensinar
      3 minutos lidos

    • Artigo

      O Poder Da Influência

      15 de fev. de 2022

      O Poder Da Influência
      8 minutos lidos

    • Artigo

      //opinião

      20 de jul. de 2021

      //opinião
      2 minutos lidos

    • Artigo

      Loja Virtual E Verde

      31 de mar. de 2021

      Loja Virtual E Verde
      7 minutos lidos

    • Artigo

      Top 5

      15 de jul. de 2022

      É comum que os micro, pequenos e médios empreendedores acumulem funções, por conta das equipes reduzidas que formam esses tipos de negócio. Nesse contexto, contar com a tecnologia é fundamental para suprir todas as tarefas de forma otimizada e efetiv

      2 minutos lidos

    • Artigo

      E-mail Marketing De Primeira

      15 de ago. de 2022

      E-mail Marketing De Primeira
      4 minutos lidos

    • Artigo

      Redes Sociais Estratégicas

      15 de ago. de 2022

      Ofato de que os clientes pesquisam na internet antes de comprar produtos ou contratar serviços não é mais novidade. Por conta disso, a presença nas redes sociais é ponto fundamental para qualquer empresa que deseje ser encontrada. Afinal, essas plata

      3 minutos lidos

    • Artigo

      Comunicação Online

      20 de out. de 2021

      in in/hortenciano Com uma série de canais à disposição, empresas de todos os portes precisam estar preparadas para atender os consumidores em diferentes meios. Segundo o estudo “State of Customer Service”, desenvolvido pela Microsoft com base na tran

      2 minutos lidos

    • Artigo

      A Próxima Geração De Dados

      15 de jun. de 2022

      A Próxima Geração De Dados
      5 minutos lidos

    • Artigo

      Podcasts para PMEs

      20 de set. de 2021

      Podcasts para PMEs
      4 minutos lidos

    • Artigo

      //opinião

      20 de jun. de 2021

      in ariannereis É impressão minha ou ganhamos uma série de “gurus do marketing” durante esta pandemia? Pessoas que garantem a fórmula para fazer crescer as redes sociais. Ou, ainda, que vendem cursos autointitulando-se como especialistas em marketing

      2 minutos lidos

    • Artigo

      Gestão De Atendimento

      20 de abr. de 2021

      GERENTE-EXECUTIVA DO DESK360 in/carolinalivolis Esclarecer dúvidas, orientar as pessoas e resolver problemas figuram entre os muitos fatores que contribuem para que as empresas prestem um bom serviço de comunicação ao cliente. Não à toa, o atendiment

      2 minutos lidos

    • Artigo

      O Poder Dos Leads

      20 de ago. de 2021

      O Poder Dos Leads
      1 minutos lidos

    • Artigo

      10 Técnicas Para Gerar Leads

      20 de ago. de 2021

      Há diversas técnicas que podem auxiliar converter tráfego em leads. Cabe à empresa entender quais delas são ideais para conquistar o cliente, de acordo com seu estágio de interação. Se você está começando essa jornada, confira quais são as 10 estraté

      4 minutos lidos

    • Artigo

      A Licença Social Do Vinho

      4 de fev. de 2023

      A Licença Social Do Vinho
      6 minutos lidos

    • Artigo

      Beber Com Os AMIGOS

      15 de mai. de 2020

      Beber Com Os AMIGOS
      1 minutos lidos

    • Artigo

      Slow Food/big Food: Comida De Mentira

      12 de fev. de 2022

      Slow Food/big Food: Comida De Mentira
      2 minutos lidos

    • Artigo

      Marketing De Crescimento

      15 de jan. de 2022

      Marketing De Crescimento
      6 minutos lidos

    • Artigo

      Storydoing

      20 de out. de 2021

      Storydoing
      1 minutos lidos

    • Artigo

      Seu Tempo Sob Controle

      15 de set. de 2022

      Seu Tempo Sob Controle
      3 minutos lidos

    • Artigo

      O Debate Do Álcool

      3 de mai. de 2023

      O Debate Do Álcool
      1 minutos lidos

    • Artigo

      Para Ficar De Olho Em 2022

      20 de out. de 2021

      Para Ficar De Olho Em 2022
      2 minutos lidos

    • Artigo

      Como Crescer No Mundo Digital

      15 de jul. de 2022

      Como Crescer No Mundo Digital
      3 minutos lidos

    • Artigo

      Anatomia Do Produto Na Internet

      15 de abr. de 2022

      Anatomia Do Produto Na Internet
      7 minutos lidos

    • Artigo

      Todos pelo Ralph

      20 de jun. de 2021

      Todos pelo Ralph
      3 minutos lidos

    Categorias relacionadas

    Avaliações de Aprendendo Ciência De Dados

    0 notas

    0 avaliação0 avaliação

    O que você achou?

    Toque para dar uma nota

    A avaliação deve ter pelo menos 10 palavras

      Pré-visualização do livro

      Aprendendo Ciência De Dados - Jideon Francisco Marques

      Aprendendo ciência de dados

      Aprendendo ciência de dados

      Fundamentos de programação e estatística usando python

      Por Jideon F. Marques

      © Copyright 2022 Jideon Marques - Todos os direitos reservados.

      O conteúdo deste ebook não pode ser reproduzido, duplicado ou transmitido sem permissão direta por escrito do autor ou do editor.

      Sob nenhuma circunstância qualquer culpa ou responsabilidade legal será imputada ao editor, ou autor, por quaisquer danos, reparações ou perdas monetárias devido às informações contidas neste ebook, direta ou indiretamente.

      Notícia legal:

      Este ebook é protegido por direitos autorais. É apenas para uso pessoal. Você não pode alterar, distribuir, vender, usar, citar ou parafrasear qualquer parte ou o conteúdo deste ebook sem o consentimento do autor ou editor.

      Aviso de isenção de responsabilidade:

      Observe que as informações contidas neste documento são apenas para fins educacionais e de entretenimento. Todo esforço foi feito para apresentar informações precisas, atualizadas, confiáveis e completas. Nenhuma garantia de qualquer tipo é declarada ou implícita. Os leitores reconhecem que o autor não está envolvido na prestação de aconselhamento jurídico, financeiro, médico ou profissional. O conteúdo deste ebook foi derivado de várias fontes. Consulte um profissional médico licenciado antes de tentar este programa ou qualquer técnica descrita neste ebook.

      Ao ler este documento, o leitor concorda que em nenhuma circunstância o autor é responsável por quaisquer lesões, morte, perdas, diretas ou indiretas, que sejam incorridas como resultado do uso das informações contidas neste documento, incluindo, mas não limitado a a, erros, omissões ou imprecisões.

      Índice

      1. Perguntas e Escopo dos Dados

      Big Data e novas oportunidades

      Exemplo: Google Tendências da Gripe

      População Alvo, Quadro de Acesso, Amostra

      Instrumentos e Protocolos

      Medindo o Fenômeno Natural

      Precisão

      Tipos de preconceito

      Tipos de Variação

      Resumo

      Exercícios

      2. Simulação e Design de Dados

      O modelo da urna

      Projetos de Amostragem

      Distribuição de amostragem de uma estatística

      Simulando a Distribuição de Amostragem

      O Hipergeométrico

      Exemplo: Simulação de Viés e Variação de Pesquisa Eleitoral

      O modelo de urna da Pensilvânia

      Um modelo de urna com viés

      Conduzindo enquetes maiores

      Exemplo: Simulando um teste randomizado para uma vacina

      Alcance

      O modelo de urna para atribuição aleatória

      Exemplo: Erro de Medição na Qualidade do Ar

      Resumo

      Exercícios

      3. Modelagem com Estatísticas Resumidas

      O modelo constante

      Funções de perda

      Erro absoluto médio

      Erro quadrático médio

      Escolhendo funções de perda

      Resumo

      Exercícios

      4. Trabalhando com dataframes usando pandas

      Subconjunto

      Sobre os dados

      DataFrames e Índices

      Fatiamento

      Filtrando Linhas

      Exemplo: Há quanto tempo Luna se tornou um nome popular?

      Aprendizado

      Agregando

      Grupo básico-agregado

      Agrupamento em várias colunas

      Funções de agregação personalizadas

      Exemplo: as pessoas se tornaram mais criativas com nomes de bebês?

      Pivotante

      Aprendizado

      Juntando-se

      Junções internas

      Junções Esquerda, Direita e Externa

      Exemplo: popularidade das categorias de nomes do NYT

      Aprendizado

      Transformando

      Aplicar

      Exemplo: popularidade de nomes L

      O preço de aplicação

      Aprendizado

      Como os Dataframes são Diferentes de Outras Representações de Dados?

      Dataframes e planilhas

      Dataframes e matrizes

      Dataframes e Relações

      Resumo

      Exercícios

      5. Trabalhando com relações usando SQL

      Subconjunto

      Sobre os dados

      O que é uma Relação?

      Fatiamento

      Filtrando Linhas

      Exemplo: Há quanto tempo Luna se tornou um nome popular?

      Aprendizado

      Agregando

      Grupo básico-agregado

      Agrupamento em várias colunas

      Outras funções de agregação

      Exemplo: as pessoas se tornaram mais criativas com nomes de bebês?

      Aprendizado

      Juntando-se

      Junções internas

      Junções Esquerda, Direita e Externa

      Exemplo: popularidade das categorias de nomes do NYT

      Aprendizado

      Transformando

      Funções SQL

      Consultas de várias etapas usando uma cláusula WITH

      Exemplo: popularidade de nomes L

      Aprendizado

      Como as relações são diferentes de outras representações de dados?

      Relações e planilhas

      Relações e Matrizes

      Relações e Dataframes

      Conclusão

      Exercícios

      6. Disputando Arquivos

      Exemplos de fonte de dados

      Pesquisa da Rede de Alerta de Abuso de Drogas (DAWN)

      Segurança Alimentar do Restaurante San Francisco

      Formatos de arquivo

      Formato delimitado

      Formato de largura fixa

      Formatos hierárquicos

      Formatos pouco estruturados

      Codificação de arquivo

      Tamanho do arquivo

      Trabalhando com grandes conjuntos de dados

      As ferramentas de shell e linha de comando

      Forma e Granularidade da Mesa

      Granularidade das Inspeções e Violações de Restaurantes

      Forma e granularidade do levantamento DAWN

      Resumo

      Capítulo 1. Perguntas e Escopo dos Dados

      Como cientistas de dados, usamos dados para responder a perguntas, e a qualidade do processo de coleta de dados pode afetar significativamente a validade e a precisão dos dados, a força das conclusões que tiramos de uma análise e as decisões que tomamos. Neste capítulo, descrevemos uma abordagem geral para entender a coleta de dados e avaliar a utilidade dos dados para abordar a questão de interesse. Idealmente, buscamos que os dados sejam representativos do fenômeno que estamos estudando, seja esse fenômeno uma característica populacional, um modelo físico ou algum tipo de comportamento social. Normalmente, nossos dados não contêm informações completas (o escopo é restrito de alguma forma), mas queremos usar os dados para descrever com precisão uma população, estimar uma quantidade científica, inferir a forma de uma relação entre características, ou prever resultados futuros. Em todas essas situações, se nossos dados não forem representativos do objeto de nosso estudo, nossas conclusões podem ser limitadas, possivelmente enganosas ou até erradas.

      Para motivar a necessidade de pensar sobre essas questões, começamos com um exemplo do poder do big data e o que pode dar errado [big datas]. Em seguida, fornecemos uma estrutura que pode ajudá-lo a conectar o objetivo do seu estudo (sua pergunta) com o processo de coleta de dados. Nós nos referimos a isso como o escopo de dados1, e fornecem terminologia para ajudar a descrever o escopo dos dados, juntamente com exemplos de pesquisas, dados governamentais, instrumentos científicos e recursos online. Mais adiante neste capítulo, consideraremos o que significa que os dados sejam precisos. Lá, apresentamos diferentes formas de viés e variação e descrevemos as condições em que elas podem surgir. Por toda parte, os exemplos cobrem o espectro dos tipos de dados que você pode estar usando como cientista de dados; esses exemplos são da ciência, eleições políticas, saúde pública e comunidades online.

      Big Data e novas oportunidades

      O tremendo aumento de dados disponíveis abertamente criou novos papéis e oportunidades na ciência de dados. Por exemplo, os jornalistas de dados procuram histórias interessantes nos dados, da mesma forma que os repórteres tradicionais procuram notícias. O ciclo de vida de dados para o jornalista de dados começa com a busca de dados existentes que possam ter uma história interessante, em vez de começar com uma questão de pesquisa e procurar como coletar dados novos ou usar dados existentes para abordar a questão.

      Projetos de ciência cidadã são outro exemplo. Eles envolvem muitas pessoas (e instrumentos) na coleta de dados. Coletivamente, esses dados são frequentemente disponibilizados aos pesquisadores que organizam o projeto e muitas vezes são disponibilizados em repositórios para que o público em geral possa investigar melhor.

      A disponibilidade de dados administrativos/organizacionais cria outras oportunidades. Os pesquisadores podem vincular dados coletados de estudos científicos com, digamos, dados médicos coletados para fins de saúde; em outras palavras, dados administrativos coletados por motivos que não decorrem diretamente da questão de interesse podem ser úteis em outros contextos. Essas ligações podem ajudar os cientistas de dados a expandir as possibilidades de suas análises e verificar a qualidade de seus dados. Além disso, os dados encontrados podem incluir rastros digitais, como sua atividade de navegação na web, postagens em mídias sociais e rede online de amigos e conhecidos, e podem ser bastante complexos.

      Quando temos grandes quantidades de dados administrativos ou rastros digitais expansivos, pode ser tentador tratá-los como mais definitivos do que os dados coletados de pesquisas tradicionais menores. Podemos até considerar esses grandes conjuntos de dados como um substituto para estudos científicos ou essencialmente um censo. Esse excesso de alcance é chamado de hubris do big data (Lazer et al. 2014). Dados com um escopo grande não significam que podemos ignorar questões fundamentais de quão representativos são os dados, nem podemos ignorar questões de medição, dependência e confiabilidade. Um exemplo bem conhecido é o sistema de rastreamento Google Flu Trends.

      Exemplo: Google Tendências da Gripe

      A epidemiologia digital, um novo subcampo da epidemiologia, aproveita dados gerados fora do sistema público de saúde para estudar padrões de doenças e dinâmicas de saúde em populações2O sistema de rastreamento Google Flu Trends (GFT) foi um dos primeiros exemplos de epidemiologia digital. Em 2007, os pesquisadores descobriram que contar as pesquisas que as pessoas faziam por termos relacionados à gripe poderia estimar com precisão o número de casos de gripe. Ele ganhou as manchetes e ajudou a deixar os pesquisadores empolgados com as possibilidades do big data. No entanto, a GFT não correspondeu às expectativas e foi abandonada em 2015.

      O que deu errado com a GFT? Afinal, ele usou milhões de rastros digitais de consultas on-line para termos relacionados à gripe para prever a atividade da gripe. Apesar do sucesso inicial, na temporada de gripe de 2011-2012, os cientistas de dados do Google descobriram que a GFT não era um substituto para dados mais tradicionalmente coletados dos relatórios de vigilância dos Centros de Controle de Doenças (CDC), coletados de laboratórios nos Estados Unidos. Em comparação, a GFT superestimou os números do CDC em 100 das 108 semanas (verFigura 1-1). Semana após semana, a GFT ficou muito alta para os casos de gripe, embora fosse baseada em big data.

      Images/GFTseries.png

      Figura 1-1. Estimativas semanais do Google Flu Trend (GFT) para doenças semelhantes à gripe. Por 108 semanas, a GFT (linha contínua) estimou os relatórios reais do CDC (linha tracejada) 100 vezes. Também são plotadas as previsões de um modelo baseado em dados do CDC de 3 semanas e tendências sazonais (linha pontilhada).

      Os cientistas de dados descobriram que a GFT não era um substituto para dados mais tradicionalmente coletados do CDC. Um modelo simples construído a partir de relatórios anteriores do CDC que usaram dados do CDC de 3 semanas e tendências sazonais fez um trabalho melhor de prever a prevalência da gripe do que a GFT. Ou seja, a GFT ignora informações consideráveis que poderiam ser extraídas por métodos estatísticos básicos. Isso não significa que o big data capturado da atividade online seja inútil. De fato, os pesquisadores mostraram que a combinação de dados de GFT com dados de CDC pode melhorar substancialmente tanto nas previsões de GFT quanto no modelo baseado em CDC (Lazer 2015). Muitas vezes, a combinação de diferentes abordagens leva a melhorias em relação aos métodos individuais.

      O exemplo da GFT nos mostra que, mesmo quando temos enormes quantidades de informações, as conexões entre os dados, o tópico da investigação e a pergunta que está sendo feita são primordiais. Compreender essa estrutura pode nos ajudar a evitar responder à pergunta errada, aplicar métodos inadequados aos dados e exagerar nossas descobertas.

      Na era do big data, somos tentados a coletar cada vez mais dados. Afinal, um censo nos dá informações perfeitas, então o big data não deveria ser quase perfeito? Um fator-chave a ter em mente é o escopo dos dados. Que população queremos estudar? Como podemos acessar informações sobre essa população? Quem ou o que estamos realmente estudando? As respostas a essas perguntas nos ajudam a ver possíveis lacunas em nossa abordagem. Este é o tema da próxima seção.

      População Alvo, Quadro de Acesso, Amostra

      Um passo inicial importante no ciclo de vida dos dados é expressar a pergunta de interesse no contexto da área de assunto e considerar

      Está gostando da amostra?
      Página 1 de 1