Talend Guia de Orientação

parei
TREINAMENTO
Talend Data Integration
Apostila com os comandos das
vídeoaulas e exercícios de fixação
Apostila criada por Grimaldo Oliveira

Agosto/2017
Informações
CURSO: DIREITOS:
Talend Data Integration Uso da apostila deve ser autorizado,
WEB SITE DE ACESSO AO CURSO: caso o estudante venha a utilizá-la fora
www.aprendavirtual.com do ambiente virtual do curso. Enviar e-
mail para solicitação.
DATA CRIAÇÃO:
REVISÃO: 4.0
17/04/2017
DATA ÚLTIMA MODIFICAÇÃO:
VERSÃO: 7.0
18/08/2017
AUTOR EMAIL:
Grimaldo Lopes de Oliveira [email protected]

SOBRE O PROFESSOR
Grimaldo é baiano e soteropolitano. Fez graduação em Estatística pela Universidade Federal

da Bahia e logo em seguida uma especialização na Área de Mineração de Dados/BI na
Faculdade Visconde de Cairu. Após esta formação, "mergulhou" na área. Trabalha com
Ferramentas OLAP e Estatísticas: OBIEE, DISCOVERY, SAS, R, QLIK SENSE, ORACLE
DATA VISUALIZATION, TABLEAU, POWER BI, WEKA, OWB, TALEND quando começou a
extrair dados dos bancos de dados e passou a gerar análises estatísticas nestas ferramentas.
Atualmente trabalha com Business Intelligence na PRODEB. Também é mestre em Gestão e
Tecnologia Aplicadas à Educação (Gestec), pela Universidade do Estado da Bahia, editor do
blog BI com Vatapá, Autor do Livro BI COMO DEVE SER e do Guia prático – Resumo BI -
Concurso e Profissionais.
Conheça Grimaldo:
Livro: BI COMO DEVE SER - www.bicomodeveser.com.br
Blog: www.bicomvatapa.blogspot.com
Site: www.aprendavirtual.com - Seu Site de Cursos EAD
Facebook:www.facebook.com/groups/bicomvatapa/
Perfil:br.linkedin.com/in/grimaldo
Sumário
INTRODUÇÃO ............................................................................................................................ 4
APRESENTAÇÃO ..................................................................................................................................................... 4
SOBRE ESTE DOCUMENTO ......................................................................................................................................... 4
RECURSOS NECESSÁRIOS .......................................................................................................................................... 4
OBJETIVO............... .............................................................................................................................................. 6
ENTENDENDO O TALEND DATA INTEGRATION ................................................................................................................. 7
INSTALAÇÃO O TALEND DATA INTEGRATION .................................................................................................................. 8
ESTRUTURA DE FUNCIONAMENTO DO TALEND DATA INTEGRATION...................................................................................... 10
PRIMEIROS PASSOS COM O TALEND DATA INTEGRATOR ................................................................................................... 12
Construção do DW ......................................................................................................................................................... 21
TRABALHO PRÁTICO ................................................................................................................ 22

CARGA DA STAGING................................................................................................................. 24
TRANSFORMAÇÃO DOS DADOS ............................................................................................... 27
CARGA TABELA STAGING FATO ................................................................................................ 29
CARGA DA DIMENSÃO ............................................................................................................. 31
CARGA DA DIMENSÃO TEMPO ................................................................................................. 40
CARGA DA FATO ...................................................................................................................... 42
AUTOMATIZAÇÃO DAS CARGAS ............................................................................................... 50
PRINCIPAIS COMPONENTES DO TALEND DATA INTEGRATION................................................... 54
TFILEARCHIVE ............................................................................................................... 55
TFILEUNARCHIVE .......................................................................................................... 57
TFILECOMPARE E TFILEOUTPUTDELIMETED ................................................................... 58
TFILECOPY E TFILELIST ................................................................................................... 59
TFILEDELETE E TJAVA .................................................................................................... 61
TFILEEXIST ETMSGBOX .................................................................................................. 63
TFILEROWCOUNT.......................................................................................................... 65
TAGGREGATEROW, TSORTROW E TLOGROW ................................................................ 67
TREPLACE E TFILTERCOLUMN ........................................................................................ 70
TFILTERROW ................................................................................................................. 74
TSPLITROW................................................................................................................... 76
TFILEINPUTXML ............................................................................................................ 79
TLOGCATCHER , TROWGENERATION,TDIE E TLOGROW ................................................. 85
TLOGCATCHER , TROWGENERATION,TWARN E TLOGROWERRO! INDICADOR NÃO DEFINIDO.
TSENDMAIL .................................................................................................................. 89
VARIÁVEL DE CONTEXTO.......................................................................................................... 90
EXPORTAR JOB ........................................................................................................................ 94
EXPORTAR PROJETO ................................................................................................................ 96
IMPORTAR PROJETO ................................................................................................................ 98
EXERCÍCIOS FINAIS PARA EMISSÃO DO CERTIFICADO DE PARTICIPAÇÃO ............................................................................... 101
Primeira Bateria de Exercícios....................................................................................................................... 102
Segunda Bateria de Exercícios ...................................................................................................................... 103
CONSIDERAÇÕES IMPORTANTES .............................................................................................104

CONSIDERAÇÕES IMPORTANTES .............................................................................................................................. 104
Futuras atualizações ....................................................................................................................................... 104
APÊNDICE............ ...................................................................................................................105
GLOSSÁRIO DE SIGLAS E TERMOS ............................................................................................................................. 105
Curso EAD Talend Data Integration
Prof. Grimaldo Oliveira
[email protected]
Introdução
"O pessimista vê dificuldade em cada oportunidade; o otimista vê oportunidade em cada dificuldade."
Winston Churchill (1874-1965)
Apresentação
O curso de Talend Data Integration, foi idealizado para permitir um rápido aprendizado
prático ao aluno, através de uma interação com o professor a partir de vídeoaulas, que
facilitam o entendimento dos diversos comandos do Talend Data Integration. Durante o
curso, o aluno terá que assistir as vídeoaulas e praticar diretamente no seu computador.
Será necessário que o aluno tenha em sua máquina uma versão da ferramenta instalada.
O aluno terá um prazo máximo de curso de 3 meses para sua conclusão, mas poderá
solicitar uma única prorrogação pelo tempo que desejar, entretanto o aluno será avisado
por e-mail sobre o término do curso. Durante todo o curso, o aluno poderá retirar
dúvidas com o professor e colegas, através do fórum de dúvidas ou por e-mail.
Sobre este documento
O objetivo deste documento é fornecer ao aluno, os passos necessários para que este
aprenda a trabalhar com a ferramenta Talend Data Integration na sua plenitude, onde
detalhes mais específicos sobre cada comandos serão explicados, através de uma
linguagem direta, facilitando a construção das suas análises.
Recursos necessários
Para acesso ao curso é necessário que o aluno tenha uma internet de rápido acesso para
assistir aos vídeos, além de um leitor pdf da apostila do curso*, devem ser utilizados os
navegadores de internet Firefox(Mozila) ou Google Chrome com às versões mais atuais
para acesso ao site de aulas EAD, além do software Talend Data Integration* instalado na
máquina do aluno.
*Este software não é fornecido pelo Site Aprenda Virtual, o aluno é responsável pela
aquisição, caso o mesmo seja pago.
PÁGINA 4
[email protected]
Atualizações deste documento
Futuras modificações poderão ocorrer no conteúdo deste documento em decorrência de

possíveis ajustes na documentação do curso, sejam elas oriundas do professor ou devido
a atualizações pertinentes que possam ser demandadas pelos alunos, dentro de critérios
lógicos que não afetarão os objetivos para o qual este documento foi criado.
PÁGINA 5
[email protected]
Aulas
“Todo o conhecimento humano começou com intuições, passou daí aos conceitos e terminou com ideias.”
Immanuel Kant
As informações abaixo estão nas vídeoaulas do

curso, acompanhe os vídeos e re-execute os
procedimentos para fixação
Objetivo
O objetivo principal do curso é permitir que aspectos básicos com ênfase no

entendimento da ferramenta Talend Data Integration e sua forma de operação sejam
compreendidos. O curso em questão não pretende ensinar análise de dados ao aluno,
será necessário que o aluno tenha conhecimento em indicadores e saiba correlacionar
informações para entender as saídas de dados dos comandos que serão apresentados. Os
comandos são usados ao longo do texto simplesmente para ilustrar aspectos do uso da
operacionalização da ferramenta.
Embora, na maior parte do texto assume-se familiaridade com conceitos e métodos

básicos de análise de dados, alguns tópicos especializados são usados em algumas
sessões e, não sendo de interesse de leitor, podem ser ignorados, sem prejuízo ao
acompanhamento das demais partes do texto. De todo modo, não será assumido
nenhum conhecimento prévio em ferramentas de ETL. O curso foi preparado e
estruturado para que desde o iniciante até o aluno mais avançado, este utilize técnicas de
análise de dados e aprenda a trabalhar com a ferramenta Talend Data Integration.
Portanto, mãos a obra.
PÁGINA 6
[email protected]
Entendendo o Talend Data Integration
O Talend Data Integration é um conjunto de ferramentas da familia ETL (Extração,

Transformação e Carga) para integração de dados. Fornece meios para integrar e
processar todos os seus dados com um designer visual fácil de usar.
O Talend Data Integration para Integração de Dados oferece soluções para os problemas
que as empresas enfrentam devido à crescente complexidade dos sistemas, abordando a
ETL para análise e ETL para necessidades de integração operacional.
Existe hoje no mercado três versões para o Talend Data Integration, ambas com a
seguinte nomenclatura:
 TOS_*-win-x86_64.exe, para Windows.

 TOS_*-linux-gtk-x86_64, para Linux.
 TOS_*-macosx-cocoa.app, para Mac.
Ao trabalhar com o Talend Data Integration para Integração de Dados, você será
apresentado a estrutura de trablaho do ambiente do programa, muitas vezes encontrará
palavras como repositório, projeto, workspace, Job, componente.
Vamos detalhá-los para que você entenda com facilidade.
REPOSITÓRIO: é o local de armazenamento que o Talend utiliza para Integração de

dados, de forma a reunir os dados relacionados a construção de uma carga de dados,
podendo ser ela: cargas ETL, cargas de Data Quality ou simplesmente uma cópia de bases.
PROJETO: os projetos são conjuntos estruturados, elementos e seus metadados

associados. Tudo que você construir de cargas será organizado em um projeto. Você pode
criar tantos projetos quanto você precisa em um repositório.
WORKSPACE: é o diretório onde você armazena todas as pastas do projeto. Você precisa
ter um diretório por conexão (conexão de repositório).
JOB: é um desenho gráfico, de um ou mais componentes conectados em conjunto, que

permite executar processos de gerenciamento de fluxo de dados. Traduz as necessidades
do negócio em código, rotinas e programas. É a carga de dados em si, é todo o código
gerado em uma carga.
PÁGINA 7
[email protected]
COMPONENTE: um componente é um conector pré-configurado usado para executar

uma integração de dados específica, independentemente das fontes de dados que você
está integrando: bancos de dados, aplicativos, arquivos simples, serviços da web, etc.
Entender o conceito por trás de cada uma dessas palavras é crucial para entender a
funcionalidade do Talend para integração de dados.
Enfim, o Talend Data Integration permite construir carga de dados dos mais variados
assuntos, personalizados para os indivíduos em sua empresa. Com ele você poderá
realizar descoberta nos dados sem necessitar de programação alguma, basta apenas
arrastar os mais diversos objetos que são oferecidos na sua paleta de construção.
Instalação o Talend Data Integration
A instalação será realizada através do download da ferramenta no site da empresa. Ao

baixar à ferramenta, sua instalação é como qualquer outro produto para Windows.
Passos:
1- Download do http://www.talend.com/download/talend-open-studio/#t4
Talend Data
Integration,
versão Open
Studio
2- Faça o download
da ferramenta e
execute em sua
máquina.
3- Descompacte o
conteúdo e
execute o
programa.
PÁGINA 8
[email protected]
4- Aceite a licença.
5- Será solicitada a
criação de um
novo projeto e
automaticament
e o repositório
de dados.
6- Será exibida a
tela de entrada.
PÁGINA 9
[email protected]
7- Pronto você já
pode começar a
trabalhar.
Estrutura de funcionamento do Talend Data Integration
ion, possui uma janela multi painel que permite o gerenciamento

O Talend Data Integration
cução, bem como o controle de log´s e debug´s real
das cargas em execução, real-time. A medida
que é executado, todas as ações são exibidas. São divididas em menu bar, toolbar,
repositório em árvore,, design workspace, paleta, e a code view.
PÁGINA 10
[email protected]
File Close Fecha a corrente janela do Studio design workspace.

Close All Fecha todas as janelas abertas do Studio design
workspace.
Save Salva as mudnças feitas na janela em aberto.
Save as Salva todas as mudnças sem fazer mudanças na janela em
aberto.
Save All Salva todas as mudanças de todas as janelas abertas.
Print Imprime dados da janela disponível.
Switch Project or Fecha todos os trabalhos em aberto e permite abrir um
Workspace diferente projeto em uma workspace diferente.
Edit project Edita as propriedades do corrente projeto.
properties
Import Abri um wizard, peermitindo que sejam importados
diferentes arquivos de projetos de versões diferentes.
Export Abri o wizard e permite exportar o projeto para diferentes
formatos (arquivos, XML catalogs, etc.)
Exit Fecha o Talend Data integration.
Edit Undo Desfaz a última ação feita.
Redo Refaz a última ação feita.
Cut Recorta o objeto selecionado.
Copy Copia o objeto selecionado.
Paste Cola o objeto selecionado.
Delete Deleta o objeto selecionado.
Select All Seleciona todos os componentes
View Zoom In Aumenta a imagem.
Zoom Out Diminui a imagem.
Grid Exibe uma grade no workspace.
Snap to Geometry Habilta o recurso Snap to Geometry.
Window Perspective Abre diferentes perspectivas ou janelas em diferentes
view do GUI.
Show View... Mostra o [Show View] que habilita a exibição de
diferentes view do GUI.
Maximize Active Maximiza as diferentes view.
View or Editor...
Preferences Abre a caixa de diálogo de preferências.
Help Welcome Abre a documentação e oferece o bem-vindo ao Talend
Data integration.
Help Contents Abre a ajuda.
PÁGINA 11
[email protected]
Install Additional Abre o [Additional Talend packages] onde você pode

Packages... adicionar pacotes extras ao Talend Data Integration.
About Talend Studio Exibe:
 A versão do software,
 Detalha sobre a configuração e os problemas,
 Detalha sobre plug-in(s),
 Detalha sobre futuras funcionalidades.
Support Logs Abre o wizard para que posssa ser exportado todos os
log´s gerados para um arquivo de dados.
Studio Quick Tour Abre passo–a-passo a apresentação ao Repository, ao
Design Workspace, as configurações em geral e paleta.
Primeiros passos com o Talend Data Integration
Vamos iniciar nosso curso, trabalhando com os comandos básicos do Talend Data
Integration e no decorrer do curso, vamos nos aprofundar nos assuntos com um grau de
dificuldade maior.
Para iniciar seu primeiro trabalho vamos criar nosso primeiro Job, ou seja, criar uma carga
de dados. Para isso, vamos utilizar uma planilha chamada notas fiscais.xls, que será
gravada em um banco de dados ORACLE.
Você irá ao repositório e escolherá a opção create job.
PÁGINA 12
[email protected]
Clique em create, do seu notebook ou desktop.
A tela abaixo irá ser aberta:
Digite as informações sobre o JOB:
Name: Carga_Produto
Propuse: a Finalidade é efetuar carga no banco de dados.
Description: carga de arquivo de produtos, xls de Notas Fiscais.
Clique em Finish.
Pronto, a área de carga está liberada para a leitura do arquivo .xlsx e para ser carregado
no banco de dados
Vamos à paleta e trazer o objeto na aba Input. Vamos arrastar
para a área de construção de cargas, chamada de design workspace.
PÁGINA 13
[email protected]
Agora para lermos o arquivo, necessitaremos criar um metadados para determinar qual
será a aba do Excel que será aberta, qual é a estrutura do arquivo, quais campos serão
carregados, etc. O metadados facilita a comunicação entre o Talend Data Integration e os
arquivos de leitura e destino.
Vá até a aba do Repositório e crie o metadados para a planilha produto, dentro do

arquivo Notas Fiscais.xlsx
Vamos passar por algumas etapas para a geração do metadados:
Passos:
1- Preencha os dados do
arquivo que será
carregado.
Produto_metadados
PÁGINA 14
[email protected]
2- Escolha a aba
produto, dentro da
planilha notas
fiscais.xlsx.
3- Marque a opção set

heading row as
column name. Para
identificar a primeira
linha como cabeçalho
do arquivo de dados.
4- Defina o nome do
schema para o
arquivo de leitura.
Schema_leitura_prod
uto.
Pronto, o metadados que vai lhe ajudar a carregar os dados está disponível:
PÁGINA 15
[email protected]
Para que você possa utilizá-lo, basta arrastá-lo sobre o componente t_FileInputExcel-1
Note que o arquivo está corretamente disponibilizado para a carga.
Agora utilizaremos um componente chamado de TOutputOracle que será utilizado para

guardar os dados carregados.
Ao clicar na aba Basic Settings, você talvez não tenha a conexão ojdbc.jar instalada, basta
instalar para utilizar, veja a mensagem:
Vamos criar mais um metadados para o arquivo de saída do banco dados, pois caso
contrário você fará a configuração manualmente. Utilizaremos a criação do schema
PÁGINA 16
[email protected]
genérico, lá escolheremos a opção select the database mapping type a opção mapping
oracle.
Ficará da seguinte forma:
Agora vamos criar a conexão com o banco de dados, escolha em Repositório ->
Metadados a opção DbConnection.
PÁGINA 17
[email protected]
Você deve criar a conexão com seu banco de dados, basta digitar as informações de
conexão.
Clique em check e verifique a mensagem abaixo:
Deverá aparecer na árvore do repositório a conexão:
PÁGINA 18
[email protected]
Agora, vamos escolher a conexão e colocar a tabela do banco de dados, chamada

STG_PRODUTO. Isto nas opções do componente TOutputOracle.
Na opção Repository (repositório) escolha a conexão que você acabou de criar, caso
contrário você terá que digitar manualmente.
Em action on Table, escolha a opção CREATE TABLE.

Em schema selecione o Generic Schema produto_banco_metadados.
Agora vamos utilizar um outro componente que interligará a entrada e a saída de dados,
é o objeto tMap. O objeto tMap encontra-se em Processing -> Fields -> tMap, ou digite o
nome do componente no search dos componentes.
Agora para fazer a ligação entre os componentes tFileInputExcel e TOutputOracle é

necessário mapear a transformação, primeiro crie links entre os três objetos dispostos no
ambiente de design, para isso:
1- Clique com o botão direito no objeto -> Row -> Main e arraste até o objeto
seguinte.
PÁGINA 19
[email protected]
2- Em seguida dê dois clique no objeto tMap e clique em auto Map.
Note que o atributo nom_produto não encontrará seu correspondente, pois o nome do
campo na tabela está diferente, para isso basta clicar e arrastar até o campo
des_produto.
3- Depois vá à aba run Job e execute o Job clicando em Run.
Ao final esta mensagem deve aparecer, indicando SUCESSO!
PÁGINA 20
[email protected]
Pronto, agora que já demos nosso primeiro passo, vamos iniciar nosso projeto de
construção de um DW com o Talend Data Integration.
Construção do DW
Business Intelligence
Business Intelligence (BI), é um termo criado pelo Gartner Group. Este conceito surgiu na
década de 80 e descreve as habilidades das corporações para explorar informações que
normalmente estão em um Data Warehouse/Data Mart. BI é um processo que auxilia no
desenvolvimento Tático, Estratégico e Operacional da Corporação.
1. BI Tático: É a aplicação de ferramentas de BI para analisar tendências de negócios,

comparando métricas em diferentes períodos a fim de descobrir tendências onde
devemos ter mais atenção.
2. BI Estratégico: Apoia o alto comando da empresa na gestão de desempenho do

negócio, apoiando-o em longo prazo metas e objetivos corporativos.
3. BI Operacional: é utilizado pela linha de frente do negócio, para orientar nas

decisões operacionais da empresa. O uso do BI Operacional é feito para gerenciar
e aperfeiçoar as operações de negócio.
PÁGINA 21
[email protected]
Data Warehouse
O Data Warehouse (DW) é o banco de dados de suporte a tomada de decisão, alinhado a
um programa para coletar, limpar, transformar e armazenar dados de diferentes fontes
externas, essas duas partes combinadas são utilizadas para atender as exigências
históricas e analíticas de um projeto de Business Intelligence.
TALEND
TRABALHO PRÁTICO
O Trabalho Prático consiste em construir um Data Mart de notas fiscais que são emitidas
por uma loja, neste DW teremos as dimensões (Vendedor, Produto, Tempo e
Departamento) e essas informações serão cruzadas com o valor da nota fiscal.
MODELO TRANSACIONAL
No desenvolvimento do trabalho prático, iremos utilizar como fonte de dados o Arquivo
notas fiscais cujas abas possuem os arquivos no formato Excel (Departamento,
Vendedor, Produto, Vendas), esses arquivos serão utilizados para a realização da carga
no modelo multidimensional.
MODELO MULTIDIMENSIONAL
O Modelo Multidimensional criado contém 04 dimensões (DIM_DEPARTAMENTO,

DIM_VENDEDOR, DIM_PRODUTO, DIM_TEMPO) e uma tabela Fato (FATO_VENDA).
PÁGINA 22
[email protected]
Arquivo XLS
TEMPO VENDEDOR
STAGING
VENDA
PRODUTO DEPARTAMENTO
Criando Staging
A área de Staging ou área de transição é o armazenamento de dados intermediário entre

uma fonte de dados original e o repositório de dados centralizado. Toda purificação,
reconciliação, transformação e relacionamentos necessários acontecem nessa área. Essa
implementação é muito bem definida e progressiva. Ter uma área de Staging é uma
estratégica comum e simples de obter informações de um sistema transacional sem a
necessidade de realizar transformações complexas.
Vamos Criar 04 tabelas para receber os dados da planilha eletrônica.
STG_PRODUTO  Receberá os dados da aba Produto.

STG_VENDEDOR  Receberá os dados da aba Vendedor.
STG_DEPARTAMENTO  Receberá os dados da aba Departamento.
STG_VENDA  Receberá os dados da aba Nota Fiscal.
OBS: A dimensão tempo será executada com base em uma procedure para a carga dos
dados.
PÁGINA 23
[email protected]
As etapas de criação de nosso projeto vão obedecer de forma sequencial o seguinte fluxo
de execução.
CRIANDO/CARGA CRIANDO /CARGA CRIAÇÃO /CARGA CRIALÇÃO/CARGA AUTOMATIZANDO

STAGING'S DIMENSÕES TEMPO FATO A CARGA
CARGA DA STAGING
Inicialmente começamos o projeto criando uma carga da STG_PRODUTO, chamada de

carga_produto. Agora iremos criar as demais cargas. Como exemplificação, colocarei o
passo a passo da criação da carga_stg_vendedor.
1. Clique com o botão

direito em Job.
2. Clique em Create Job.
3. Vamos designar o nome

do Job como
carga_stg_vendedor.
4. Clique em OK.
5. Crie o metadados
vendedor_metadados.
6. Formate e selecione a
aba da planilha
vendedor.
PÁGINA 24
[email protected]
7. Selecione os campos
cod_vendedor e
des_vendedor. Troque
o encoding para ISO-
8859-1, isso irá fazer
com que os sinais das
grafias sejam gravados
no banco de dados.
8. Troque o tipo do campo

cod_vendedor para
String. Coloque o nome
do schema de:
schema_leitura_vended
or.
9. Escolha o componente
tFileInputExcel_1 para
ler o metadados que
você acabou de criar.
10. Na opção Property

Type, escolha o
metadados criado,
vendedor_metadados
.
PÁGINA 25
[email protected]
11. Vamos adicionar o

componente
tOracleOutput_1
12. Clique em Property

Type para escolher a
opção Repository e a
conexão de banco já
criada.
13. Crie a tabela
STG_VENDEDOR,
escolha as ações
Create Table IF does
not exist e a ação de
dados INSERT.
14. Vamos ligar os dois
componentes, para
que os dados possam
ser gravados. Utilize o
componente tMap_1.
15. Faça a ligação entre os
componentes,
simplesmente
selecionando com a
tecla shift. Chame a
ligação de
saída_vendedor.
16. Arraste os campos da
entrada para a saída,
pois a tabela será
criada.
17. Clique em Run Job e
execute a carga.
PÁGINA 26
[email protected]
18. Pronto, carga

carregada.
Transformação dos Dados
Antes de criarmos as cargas staging de DEPARTAMENTO e VENDAS, vamos ver como

podemos utilizar as transformações em carga de DW.
1. Abra o componente tMap_1.

Clique na opção Expressão.
2. Vamos colocar todos os valores do

campo des_vendedor em
maiúsculo. Para isso, acrescente o
comando:
StringHandling.UPCASE(row1.des_
vendedor).
PÁGINA 27
[email protected]
3. Você pode fazer um teste e verificar

se está tudo ok com a função, basta
digitar os valores na aba Test.
Vamos digitar o código 01 e a
palavra Brasil.
4. Pronto, está tudo certo, vamos

salvar. Caso a sua tabela não esteja
na ação TRUNCATE, modifique
conforme a figura e re-execute a
carga.
5. Pronto, todos os nomes dos
vendedores estão em maiúsculo.
CRIE TODAS AS DEMAIS CARGAS STAGING.
PÁGINA 28
[email protected]
Carga Tabela Staging Fato
Para a carga da tabela de staging da fato é importante salientar que é composta

geralmente de muitos dados, portanto você deve criteriosamente estudá-la. Importante
verificar se possui pelo menos um campo no formato de data para ser utilizada na ligação
com a dimensão Tempo e se possui pelo menos uma métrica, claro que você não deve
esquecer dos campos que farão uma ligação com a tabela de dimensão, geralmente estas
ligações são feitas com as chaves das tabelas operacionais que você levou para a staging.
Agora que possuímos de forma mais clara as necessidades que compõe a tabela staging
da fato, vamos ver dicas importantes para transferi-la com cuidado.
1- Crie um Schema de metadados com a aba Notas Fiscal, pois será nela que você
lerá os dados. Converta os campos em código para string, data para string,
métricas para string, pois vamos utilizar transformações nos dados para
praticarmos.
2- Crie conversões no Tmap para os campos dtc_venda, qtd_venda e val_venda.
dtc_venda  TalendDate.parseDate( "dd/MM/yyyy",row1.dtc_venda)

qtd_venda  Integer.parseInt(row1.qtd_venda)
val_venda  Float.parseFloat(StringHandling.EREPLACE(row1.val_venda
,",","."))
PÁGINA 29
[email protected]
3- Como nós possuímos muitos dados para inserir, vamos alterar o commit do banco
de dados para 1000 em 1000. Atualmente está em 10000. Isso evitará erros na
carga.
Pronto, agora é executar a carga.

PÁGINA 30
[email protected]
CARGA DA DIMENSÃO
A tabela dimensão representa os objetos importantes para a empresa e contém
informações descritivas e textuais do negócio. As dimensões são as principais fontes de
consultas nos relatórios, elas atuam como um link para as tabelas fatos, e seus dados
fornecem grupos de relatórios.
1. Clique com o
botão direito
em Job.
2. Clique em
Create Job.
3. Vamos designar o
nome do Job
como
carga_dim_depar
tamento
4. Clique em OK.
5. Vamos adicionar
o objeto que
chama a tabela
staging de
departamento e
configurá-lo com
a tabela
stg_departament
o.
PÁGINA 31
[email protected]
6. Vamos
adicionar a
ligação com
Tmap para
selecionar os
campos que irá
popular nossa
dimensão.
7. Vamos
adicionar o
Objeto que
iremos utilizar
para popular a
dimensão, para
isso pesquise o
componente
TOracleSCD.
8. Vamos criar a CREATE TABLE "DIM_DEPARTAMENTO"

tabela que será ("SK_DEPARTAMENTO" NUMBER NOT NULL ENABLE,
a dimensão "COD_DEPARTAMENTO" VARCHAR2(10 BYTE),
dim_departam "DES_DEPARTAMENTO" VARCHAR2(200 BYTE),
ento. Isso você "DTC_INICIO" DATE,
fará no SQL "DTC_FIM" DATE,
developer. CONSTRAINT "DIM_DEPARTAMENT_PK" PRIMARY KEY
("SK_DEPARTAMENTO")
);
CREATE INDEX "DEPART_IDX" ON "DIM_DEPARTAMENTO"

("COD_DEPARTAMENTO");
PÁGINA 32
[email protected]
9. Vamos
importar a
estrutura da
dimensão que
você criou para
o Talend Data
Integration.
10. Aceite as
opções.
11. Escolha a
tabela
dim_departam
ento.
12. Confirme
apenas.
PÁGINA 33
[email protected]
13. Vamos
configurar o
Objeto
TOracleSCD.
Primeiro vamos
conectar a
dimensão no
banco de
dados, lembre-
se que
criaremos pela
primeira vez a
tabela de
dimensão
dim_departam
ento. Podemos
ver os dados
que serão
carregados da
staging,
clicando nos
“óculos”.
14. Vamos unir o

TMap ao
Objeto
TOracleSCD.
Registre a saída
como
saída_dim_dep
artamento.
PÁGINA 34
[email protected]
15. Agora clique na

opção SCD
Editor.
Preencha
conforme o
quadro. A
dimensão será
SCD 2
16. Una no Tmap.
17. Faça as ligações

necessárias.
18. Para finalizar,

todos os
primeiros
registros
inseridos na
dimensão,
terão valor de
data_inicio
igual a
01/01/1900.
Vamos colocar
dois novos
componentes
Prejob e
TOracleRow.
19. O componente UPDATE DIM_DEPARTAMENTO DEP
SET DEP.DTC_INICIO=TO_DATE('01/01/1900 00:00:00','DD/MM/YYYY
TOracleRow
PÁGINA 35
[email protected]
deve ter uma HH24:MI:SS')

WHERE EXISTS (SELECT COD_DEPARTAMENTO,COUNT(*) FROM
query em DIM_DEPARTAMENTO DEP2
especial para WHERE
fazer a DEP.COD_DEPARTAMENTO=DEP2.COD_DEPARTAMENTO
modificação, GROUP BY COD_DEPARTAMENTO
HAVING(COUNT(*)=1))
após a carga da
dimensão.
20. Ao final a
dimensão ficará
da seguinte
forma.
Controle das dimensões
Agora, chegou um momento importante, vamos antes entender os conceitos de

modelagem de dados para DW, entenderemos a construção de dimensões do tipo SCD1 e
SCD2.
Dimensão Tipo SCD1: Permite que os dados inseridos na dimensão sejam substituídos, ou
seja, não gerem histórico dos dados.
Dimensão Tipo SCD2: Permite que os dados inseridos na dimensão guardem o histórico
dos dados, ou seja, haverá registros dentro da dimensão que serão versionados, possuem
a mesma chave do operacional, mas com validades diferentes.
PÁGINA 36
[email protected]
Um exemplo SCD 2:
STG_DEPARTAMENTO
COD_DEPARTAMENTO DES_DEPARTAMENTO
1 INFORMÁTICA
2 PAPELARIA
Digamos que o departamento 2, mudou de PAPELARIA para PERFUMARIA. Quando

Executássemos a dimensão, os dados ficariam da seguinte forma:
DIM_DEPARTAMENTO
COD_DEPARTAMENTO SK_DEPARTAMENTO DES_DEPARTAMENTO DTC_INICIO DTC_FIM

1 1 INFORMÁTICA 10-05-2016
4 2 PAPELARIA 20-07-2016 13-09-2016
4 3 PERFUMARIA 14-09-2016
Perceba que ambos os registros foram conservados.
No nosso projeto, para que você perceba funcionando, vamos alterar a

stg_departamento no cod_departamento=2 a descrição de TELEFONIA para
PERFUMARIA. Ao executar o JOB, o resultado ficará parecido no SQL Developer, da
seguinte forma:
Vamos realizar o mesmo procedimento para as demais dimensões: vendedor e produto.
PÁGINA 37
[email protected]
Os Scripts para criação das dimensões estão aqui:
DIM_PRODUTO
CREATE TABLE "DIM_PRODUTO"

( "SK_PRODUTO" NUMBER NOT NULL ENABLE,
"COD_PRODUTO" VARCHAR2(10 BYTE),
"DES_PRODUTO" VARCHAR2(200 BYTE),
"DTC_INICIO" DATE,
"DTC_FIM" DATE,
CONSTRAINT "DIM_PRODU_DIM_KEY_PK" PRIMARY KEY ("SK_PRODUTO"));
CREATE INDEX "NPRODUT_IDX" ON "DIM_PRODUTO" ("COD_PRODUTO");
DIM_VENDEDOR
CREATE TABLE "DIM_VENDEDOR"

( "SK_VENDEDOR" NUMBER NOT NULL ENABLE,
"COD_VENDEDOR" VARCHAR2(10 BYTE),
"DES_VENDEDOR" VARCHAR2(200 BYTE),
CONSTRAINT "DIM_VENDED_DIM_KEY_PK" PRIMARY KEY ("SK_VENDEDOR"));
CREATE INDEX "NVENDED_IDX" ON "DIM_VENDEDOR" ("COD_VENDEDOR");
Antes de encerrar, vamos criar um registro chamado de sem informação (código = -1),
isso devido à inconsistência de dados, pois podem ocorrer em projetos de DW, onde os
dados do operacional não são íntegros. Por exemplo, vendas de um determinado
vendedor na tabela vendas do banco de dados, cujo código de identificação não existe,
ou não foi cadastrado, a colocação de uma identificação de inconsistência permitirá que a
gestão da empresa veja que há dados inconsistentes na base.
Colocado em cada dimensão o código=-1, possibilitará que quando exibirmos os dados

em uma ferramenta OLAP, Data Discovery ou Report qualquer, este seja identificado.
PÁGINA 38
[email protected]
Execute os scripts abaixo, para cada dimensão:
DIM_DEPARTAMENTO:
Insert into DIM_DEPARTAMENTO

(SK_DEPARTAMENTO,COD_DEPARTAMENTO,DES_DEPARTAMENTO,DTC_INICIO,DTC_FI
M) values ('-1','-1','SEM INFORMACAO',to_date('01/01/1800 00:00:00','DD/MM/YYYY
HH24:MI:SS'),null);
DIM_VENDEDOR:
Insert into DIM_VENDEDOR (SK_VENDEDOR,COD_VENDEDOR,DES_VENDEDOR) values

('-1','-1','SEM INFORMACAO');
DIM_PRODUTO:
Insert into DIM_PRODUTO

(SK_PRODUTO,COD_PRODUTO,DES_PRODUTO,DTC_INICIO,DTC_FIM) values ('-1','-
1','SEM INFORMACAO',to_date('01/01/1800 00:00:00','DD/MM/YYYY
HH24:MI:SS'),null);

PÁGINA 39
[email protected]
CARGA DA DIMENSÃO TEMPO
A dimensão TEMPO é uma das mais importantes que existem em um projeto de Data
Warehouse, sem ela, você não consegue estabelecer análises temporais. Com os dados
da dimensão TEMPO você identifica quando uma determinada métrica foi inserida. Veja o
exemplo:
TABELA VENDAS
COD_DEPARTAMENTO COD_VENDEDOR DTC_VENDA VAL_VENDA

1 3 10/03/2016 250,00
2 4 15/05/2015 320,00
Note, as compras são identificadas conforme a data da venda. Sem a data da venda você
não consegue fazer uma análise do tipo:
- Quais produtos são mais vendidos em determinado período.

- Se o primeiro trimestre obteve mais vendas que o segundo trimestre.
- Total de vendas por ano.
Dentre outras perguntas.
A nossa dimensão tempo será criada pela procedure: UP_CARGA_DIMENSAO_TEMPO
Está procedure está disponível no nosso site, basta baixar e executar dentro do banco
de dados. OBS.: Lembrando que ela está no formato de PL/SQL
Antes, você deve criar a dimensão TEMPO, segue o script.
CREATE TABLE "DIM_TEMPO"

( "SK_TEMPO" NUMBER NOT NULL ENABLE,
"DES_DATA_DIA" VARCHAR2(25 BYTE),
"DTC_DATA" DATE,
"NUM_ANO" NUMBER(4,0),
"NUM_MES" NUMBER(3,0),
"NUM_DIA" NUMBER(3,0),
"NUM_QUADRIMESTRE" NUMBER(3,0),
"NUM_TRIMESTRE" NUMBER(2,0),
PÁGINA 40
[email protected]
"DES_QUINZENA" VARCHAR2(12 BYTE),

"DES_QUADRIMESTRE" VARCHAR2(12 BYTE),
"NUM_BIMESTRE" NUMBER(3,0),
"DES_BIMESTRE" VARCHAR2(12 BYTE),
"DES_ANO_MES" VARCHAR2(8 BYTE),
"DES_DIA" VARCHAR2(7 BYTE),
"NUM_SEMESTRE" NUMBER(3,0),
"DES_MES_ANO_NUMERICO" VARCHAR2(7 BYTE),
"DES_TRIMESTRE" VARCHAR2(12 BYTE),
"IND_FINAL_SEMANA" CHAR(1 BYTE),
"DES_MES" VARCHAR2(15 BYTE),
"NUM_QUINZENA" NUMBER(3,0),
"DES_MES_ANO_COMPLETO" VARCHAR2(30 BYTE),
"DES_SEMESTRE" VARCHAR2(12 BYTE),
"NUM_NIVEL" NUMBER(1,0),
"DES_MES_ANO" VARCHAR2(8 BYTE),
CONSTRAINT "DIM_TEMPO_DIM_KEY_PK" PRIMARY KEY ("SK_TEMPO"));
CREATE INDEX "TEMPO_IDX" ON "DIM_TEMPO" ("DES_DATA_DIA");

PÁGINA 41
[email protected]
CARGA DA FATO
Estamos chegando ao final de nosso projeto de DW, para isso precisaremos criar a carga
da tabela fato, que reunirá todas as chaves das dimensões e as métricas que utilizaremos.
Neste momento, você deve imaginar que os dados serão pesquisados nas dimensões e as
chaves artificiais gravadas na tabela FATO, ela deve ser da seguinte forma:
TABELA FATO_VENDAS
SK_DEPARTAMENTO SK_VENDEDOR SK_PRODUTO SK_TEMPO VAL_VENDA

1 3 1 420 250,00
2 4 1 435 320,00
2 1 2 437 500,00
1 2 2 456 470,00
3 2 4 457 580,00
1 1 7 498 720,00
2 3 1 501 630,00
Note que a tabela fato é a maior de todas, contendo todas as informações das
dimensões. O que faremos é criar uma carga de dados para a FATO_VENDAS que ao ler
os dados da sua STG_VENDAS, identifiquem na dimensão quais são as chaves artificiais
correspondentes (SK´s). Utilizaremos componentes do Talend Data Integration que
facilite esta pesquisa.
1. Clique com o
botão direito em
Job.
2. Clique em Create
Job.
PÁGINA 42
[email protected]
3. Vamos designar o
nome do Job como
carga_fato_venda.
4. Clique em OK.
5. Vamos adicionar
o objeto que
chama a tabela
staging de venda
no metadados,
basta arrastar a
tabela e soltar.
6. Vamos adicionar
também o objeto
dim_produto, que
será utilizado para
pesquisar a
sk_produto
correspondente.
PÁGINA 43
[email protected]
7. Ambas devem estar

da seguinte forma.
8. Agora vamos
começar a criar a
ligação entre ambas
e efetuar uma
pesquisa entre as
tabelas, este
procedimento é
conhecido como
JOIN. Utilizaremos o
objeto Tmap para
isso.
PÁGINA 44
[email protected]
9. Renomeia as linhas
row1 e row2 para
respectivamente
stg_venda e
dim_produto
10. Agora vamos abrir

o Tmap e criar a
união entre as
tabelas e preparar
para a busca dos
dados na
dimensão
produto. Arraste
o campo
cod_produto de
stg_venda e solte
sobre o campo
cod_produto de
dim_produto,
pronto o JOIN
está criado.
11. Vamos agora criar (STG_VENDA.DTC_VENDA.after(DIM_PRODUTO.DTC_INICIO) ||

STG_VENDA.DTC_VENDA.equals(DIM_PRODUTO.DTC_INICIO)) &&
um filtro para (STG_VENDA.DTC_VENDA.before((DIM_PRODUTO.DTC_FIM==null)?
buscar a chave TalendDate.parseDate("dd-MM-yyyy", "31-12-
artificial exata na 2050"):DIM_PRODUTO.DTC_FIM))
dimensão
dim_produto.
Para isso clique
no ícone e
digite o código em
Java.
PÁGINA 45
[email protected]
12. Vamos fazer uma

alteração em
Match Model(
encontro de
registros) da
pesquisa na
dimensão,
colocaremos a
opção All Match.
Quando a
dimensão
versionar está
mudança
permitirá trazer
todos os registros
da dimensão e
selecionaremos a
correta.
13. Vamos fazer a
ligação do objeto
Tmap com o
componente
tAgregateRow,
para criarmos
posteriormente a
tabela
FATO_VENDAS.
14. Agora vamos
arrastar os
campos:
ID_VENDA (pk),
VAL_VENDA,
QTD_VENDA,
NUM_NOTA,
SK_PRODUTO
para a saída. Estes
campos criaram a
tabela
FATO_VENDAS.
15. Vamos criar um (DIM_PRODUTO.SK_PRODUTO==0)?-
código no campo 1:DIM_PRODUTO.SK_PRODUTO
SK_PRODUTO,
PÁGINA 46
[email protected]
que caso não

encontre uma
chave
correspondente,
este será gravado
com o valor -1.
Lembre-se que
criamos um
registro com esta
informação.
16. O
TaggregateRow,
fará o papel de
filtro dos registros
a serem gravados
na FATO_VENDAS
17. Você colocará a
SK_PRODUTO,
NUM_NOTA com
a opção MAX,
QTD_VENDA e
NUM_NOTA
como SUM.
O ID_VENDA que
é a chave da
nossa fato, vamos
utilizar no group
by. A medida que
for inserindo
novas dimensões,
você vai
acrescentando na
aba Operations.
18. Agora, insira o
componente
TOracleOutput e
configure a carga
no
TOracleOutput,
para que a
mesma não
cancele, veja ao
PÁGINA 47
[email protected]
lado. Coloque
Commit every
100
19. Configure e
coloque o nome
da tabela
FATO_VENDAS.
20. Antes de iniciar,

converta os tipos
de campos
BigDecimal para
int ou Decimal, de
acordo com a
natureza do
campo. Isso por
que, alguns
bancos de dados
não suportam
este tipo de dado.
Abra o Tmap e
altere
21. Execute a carga e
verifique o
resultado.
22. Vamos colocar a

chave na tabela
FATO_VENDAS,
dê um clique em
tAggregateRow e
clique em Edit
Schema.
PÁGINA 48
[email protected]
23. A tabela fato deve

conter todos os
registros que
existem na
STG_VENDA, você
notará que há sk
com -1 e outras
que foram
encontradas, isso
de acordo com o
que foi
especificado.
Uma observação importante. Devido ao nosso banco ser ORACLE quando for criar a
ligação no tMap entre a STG_VENDA e a DIM_TEMPO, mude a máscara da data da
dimensão tempo para dd/MM/yyyy.
Agora, você deve completar o tMap com as outras dimensões: DIM_DEPARTAMENTO,

DIM_VENDEDOR, DIM_TEMPO e executar novamente a carga de forma definitiva.
Ao final, sua carga da tabela Fato Vendas deve estar da seguinte forma:
PÁGINA 49
[email protected]

AUTOMATIZAÇÃO DAS CARGAS
Vamos automatizar os job´s criados, iremos seguir a sequência de execução do projeto de

DW.
Carga Carga
Carga Staging
Dimensão Fato
PÁGINA 50
[email protected]
Antes de Tudo, vamos criar um Job que elimina os registros das staging´s ao carregar o
DW.
1. Clique com o
botão direito em
Job.
2. Clique em Create
Job.
3. Crie o job
Carga_trunca_sta
ging
4. Arraste o
componente
tOracleRow
5. Configura com o
comando
TRUNCATE TABLE
<TABELA>
6. Para cada tabela

crie uma conexão
e crie a ligação
entre os
componentes,
utilize o MAIN
Agora, podemos criar nosso JOB de Carga Geral DW
PÁGINA 51
[email protected]
7. Clique com o
botão direito em
Job.
8. Clique em Create
Job.
9. Crie o job
Carga_geral_DW
10. Arraste o Job

Carga_trunca_sta
ging para iniciar.
11. Vamos arrastar,

job a job e
interligá-los para
seguir uma
sequência de
execução.
12. Fazendo a Ligação
com a trigger ON
Subjob OK. Crie a
ligação Job a Job.
PÁGINA 52
[email protected]
13. Vamos
acrescentar uma
Anotação para
sinalizarmos que
é a carga do DW.
Puxe o
componente
Note.
14. Pronto, agora é só

executar.
Chegamos ao final de como criar cargas de um projeto de DW do Zero!
PÁGINA 53
[email protected]
Principais componentes do Talend Data

Integration
O uso da paleta do Talend Data Integration é livre por se tratar de uma ferramenta de
ETL, agora as suas necessidades vão sendo adequadas de acordo com sua criatividade e
de como você pensa no seu projeto.
A paleta de objetos é muito rica, vamos começar criando uma extração de dados com
componentes sobre Componentes de tratamento de arquivos:
Antes disso, crie um folder para esta finalidade, chamado Tratamento_Dados.
PÁGINA 54
[email protected]
tFileArchive
tFileArchive: Componente criado para compactar um ou mais arquivos no formato ZIP.
Crie um Job com o nome do componente.
Arraste o componente e digite diretório, quais arquivos deseja “zipar”, complementando

na aba componente. Na nossa atividade, serão os arquivos *.XLSX
PÁGINA 55
[email protected]
Basta executar o JOB.
O Arquivo estará compactado.
PÁGINA 56
[email protected]
tFileUnarchive
TfileUnarchive: Componente criado para descompactar um ou mais arquivos no formato
*.tar.gz , *.tgz, *.tar, *.gz and *.zip.
Vamos criar um Job chamado TfileUnarchive.
PÁGINA 57
[email protected]
tFileCompare e tFileOutputDelimeted
tFileCompare: Componente criado para comparar dois arquivos.
Vamos criar um Job chamado tFileCompare.
Arraste o componente tFilecompare.
Inclua os dois arquivos a serem comparados:
Grave a saída em um arquivo saida.csv, colocando o componente TfileOutputDelimeted.
Execute o job ligando os dois componentes.
PÁGINA 58
[email protected]
Saída será:
tFileCopy e tFileList
tFileCopy: Componente criado para copiar um ou mais arquivos entre diretórios.
Vamos criar um Job chamado tFileCopy.
Para facilitar a copia de mais arquivos, vamos utilizar o componente tFileList
Vamos escolher o diretório aonde os arquivos serão copiados:
PÁGINA 59
[email protected]
Agora vamos escolher o diretório que os arquivos serão copiados, para isso vamos para o
componente tFileCopy, vamos aprender a trabalhar com variáveis de ambiente do
Talend, pressione as teclas CTRL + Space e escolha TFILE_LIST1:CURRENT_FILEPATH:
A variável de ambiente em questão, permitira que busquemos os arquivos no diretório

fornecido pelo componente tFileList, ficará da seguinte forma:
Faça a ligação entre os componentes e execute o Job.
O resultado será a criação do diretório COPIA com os arquivos.
PÁGINA 60
[email protected]
tFileDelete e tJava
tFileDelete: Componente criado para deletar um ou mais arquivos entre diretórios.
Vamos criar um Job chamado tFileDelete.
Para facilitar o encontro dos arquivos vamos utilizar o componente tFileList.
Vamos escolher o diretório com os arquivos que serão copiados:
Vamos deletar os arquivos *.zip
Agora vamos inserir o componente tFileDelete e selecionar o diretório corrente que

estamos utilizando, para isso vamos para o componente TfileDelete, utilizaremos variável
de ambiente do Talend, pressione as teclas CTRL + Space e escolha
TFILE_LIST1:CURRENT_FILEPATH:
PÁGINA 61
[email protected]
Em seguida, utilizaremos o componente tJava, para exibir uma mensagem na saída

padrão (Executar console). Neste exemplo, digite o campo Code, o seguinte script:
System.out.println( ((String)globalMap.get("tFileList_1_CURRENT_FILE"))
+ " Arquivo deletado!" );
Ao final execute o Job, ele deve estar assim:
PÁGINA 62
[email protected]
tFileExist eTMsgBox
tFileExist: Componente criado para verificar se um determinado arquivo existe.
Vamos criar um Job chamado tFileExist.
Para facilitar o encontro dos arquivos vamos pesquisar o arquivo saída.csv com o
componente tFileExist
Vamos utilizar o componente tMsgBox para exibir uma mensagem na tela se o

arquivo existe ou não existe. Vamos criar as duas situações para verificarmos a
mensagem que será exibida.
Caso o arquivo exista, vamos exibir as seguintes informações:
PÁGINA 63
[email protected]
Caso o arquivo não exista, vamos exibir as seguintes informações:
Perceba a opção Buttons a depender da situação, você pode prosseguir no job,

interromper, ignorar, etc.
Você terá que trabalhar com a condição (IF) entre os componentes:
Caso o arquivo exista,

((Boolean)globalMap.get("tFileExist_1_EXISTS"))
Caso o arquivo não exista,

!((Boolean)globalMap.get("tFileExist_1_EXISTS"))
Ao final o Job deve estar da seguinte forma:
Após executar o Job, o resultado final será:
PÁGINA 64
[email protected]
tFileRowCount
tFileRowCount: Componente criado para verificar a quantidade de linhas de um arquivo.
Vamos criar um Job chamado tFileRowCount.
Vamos ler o arquivo saída.csv e imprimir a quantidade de linhas na tela com o

componente tJava;
Para imprimir a quantidade de linhas existentes, vamos utilizar o comando :
System.out.println( ((Integer)globalMap.get("tFileRowCount_1_COUNT"))
+ " Linha(s) encontrada!" );
PÁGINA 65
[email protected]
Ao final o job ficará da seguinte forma:
O resultado será:
Vamos trabalhar agora com componentes que executam todos os tipos de tarefas de
processamento em fluxos de dados, incluindo agregação, mapeamento, transformação,
desnormalização, filtragem e assim por diante.
Como base em nossas atividades vamos utilizar o arquivo notas fiscais.xls.
PÁGINA 66
[email protected]
tAggregateRow, tSortRow e tLogRow

tAggregateRow: Componente criado para agregar dados em um arquivo ou tabela do
banco de dados
Vamos criar um Job chamado tAggregateRow.
Antes, vamos ler o arquivo de vendas, utilizando o componente venda_metadados, que

já possui os dados mapeados.
Vamos interligar ao componente tSortRow.
Clique no componente tSortRow, e escolha os campos nom_gerencia para ordenar, pois

vamos sumarizar por este campo.
PÁGINA 67
[email protected]
Você terá que modificar o tipo de dado do campo qtd_venda, pois faremos
qtd_venda(sum).
Agora utilize o componente tAggregateRow para sumarizar as linhas por nom_gerencia,

ligue tSortRow e tAggregateRow
Vamos utilizar o componente tLogRow para exibir o resultado.
PÁGINA 68
[email protected]
O resultado final, deve ficar da seguinte forma:
Execute o Job e terá o seguinte resultado:
PÁGINA 69
[email protected]
tReplace e tFilterColumn
tReplace: Componente criado para executar uma operação de Pesquisa e Substituição
nas colunas de um entrada definida.
Vamos criar um Job chamado tReplace.

Vamos interligar ao componente tReplace.
Ambos os componentes devem ter os campos:
PÁGINA 70
[email protected]
Clique no componente tReplace, e escolha os campos nom_cidade e nom_marca, vamos

trocar os registros para as seguintes informações:
Cidade DE  Salvador PARA  Singapura

Marca DE  IBM PARA  APPLE
Vamos agora utilizar o componente tFilterColumn para mudar a ordem de apresentação

dos resultados, ou seja, como desejamos que o arquivo de saída seja criado:
Clique em Editar Schema.
PÁGINA 71
[email protected]
Altere de acordo com sua necessidade, no nosso caso, vamos colocar Ano e os campos de
Cidade e Marca no inicio do arquivo, ele deve ficar no seguinte formato.
Utilize o componente tOutputExcel para saída dos dados
O resultado final deve ficar da seguinte forma:
PÁGINA 72
[email protected]
PÁGINA 73
[email protected]
tFilterRow
tFilterRow: Componente criado para filtrar registros dentro de um arquivo ou tabela de
dados.
Vamos criar um Job chamado tFilterRow.

Vamos interligar ao componente tFilterRow.
Ambos os componentes devem ter os campos:
PÁGINA 74
[email protected]
No componente tFilterRow, coloque as condições:
PÁGINA 75
[email protected]
tSplitRow
tSplitRow: Componente criado para transformar linhas em colunas dentro de um arquivo
ou tabela de dados.
Vamos criar um Job chamado tSplitRow.

Vamos interligar ao componente tSplitRow.
Os componentes devem ter os campos:
PÁGINA 76
[email protected]
No componente tSpliRow, coloque as condições:
PÁGINA 77
[email protected]
PÁGINA 78
[email protected]
tFileInputXML
tFileInputXML: Componente criado para ler um arquivo XML e transformá-lo em um
arquivo de dados por registros.
Vamos criar um Job chamado tFileInputXML.
Antes, vamos ler o arquivo livraria.xml (baixe no site de aulas). Vamos criar o metadados
para leitura dos dados, de forma a facilitar a carga.
Crie o metadados do arquivo livraria.
Coloque como metadados o descritivo livraria.
PÁGINA 79
[email protected]
Em seguida, informe que o arquivo é de entrada de dados, ou seja, INPUT.
Pesquise o arquivo livraria.xml
Note que os campos foram identificados. Agora vamos selecioná-los para a carga de
dados.
Observe bem os passos para registrar no seu metadados.
PÁGINA 80
[email protected]
1- Arraste o campo livro para a sua direita, na aba Target Schema, note que ficará
uma seta em laranja.
2- Arraste cada campo para sua direita na aba Fields to extract, ficará uma seta em
azul com todos os campos selecionados.
PÁGINA 81
[email protected]
3- Coloque o nome do metadados como livraria e confirme.
Vamos adicionar o componente tFileInputXML e tLogRow para entrada e saída dos dados.
No componente tFileInputXML vamos clicar em Property Type para escolher o
metadados que acabamos de criar, livraria.
PÁGINA 82
[email protected]
O componente vai estar formatado da seguinte maneira:
Pronto, una os componente tFileInputXML e tLogRow e execute.
Formate o componente tLogRow para que a saída fica mais fácil de entender.
PÁGINA 83
[email protected]
Vamos trabalhar agora com componentes que controlam logs e erros dos nossos Jobs.
PÁGINA 84
[email protected]
tLogCatcher , tRowGenerator,tDie e
tLogRow
tLogCatcher: Componente criado para configurar os campos e as mensagens de Java
Exception, tDie e / ou tWarn (faz sentido quando usado ao lado de um tLogCatcher para
que os dados de registro coletados sejam encapsulados e transmitidos para a saída
definida) e passa-os para o próximo componente.
tRowGenerator: Gera tantas linhas e campos conforme necessário e alimenta cada

campo com um valor aleatório.
Vamos criar um Job chamado tLogCatcher.
Vamos utilizar o componente tRowGeneration para gerar dados fictícios.
Primeiramente, vamos criar alguns campos no schema para geração dos dados, veja
abaixo, abra o componente e em Edit Schema crie os campos:
PÁGINA 85
[email protected]
Próximo passo é clicar em RowGenerator Editor e acrescente as funções para gerar as

informações:
Colocamos um intervalo variando de 10 a 100 para o campo ID. Agora clique em Preview
e os dados serão exibidos.
Vamos gravar os dados em um arquivo texto. Traga o componente tFileOutputDelimited.

Para gravar os dados, vamos executar um teste após a gravação e forçar um erro.
PÁGINA 86
[email protected]
Traga o componente tDie e conecte o tFileOutputDelimited ao tDie, utilizando a

trigger>IF, veja:
Acrescente a cláusula IF o comand:
((Integer)globalMap.get("tRowGenerator_1_NB_LINE")) <=100
Será provocado um erro que será enviado ao tLogCartcher, estamos forçando o erro se a
quantidade de linhas for menor que 100.
Para definirmos o erro, dê um duplo clique no componente tDie e acrescente a

informação abaixo:
Acrescente os componentes tLogCatcher e TlogRow para receber a mensagem de erro

(tLogCartcher) e para exibi-la (tLogRow).
PÁGINA 87
[email protected]
Ao executar teremos o seguinte resultado:
Ao final todo o JOB terá a seguinte forma:
PÁGINA 88
[email protected]
tSendMail
tSendMail: Componente criado para enviar email e caso seja necessário com arquivos em
anexo.
Vamos criar um Job chamado tSendMail.
Vamos interligar ao componente tSendMail.
Vamos configurar o componente tSendMail.
PÁGINA 89
[email protected]
Variável de Contexto
Existe no TALEND a chamada variável de contexto, descreve os parâmetros definidos pelo

usuário que são passados para seu job a ser executado. Variáveis de contexto podem
armazenar diretórios, configuração de banco de dados, enfim, tipos de dados como
string, integer, char, etc.
Como exemplificação do seu uso, utilizaremos uma variável de contexto que passa o
nome de um diretório e o nome do arquivo que serão utilizados para serem copiados, por
meio do componente tFileList e tFileCopy.
Primeira ação a fazer é criar as variáveis de contexto:
1- Vamos criar o contexto , clique com o botão direito em Contexts na aba lateral de
repositório de trabalho.
2- Em seguida, selecione Create context group, defina um nome ao seu grupo de

contexto. Sugiro sempre usar um nome parecido ao do projeto. Colocaremos o
nome de Treinamento.
PÁGINA 90
[email protected]
3- Acrescente as variávies: diretorio e arquivo, ambas string. Você verá que pode
criar varios cenários com estas mesmas variáveis.
4- Agora vamos copiar o JOB tFileCopy já criado por nós, deverá ficar assim:
5- Para acrescentar as variáveis de contexto, vamos clicr na aba Context ao lado de

component tFileCopy. Clique no botão + do lado direito para incluir os campos
DEFAULT.
PÁGINA 91
[email protected]
6- Pronto, as variáveis foram acrescentadas:
7- Para utilizá-las, basta substituir no componente Tlist, pelo campos

correspondentes:
PÁGINA 92
[email protected]
Ao executar, os arquivos serão copiados:
PÁGINA 93
[email protected]
Exportar JOB
Podemos Exportar um JOB em especifico para que este seja executado em qualquer
máquina, geralmente sendo encapsulado em um arquivo .zip, para isso, basta clicar no
JOB e escolher a opção Build JOB.
1- Vamos exportar o Job tFileCopy.
2- Abrirá uma janela, para a escolha do JOB e a geração em um arquivo .zip
PÁGINA 94
[email protected]
3-Agora vamos ao diretório e descompactar o arquivo, haverá o chamamento do job nos

arquivos .bat (windows) ou .sh (linux)
Descompactando
Pronto, os arquivos estão gerados, vamos executar o tFileCopy.bat, irá copiar os arquivos
.zip ou .csv para o diretório copia.
PÁGINA 95
[email protected]
Exportar Projeto
Podemos Exportar o projeto como um todo, ou seja, realizar um backup.
1- Clique em Job Design e escolha a opção Export Items.
2- Escolha o diretório e o nome do arquivo.
PÁGINA 96
[email protected]
3- Selecione todos os componentes para o backup e clique em finish.
PÁGINA 97
[email protected]
4- Pronto, o backup foi salvo.
Importar Projeto
Podemos Importar um projeto como um todo, a partir de um backup realizado.
1- Descompacte o Backup do projeto salvo.
2- Clique em Job Design e importar itens.
3- Escolha o Arquivo, no formato ZIP. Caso o projeto já exista, ele alertará sobre isso,
você pode ignorar clicando na opção Overwrite Existing Items.
PÁGINA 98
[email protected]
APÓS IGNORAR CLICANDO EM OVERWRITE EXISTING ITEMS
4- Selecione todos os componentes para o backup e clique em finish.
PÁGINA 99
[email protected]
PÁGINA 100
[email protected]
8. Exercícios Finais para Emissão do Certificado de Participação

Agora caro aluno, caso esteja apto, com todas as dúvidas retiradas e todas as vídeoaulas
assistidas, inicie sua bateria de exercícios para que tenha direito ao certificado de
participação.
O aluno deve realizar os exercícios e caso tenha dúvidas deve consultar o professor, mas
o aluno deve tentar realizar TODOS OS EXERCÍCIOS, estejam corretos ou não.
O professor irá avaliar o seu grau de entendimento. Caso o professor não esteja satisfeito
com o seu rendimento, este solicitará que você refaça os exercícios ou revise algumas
aulas.
O professor tem total autonomia para ajudar e gerenciar as atividades dos alunos e
decidir quando o aluno terá direito ao certificado de participação.
PÁGINA 101
[email protected]
8.1 Primeira Bateria de Exercícios
De acordo com o texto abaixo, reproduza em seu computador

e envie ao professor.
 O aluno deverá construir um projeto de DW do zero utilizando a ferramenta

Talend Data Integration
 O projeto deve contemplar: tabelas Staging, tabelas Dimensão, tabela Fato, cargas
Staging, cargas Dimensão e carga Fato;
 O aluno deve executar as cargas e popular as tabelas de Dimensão e Fato;
 O aluno deverá enviar o script de criação do banco de dados multidimensional do
projeto ao professor e toda a estrutura de metadados do projeto através da
exportação do projeto;
 O aluno utilizará os dados de uma Folha de Pagamento para realizar o projeto, o
arquivo encontrasse na área do aluno no site do curso.
AO FINAL DEVEM SER CRIADOS:

DIMENSÃO: Cargo, Departamento, Divisão, Funcionário,Tempo
FATO: Folha de Pagamento
 Os arquivos de entrada que serviram para carga nas tabelas de Staging estão no
formato texto (CSV).
PÁGINA 102
[email protected]
8.2 Segunda Bateria de Exercícios
1) Carregue o arquivo Fonte de Dados 1 - Diarias.xlsx ou Fonte de Dados 2 - CPGF
2) Utilize pelo menos 4 componentes vistos no curso para realizar tratamento de dados,
ou qualidade dos dados. Explique qual a finalidade do seu JOB.
PÁGINA 103
[email protected]
Considerações Importantes
“A alegria que se tem em pensar e aprender faz-nos pensar e aprender ainda mais”
Aristóteles (Início dos tempos)
9. Considerações Importantes
 Importante que você saiba que você pode retirar dúvidas com o professor no
momento que desejar, para isso entre em contato via e-mail, o mesmo está na
folha de rosto da apostila ou através do fórum dos alunos;
 Lembre-se que uma internet de banda larga ajudará na visualização dos vídeos,
quando temos lentidão no acesso da internet isso influenciará na aprendizagem
rápida do curso;
 Importante que você trabalhe com a ferramenta Talend Data Integration
diariamente, ou um espaço de tempo de uma aula para outra pequeno, pois isso
facilitará seu entendimento;
 Lembre-se o curso tem um custo baixo, para permitir que mais colegas possam
realizar o curso e retire dúvidas com os professores e colegas, não compartilhe
seu usuário e senha, pois prejudica uma cadeia de profissionais que trabalharam
no curso.
 Qualquer dificuldade não hesite e entre em contato com o professor do curso,
passe um e-mail.
10. Futuras atualizações
Toda necessidade de inclusão de novos comandos e exercícios, devem ser solicitados ao

professor, lembre-se você pode melhorar e muito o curso informando problemas no
acesso e sobre algum erro encontrado e identificado na apostila.
PÁGINA 104
[email protected]
Apêndice
Glossário de Siglas e Termos
“Mesmo desacreditado e ignorado por todos, não posso desistir, pois para mim, vencer é nunca desistir..”
Albert Einstein (1879-1955)
I. Glossário de Siglas e Termos

A seguir estão disponíveis em ordem alfabética, a relação de siglas e termos
frequentemente utilizados durante a criação do curso.
software ETL simples e únicos, bem como

-A– projetos complexos e contínuos de
ALUNO – É o indivíduo que recebe formação e sincronização de dados com milhares de
instrução de um ou vários professores ou trabalhos. Um repositório compartilhado com
mestres para adquirir ou ampliar seus versões e capacidades de entrega contínua
conhecimentos. maximiza a produtividade e a colaboração.
-E–
EAD – É uma modalidade de educação mediada
por tecnologias em que alunos e professores
estão separados espacial e/ou temporalmente,
ou seja, não estão fisicamente presentes em um
ambiente presencial de ensino-aprendizagem.
-P–
PROFESSOR - É uma pessoa que ensina uma
ciência, arte, técnica ou outro conhecimento.
PROGRAMAÇÂO - É um método padronizado

para comunicar instruções para um
computador. É um conjunto de regras sintáticas
e semânticas usadas para definir um programa
de computador.
-T–
TALEND DATA INTEGRATION - Ferramenta e

assistentes simples e gráficos, levam-no a
funcionar rapidamente com mais de 900
conectores para conectar conectores nativos,
aplicativos baseados em nuvem e muito mais.
Gerencie e monitore facilmente projetos de
PÁGINA 105

Talend Guia de Orientação

Enviado por

Direitos autorais:

Formatos disponíveis

Talend Guia de Orientação

Enviado por

Dados do documento

Descrição original:

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Talend Guia de Orientação

Enviado por

Direitos autorais:

Formatos disponíveis

parei

Apostila criada por Grimaldo Oliveira

Grimaldo Lopes de Oliveira [email protected]

Grimaldo é baiano e soteropolitano. Fez graduação em Estatística pela Universidade Federal

TRABALHO PRÁTICO ................................................................................................................ 22

CONSIDERAÇÕES IMPORTANTES .............................................................................................104

Winston Churchill (1874-1965)

Sobre este documento

Atualizações deste documento

Futuras modificações poderão ocorrer no conteúdo deste documento em decorrência de

As informações abaixo estão nas vídeoaulas do

O objetivo principal do curso é permitir que aspectos básicos com ênfase no

Embora, na maior parte do texto assume-se familiaridade com conceitos e métodos

Portanto, mãos a obra.

Entendendo o Talend Data Integration

O Talend Data Integration é um conjunto de ferramentas da familia ETL (Extração,

 TOS_*-win-x86_64.exe, para Windows.

Vamos detalhá-los para que você entenda com facilidade.

REPOSITÓRIO: é o local de armazenamento que o Talend utiliza para Integração de

PROJETO: os projetos são conjuntos estruturados, elementos e seus metadados

JOB: é um desenho gráfico, de um ou mais componentes conectados em conjunto, que

COMPONENTE: um componente é um conector pré-configurado usado para executar

Instalação o Talend Data Integration

A instalação será realizada através do download da ferramenta no site da empresa. Ao

Estrutura de funcionamento do Talend Data Integration

ion, possui uma janela multi painel que permite o gerenciamento

File Close Fecha a corrente janela do Studio design workspace.

Install Additional Abre o [Additional Talend packages] onde você pode

Primeiros passos com o Talend Data Integration

Você irá ao repositório e escolherá a opção create job.

Clique em create, do seu notebook ou desktop.

A tela abaixo irá ser aberta:

Digite as informações sobre o JOB:

Vá até a aba do Repositório e crie o metadados para a planilha produto, dentro do

Vamos passar por algumas etapas para a geração do metadados:

3- Marque a opção set

Note que o arquivo está corretamente disponibilizado para a carga.

Agora utilizaremos um componente chamado de TOutputOracle que será utilizado para

Ficará da seguinte forma:

Clique em check e verifique a mensagem abaixo:

Deverá aparecer na árvore do repositório a conexão:

Agora, vamos escolher a conexão e colocar a tabela do banco de dados, chamada

Em action on Table, escolha a opção CREATE TABLE.

Agora para fazer a ligação entre os componentes tFileInputExcel e TOutputOracle é

2- Em seguida dê dois clique no objeto tMap e clique em auto Map.

3- Depois vá à aba run Job e execute o Job clicando em Run.

Ao final esta mensagem deve aparecer, indicando SUCESSO!

1. BI Tático: É a aplicação de ferramentas de BI para analisar tendências de negócios,

2. BI Estratégico: Apoia o alto comando da empresa na gestão de desempenho do

3. BI Operacional: é utilizado pela linha de frente do negócio, para orientar nas

O Modelo Multidimensional criado contém 04 dimensões (DIM_DEPARTAMENTO,

A área de Staging ou área de transição é o armazenamento de dados intermediário entre

Vamos Criar 04 tabelas para receber os dados da planilha eletrônica.

STG_PRODUTO  Receberá os dados da aba Produto.

CRIANDO/CARGA CRIANDO /CARGA CRIAÇÃO /CARGA CRIALÇÃO/CARGA AUTOMATIZANDO

Inicialmente começamos o projeto criando uma carga da STG_PRODUTO, chamada de

1. Clique com o botão

3. Vamos designar o nome

8. Troque o tipo do campo