HEFESTO - v2
HEFESTO - v2
HEFESTO - v2
HEFESTO
DATA WAREHOUSING: Investigación y Sistematización de Conceptos
Copyright ©2007 Ing. Bernabeu, Ricardo Dario. Se otorga permiso para copiar, distribuir
y/o modificar este documento bajo los términos de la Licencia de Documentación Libre de
GNU, Versión 1.2 o cualquier otra versión posterior publicada por la Free Software
Foundation; requiriendo permanecer invariable el nombre de la metodología (HEFESTO),
en cuanto al diseño de su logotipo, debe mantenerse el estilo medieval para su confección y
letra ”O” representada por el símbolo de radioactividad (). Una copia de la licencia está
incluida en la sección titulada Licencia de Documentación Libre de GNU.
HEFESTO es una metodología propia, cuya propuesta está fundamentada en una muy
amplia investigación, comparación de metodologías existentes, experiencias propias en
procesos de confección de almacenes de datos. Cabe destacar que HEFESTO está en
continua evolución, y se han tenido en cuenta, como gran valor agregado, todos los
feedbacks que han aportado quienes han utilizado esta metodología en diversos países y
con diversos fines.
La idea principal, es comprender cada paso que se realizará, para no caer en el tedio de
tener que seguir un método al pie de la letra sin saber exactamente qué se está haciendo, ni
por qué.
La metodología HEFESTO, puede ser embebida en cualquier ciclo de vida que cumpla con
la condición antes declarada.
Con el fin de que se llegue a una total comprensión de cada paso o etapa, se acompañará
con la implementación en una empresa real, para demostrar los resultados que se deben
obtener y ejemplificar cada concepto.
5.2 Descripción
Submitted by bernabeu_dario on 7 May, 2009 - 22:06
construcción
datawarehouse
dw
hefesto
metodologia
pasos
Después, se analizarán los OLTP para determinar cómo se construirán los indicadores,
señalar las correspondencias con los datos fuentes y para seleccionar los campos de estudio
de cada perspectiva.
Una vez hecho esto, se pasará a la construcción del modelo lógico del depósito, en donde se
definirá cuál será el tipo de esquema que se implementará. Seguidamente, se
confeccionarán las tablas de dimensiones y las tablas de hechos, para luego efectuar sus
respectivas uniones.
4
Por último, utilizando técnicas de limpieza y calidad de datos, procesos ETL, etc, se
definirán políticas y estrategias para la Carga Inicial del DW y su respectiva actualización.
5.3 Características
Submitted by bernabeu_dario on 7 May, 2009 - 22:08
caracteristicas
hefesto
metodologia
misma, como así también apoyará a una mejor construcción y adaptación del depósito de
datos.
Análisis de requerimientos
construcción
datawarehouse
dw
hefesto
metodologia
Lo primero que se hará será identificar los requerimientos de l@s usuari@s a través de
preguntas que expliciten los objetivos de su organización. Luego, se analizarán estas
preguntas a fin de identificar cuáles serán los indicadores y perspectivas que serán tomadas
en cuenta para la construcción del DW. Finalmente se confeccionará un modelo conceptual
en donde se podrá visualizar el resultado obtenido en este primer paso.
Es muy importante tener en cuenta que HEFESTO se puede utilizar para construir un Data
Warehouse o un Data Mart a la vez, es decir, si se requiere construir por ejemplo dos Data
Marts, se deberá aplicar la metodología dos veces, una por cada Data Mart. Del mismo
6
El primer paso comienza con el acopio de las necesidades de información, el cual puede
llevarse a cabo a través de muy variadas y diferentes técnicas, cada una de las cuales
poseen características inherentes y específicas, como por ejemplo entrevistas, cuestionarios,
observaciones, etc.
Debe tenerse en cuenta que dicha información, es la que proveerá el soporte para
desarrollar los pasos sucesivos, por lo cual, es muy importante que se preste especial
atención al relevar los datos.
La idea central es, que se formulen preguntas complejas sobre el negocio, que incluyan
variables de análisis que se consideren relevantes, ya que son estas las que permitirán
estudiar la información desde diferentes perspectivas.
Un punto importante que debe tenerse muy en cuenta, es que la información debe estar
soportada de alguna manera por algún OLTP, ya que de otra forma, no se podrá elaborar el
DW.
Caso práctico:
Se indagó a l@s usuari@s en busca de sus necesidades de información, pero las mismas
abarcaban casi todas las actividades de la empresa, por lo cual se les pidió que escogieran
el proceso que considerasen más importante en las actividades diarias de la misma y que
estuviese soportado de alguna manera por algún OLTP. El proceso elegido fue el de
Ventas.
7
A continuación, se procedió a identificar qué era lo que les interesaba conocer acerca de
este proceso y cuáles eran las variables o perspectivas que debían tenerse en cuenta para
poder tomar decisiones basadas en ello.
Se les preguntó cuáles eran según ell@s, los indicadores que representan de mejor modo el
proceso de Ventas y qué sería exactamente lo que se desea analizar del mismo. La respuesta
obtenida, fue que se deben tener en cuenta y consultar datos sobre la cantidad de unidades
vendidas y el monto total de ventas.
Luego se les preguntó cuáles serían las variables o perspectivas desde las cuales se
consultarán dichos indicadores. Para simplificar esta tarea se les presentó una serie de
ejemplos concretos de otros casos similares.
Se desea conocer cuántas unidades de cada producto fueron vendidas a sus clientes en un
periodo determinado. O en otras palabras: ”Unidades vendidas de cada producto a cada
cliente en un tiempo determinado”.
Se desea conocer cuál fue el monto total de ventas de productos a cada cliente en un
periodo determinado. O en otras palabras: ”Monto total de ventas de cada producto a
cada cliente en un tiempo determinado”.
Como se puede apreciar, las necesidades de información expuestas están acorde a los
objetivos y estrategias de la empresa, ya que es precisamente esta información requerida
la que proveerá un ámbito para la toma de decisiones, que en este caso permitirá analizar
el comportamiento de l@s client@s a l@s que se pretende satisfacer ampliamente, para así
lograr obtener una ventaja competitiva y maximizar las ganancias.
Una vez que se han establecido las preguntas de negocio, se debe proceder a su
descomposición para descubrir los indicadores que se utilizarán y las perspectivas de
análisis que intervendrán.
Para ello, se debe tener en cuenta que los indicadores, para que sean realmente efectivos
son, en general, valores numéricos y representan lo que se desea analizar concretamente,
por ejemplo: saldos, promedios, cantidades, sumatorias, fórmulas, etc.
En cambio, las perspectivas se refieren a los objetos mediante los cuales se quiere examinar
los indicadores, con el fin de responder a las preguntas planteadas, por ejemplo: clientes,
8
proveedores, sucursales, países, productos, rubros, etc. Cabe destacar, que el Tiempo es
muy comúnmente una perspectiva.
Caso práctico:
Unidades vendidas.
Monto total de ventas.
Clientes.
Productos.
Tiempo.
A través de este modelo, se podrá observar con claridad cuáles son los alcances del
proyecto, para luego poder trabajar sobre ellos, además al poseer un alto nivel de definición
9
de los datos, permite que pueda ser presentado ante l@s usuari@s y explicado con
facilidad.
Caso práctico:
análisis oltp
construcción
datawarehouse
dw
hefesto
11
metodologia
Seguidamente, se analizarán las fuentes OLTP para determinar cómo serán calculados los
indicadores y para establecer las respectivas correspondencias entre el modelo conceptual
creado en el paso anterior y las fuentes de datos. Luego, se definirán qué campos se
incluirán en cada perspectiva. Finalmente, se ampliará el modelo conceptual con la
información obtenida en este paso.
En este paso se deberán explicitar como se calcularán los indicadores, definiendo los
siguientes conceptos para cada uno de ellos:
Caso práctico:
”Unidades Vendidas”:
o Hechos: Unidades Vendidas.
o Función de sumarización: SUM.
Aclaración: el indicador ”Monto Total de Ventas” representa la sumatoria del monto total
que se ha vendido de cada producto, y se obtiene al multiplicar las unidades vendidas, por
su respectivo precio.
La idea es, que todos los elementos del modelo conceptual estén correspondidos en los
OLTP.
Caso práctico:
Una vez que se han establecido las relaciones con los OLTP, se deben seleccionar los
campos que contendrá cada perspectiva, ya que será a través de estos por los que se
examinarán y filtrarán los indicadores.
diccionarios de datos, reuniones con l@s encargad@s del sistema, análisis de los datos
propiamente dichos, etc.
Luego de exponer frente a l@s usuari@s los datos existentes, explicando su significado,
valores posibles y características, est@s deben decidir cuales son los que consideran
relevantes para consultar los indicadores y cuales no.
Al momento de seleccionar los campos que integrarán cada perspectiva, debe prestarse
mucha atención, ya que esta acción determinará la granularidad de la información
encontrada en el DW.
Caso práctico:
Con respecto a la perspectiva ”Clientes”, los datos disponibles son los siguientes:
o id_Cliente: es la clave primaria de la tabla ”Clientes”, y representa unívocamente a
un cliente en particular.
o Codigo: representa el código del cliente, este campo es calculado de acuerdo a una
combinación de las iniciales del nombre del cliente, el grupo al que pertenece y un
número incremental.
o Razon_Soc: nombre o razón social del cliente.
o Telefono1: número de teléfono del cliente.
o Telefono2: segundo número telefónico del cliente.
o Fax1: número de fax del cliente.
o Fax2: segundo número de fax del cliente.
o Mail1: dirección de correo electrónico del cliente.
o Mail2: segunda dirección de correo del cliente.
o id_Sit_Fiscal: representa a través de una clave foránea el tipo de situación fiscal
que posee el cliente. Por ejemplo: Consumidor Final, Exento, Responsable No
Inscripto, Responsable Inscripto.
16
En la perspectiva ”Productos”, los datos que se pueden utilizar son los siguientes:
o id_prod: es la clave primaria de la tabla ”Productos”, y representa unívocamente a
un producto en particular.
o stock: stock actual del producto.
o stock_min: stock mínimo del producto, se utiliza para dar alerta si el stock actual
está cerca del mismo, al ras o si ya lo superó.
o Precio: precio de venta del producto.
o Detalle: nombre o descripción del producto.
o id_Rubro: representa a través de una clave foránea el rubro al que pertenece el
producto.
o id_Marca: representa a través de una clave foránea la marca a la que pertenece el
producto.
o stock_MAX: stock máximo del producto. Al igual que ”stock_min”, se utiliza para
dar alertas del nivel de stock actual.
o tipo: clasificación del producto. Por ejemplo: Producto, Servicio, Compuesto.
o Costo: precio de costo del producto.
o codigo: representa el código del producto, este campo es calculado de acuerdo a
una combinación de las iniciales del nombre del producto, el rubro al que
pertenece y un número incremental.
o Imagen: ruta de acceso a una imagen o dibujo mediante la cual se quiera
representar al producto. Este campo no es utilizado actualmente.
o Generico: indica si el producto es genérico o no.
o Eliminado: indica si el producto fue eliminado o no. Si fue eliminado, no figura en
las listas de productos actuales.
o PrecioR: precio de lista del producto.
o Año.
o Semestre.
o Cuatrimestre.
o Trimestre.
o Número de mes.
o Nombre del mes.
o Quincena.
o Semana.
o Número de día.
o Nombre del día.
Una vez que se recolectó toda la información pertinente y se consultó con l@s usuari@s
cuales eran los datos que consideraban de interés para analizar los indicadores ya
expuestos, los resultados obtenidos fueron los siguientes:
Perspectiva ”Clientes”:
o ”Razon_Soc” de la tabla ”Clientes”. Ya que este hace referencia al nombre del
cliente.
Perspectiva ”Productos”:
o ”detalle” de la tabla ”Productos”. Ya que este hace referencia al nombre del
producto.
o ”Nombre” de la tabla ”Marcas”. Ya que esta hace referencia a la marca a la que
pertenece el producto. Este campo es obtenido a través de la unión con la tabla
”Productos”
Perspectiva ”Tiempo”:
o ”Mes”. Referido al nombre del mes.
o ”Trimestre”.
o ”Año”.
En este paso, y con el fin de graficar los resultados obtenidos en los pasos anteriores, se
ampliará el modelo conceptual, colocando bajo cada perspectiva los campos seleccionados
y bajo cada indicador su respectiva fórmula de cálculo. Gráficamente:
18
Caso práctico:
construcción
datawarehouse
dw
hefesto
metodologia
modelo lógico
Se debe seleccionar cuál será el tipo de esquema que se utilizará para contener la estructura
del depósito de datos, que se adapte mejor a los requerimientos y necesidades de l@s
usuari@s. Es muy importante definir objetivamente si se empleará un esquema en estrella,
constelación o copo de nieve, ya que esta decisión afectará considerablemente la
elaboración del modelo lógico.
Caso práctico:
En este paso se deben diseñar las tablas de dimensiones que formaran parte del DW.
Para los tres tipos de esquemas, cada perspectiva definida en en modelo conceptual
constituirá una tabla de dimensión. Para ello deberá tomarse cada perspectiva con sus
campos relacionados y realizarse el siguiente proceso:
Gráficamente:
Para los esquemas copo de nieve, cuando existan jerarquías dentro de una tabla de
dimensión, esta tabla deberá ser normalizada. Por ejemplo, se tomará como referencia la
siguiente tabla de dimensión y su respectivas relaciones padre-hijo entre sus campos:
21
Caso práctico:
Perspectiva “Clientes”:
o La nueva tabla de dimensión tendrá el nombre “CLIENTE”.
o Se le agregará una clave principal con el nombre “idCliente”.
o Se modificará el nombre del campo “Razon_Soc” por “Cliente”.
Perspectiva “Productos”:
o La nueva tabla de dimensión tendrá el nombre “PRODUCTO”.
o Se le agregará una clave principal con el nombre “idProducto”.
o El nombre del campo “Marca” no será cambiado.
o Se modificará el nombre del campo “Detalle” por “Producto”.
Perspectiva “Tiempo”:
o La nueva tabla de dimensión tendrá el nombre “FECHA”.
o Se le agregará una clave principal con el nombre “idFecha”.
o El nombre los campos no serán modificados.
En este paso, se definirán las tablas de hechos, que son las que contendrán los hechos a
través de los cuales se construirán los indicadores de estudio.
Gráficamente:
24
Entonces se obtendrá:
25
o
o Caso 2: Si en dos o más preguntas de negocio figuran diferentes indicadores
con diferentes perspectivas de análisis, existirán tantas tablas de hechos
como preguntas cumplan esta condición. Por ejemplo:
o
o
o Entonces se obtendrá:
o
o
o Caso 3: Si el conjunto de preguntas de negocio cumplen con las condiciones
de los dos puntos anteriores se deberán unificar aquellos interrogantes que
posean diferentes indicadores pero iguales perspectivas de análisis, para
luego reanudar el estudio de las preguntas. Por ejemplo:
o
o
o Se unificarán en:
o
o
o
Caso práctico:
5.5.3.4. d) Uniones
Para los tres tipos de esquemas, se realizarán las uniones correspondientes entre sus tablas
de dimensiones y sus tablas de hechos.
Caso práctico:
actualización
carga inicial
construcción
datawarehouse
dw
ETL
hefesto
Integración de datos
metodologia
Una vez construido el modelo lógico, se deberá proceder a poblarlo con datos, utilizando
técnicas de limpieza y calidad de datos, procesos ETL, etc.; luego se definirán las reglas y
políticas para su respectiva actualización, así como también los procesos que la llevarán a
cabo.
Debemos en este paso realizar la Carga Inicial al DW, poblando el modelo de datos que
hemos construido anteriormente. Para lo cual debemos llevar adelante una serie de tareas
básicas, tales como limpieza de datos, calidad de datos, procesos ETL, etc.
La realización de estas tareas pueden contener una lógica realmente compleja en algunos
casos. Afortunadamente, en la actualidad existen muchos softwares que se pueden emplear
a tal fin, y que nos facilitarán el trabajo.
Se debe evitar que el DW sea cargado con valores faltantes o anómalos, así como también
se deben establecer condiciones y restricciones para asegurar que solo se utilicen los datos
de interés.
Cuando se trabaja con un esquema constelación, hay que tener presente que varias tablas de
dimensiones serán compartidas con diferentes tablas de hechos, ya que puede darse el caso
de que algunas restricciones aplicadas sobre una tabla de dimensión en particular para
analizar una tabla de hechos, se puedan contraponer con otras restricciones o condiciones
de análisis de otras tablas de hechos.
Primero se cargarán los datos de las dimensiones y luego los de las tablas de hechos,
teniendo en cuenta siempre, la correcta correspondencia entre cada elemento. En el caso en
que se esté utilizando un esquema copo de nieve, cada vez que existan jerarquías de
dimensiones, se comenzarán cargando las tablas de dimensiones del nivel más general al
más detallado.
Concretamente, en este paso se deberá registrar en detalle las acciones llevadas a cabo con
los diferentes softwares. Por ejemplo, es muy común que sistemas ETL trabajen con
"pasos" y "relaciones", en donde cada "paso" realiza una tarea en particular del proceso
ETL y cada "relación" indica hacia donde debe dirigirse el flujo de datos. En este caso lo
que se debe hacer es explicar que hace el proceso en general y luego que hace cada "paso"
y/o "relación". Es decir, se partirá de lo más general y se irá a lo más específico, para
obtener de esta manera una visión general y detallada de todo el proceso.
Es importante tener presente, que al cargar los datos en las tablas de hechos pueden
utilizarse preagregaciones, ya sea al nivel de granularidad de la misma o a otros niveles
diferentes.
30
Caso práctico:
Para simplificar la aplicación del ejemplo, el caso práctico solo se centrará en los
aspectos más importantes del proceso ETL, obviando entrar en detalle de cómo se realizan
algunas funciones y/o pasos.
Obtener datos de OLTP: obtiene a través de una consulta SQL los datos del OLTP necesarios
para cargar la dimensión CLIENTE.
Se consultó con l@s usuari@s y se averiguó que deseaban tener en cuenta solo aquellos
clientes que no estén eliminados y que tengan su cuenta habilitada.
Con respecto a la cuenta habilitada, el campo del OLTP que le hace mención es
“Cta_Habilitada”, y un valor “0” indica que no está habilitada y un valor “1” que sí.
Cargar CLIENTE: almacena en la tabla de dimensión CLIENTE los datos obtenidos en el paso
anterior.
33
Obtener datos de OLTP: obtiene a través de una consulta SQL los datos del OLTP necesarios
para cargar la dimensión PRODUCTO.
En este caso, aunque existían productos eliminados, l@s usuari@s decidieron que esta
condición no fuese tomada en cuenta, ya que habían movimientos que hacían referencia a
productos con este estado.
Es necesario realizar una unión entre la tabla “Productos” y “Marcas”, por lo cual se
debió asegurar que ningún producto hiciera mención a alguna marca que no existiese, y se
tomaron medidas contra su futura aparición.
Para generar esta tabla de dimensión, infaltable en todo DW, existen varias herramientas y
utilidades de software que proporcionan diversas opciones para su confección. Pero, si no
se cuenta con ninguna, se puede realizar manualmente o mediante algún programa,
llenando los datos en un archivo, tabla, hoja de cálculo, etc, y luego exportándolos a donde
se requiera.
35
A continuación, se especificará las tareas llevadas a cabo por "Carga de Tabla de Hechos
VENTAS". Este paso es un contenedor de pasos, así que incluye las siguientes tareas:
36
Obtener datos de OLTP: obtiene a través de una consulta SQL los datos del OLTP necesarios
para cargar la tabla de hechos VENTAS.
Otro punto importante a tener en cuenta es que la fecha se debe convertir al formato
numérico “yyyymmdd”.
Se decidió aplicar una preagregación a los hechos que formarán parte de la tabla de hechos,
es por esta razón que se utilizará la cláusula GROUP BY para agrupar todos los registros a
través de las claves primarias de esta tabla.
Cargar VENTAS: almacena en la tabla de hechos VENTAS los datos obtenidos en el paso
anterior.
5.5.4.2 b) Actualización
Una vez realizado esto, se tendrán que llevar a cabo las siguientes acciones:
Especificar las tareas de limpieza de datos, calidad de datos, procesos ETL, etc., que
deberán realizarse para actualizar los datos del DW.
Especificar de forma general y detallada las acciones que deberá realizar cada software.
38
Caso práctico:
Las políticas de Actualización que se han convenido con l@s usuari@s son las siguientes:
Para evitar que se extienda demasiado la aplicación del ejemplo, el caso práctico solo
incluirá lo que debería realizar el proceso ETL para actualizar el DW.
El proceso ETL para la actualización del DW es muy similar al de Carga Inicial, pero
cuenta con las siguientes diferencias:
Inicio: iniciará la ejecución de los pasos todos los días a las doce de la noche.
Establecer variables Fecha_Desde y Fecha_Hasta:
o La variable "Fecha_Desde" obtendrá el valor resultante de restarle a la fecha
actual treinta días.
o La variable "Fecha_Hasta" obtendrá el valor de la fecha actual.
Carga de Dimensión CLIENTE: a la serie de tareas que realiza este paso, se le antecederá un
nuevo paso que borrará los datos de la dimensión CLIENTE.
Carga de Dimensión PRODUCTO: a la serie de tareas que realiza este paso, se le
antecederá un nuevo paso que borrará los datos de la dimensión PRODUCTO.
Carga de Dimensión FECHA: en este paso, en vez de recibir el valor de la variable
"Fecha_Desde", se tomará la fecha del último registro cargado en la dimensión FECHA.
Carga de Tabla de Hechos VENTAS:
o a la serie de tareas que realiza este paso, se le antecederá un nuevo paso que
borrará los datos de la tabla de HECHOS correspondientes al intervalo entre
"Fecha_Desde" y "Fecha_Hasta".
o en el paso "Obtener datos de OLTP" se le agregará a la sentencia SQL la siguiente
condición:
WHERE Facturas_Venta.Fecha >= {Fecha_Desde} AND
Facturas_Venta.Fecha <= {Fecha_Hasta}
39
En este momento se crearán dos indicadores que serán incluidos en el cubo ”Cubo de
Ventas”:
o “Clientes”.
De la tabla de dimensión “PRODUCTO”, se tomará el campo “Marca” para la
creación del atributo denominado:
o “Marcas”.
De la tabla de dimensión “PRODUCTO”, se tomará el campo “Producto” para la
creación del atributo denominado:
o “Productos”.
De la tabla de dimensión “FECHA”, se tomará el campo “Año” para la creación del
atributo denominado:
o “Años”.
De la tabla de dimensión “FECHA”, se tomará el campo “Trimestre” para la
creación del atributo denominado:
o “Trimestres”.
De la tabla de dimensión “FECHA”, se tomará el campo “Mes” para la creación del
atributo denominado:
o “Meses”.
Gráficamente:
o Un mes del año pertenece solo a un trimestre del año. Un trimestre del año
tiene uno o más meses del año.
o Un trimestre del año pertenece solo a un año. Un año tiene uno o más
trimestres del año.
Gráficamente:
A partir del modelo lógico planteado, podrían haberse creado una gran cantidad de cubos,
cada uno de los cuales estaría orientado a un tipo de análisis en particular. Tal y como se
explicó antes, estos cubos pueden coexistir sin ningún inconveniente.
Cubo 1:
44
Cubo 2:
Cubo 3:
45
6. Consideraciones de Diseño
6.1 Tamaño del DW
6.2 Tiempo de construcción
6.3 Implementación
6.4 Performance
6.5 Mantenimiento
6.6 Impactos
6.7 DM como subproyectos
6.8 Teoría de Grafos
6.9 Elección de Columnas
6.10 Claves Primarias en Tablas de Dimensiones
6.11 Balance de Diseño
6.12 Relación muchos a muchos
6.13 Claves Subrogadas
6.14 Dimensiones lentamente cambiantes
6.15 Dimensiones Degeneradas
6.16 Dimensiones Clustering
46
datawarehouse
dw
tamaño
Dependiendo del negocio, el volumen de datos y el alcance del proyecto, el tamaño del DW
puede variar considerablemente, por lo cual, es una buena práctica tener esto en cuenta al
momento de diseñar el depósito y al determinar los recursos físicos, los tiempos de
desarrollo y los respectivos costos inherentes.
datawarehousing
dw
tiempo de construcción
6.3 Implementación
Las implementaciones de los depósitos de datos varían entre sí de forma considerable,
teniendo en cuenta las herramientas de software que se empleen, los modelos que se
utilicen, recursos disponibles, SGBD que lo soporten, herramientas de análisis y consulta,
entre otros.
6.4 Performance
Submitted by bernabeu_dario on 13 May, 2009 - 23:25
datawarehouse
dw
performance
Cuando se diseñan los ETLs, es muy importante que los mismos sean lo más eficientes
posible, ya que una vez que se tenga un gran volumen de datos, el espacio en disco se
volverá fundamental y los tiempos incurridos en el procesamiento y acceso a la
información serán esenciales, y más aún si el DWH es considerado o tomado como un
sistema de misión crítica.
48
Para mejorar la performance del DWH, se pueden llevar a cabo las siguientes acciones
sobre el DW y las estructuras de datos (cubos multidimensionales, Business Models, etc):
Prestar especial atención a los tipos de datos utilizados, por ejemplo, para valores
enteros pequeños conviene utilizar tinyint o smallint en lugar de int, con el fin de no
asignar tamaños de datos mayores a los necesarios. Esto toma vital importancia
cuando se aplica en las claves primarias, debido a que formarán parte de la tabla de
hechos que es la que contiene el volumen del almacén de datos.
Utilizar Claves Subrogadas.
Utilizar técnicas de indexación.
Utilizar técnicas de particionamiento.
Crear diferentes niveles de sumarización.
Crear vistas materializadas.
Utilizar técnicas de administración de datos en memoria caché.
Utilizar técnicas de multiprocesamiento, con el objetivo de agilizar la obtención de
resultados, a través de la realización de procesos en forma concurrente.
6.5 Mantenimiento
Un punto muy importante es mantener en correcto funcionamiento al DW, ya que a medida
que pase el tiempo, este tenderá a crecer significativamente, y surgirán cambios, tanto en
los requerimientos como en las fuentes de datos.
6.6 Impactos
Submitted by bernabeu_dario on 13 May, 2009 - 23:27
datawarehousing
dwh
impactos
Con la implementación del DWH, los procesos de toma de decisiones serán optimizados, al
obtener información correcta al instante en que se necesita, evitando perdidas de tiempo y
anomalías en los datos. Al contar con esta información, l@s usuari@s tendrán más
confianza en las decisiones que tomarán y en adición a ello, poseerán una base sustentable
para justificarlas.
datamart
Dm
Al diseñar e implementar DM como partes de un proyecto DW, se debe tener en cuenta que
el análisis que se efectuará, los modelos que intervendrán y el alcance, deben ser globales,
con el fin de determinar, por ejemplo, tablas de dimensiones comunes entre las diferentes
áreas de trabajo. Esto evitará que se realicen tareas repetidas, ahorrando tiempos y
enfocándose en la consolidación, unificación y centralización de la información de los
diferentes sectores.
teoría de grafos
Para evaluar la validez de la estructura lógica del depósito de datos, puede emplearse la
teoría de grafos, la cual afirma que su estructura será correcta sí y solo sí está conformada
únicamente por trayectorias acíclicas.
Si se encuentran trayectorias cíclicas, deberán ser transformadas para que las consultas al
DW sean válidas y confiables.
50
Una trayectoria acíclica, es aquella que sólo tiene una forma de recorrido (en un solo
sentido). Por ejemplo, en la siguiente figura se puede apreciar que existe una sola manera
de recorrer las tablas de dimensiones.
Una trayectoria cíclica, es aquella que se puede recorrer en dos o más secuencias diferentes.
Por ejemplo, en la siguiente imagen se pueden distinguir dos sentidos por los cuales
recorrer las tablas de dimensiones.
elección de columnas
Cuando se seleccionan los campos que integrarán el DW, se debe tener en cuenta lo
siguiente:
Se deben descartar aquellos campos cuyos valores tengan muy poca variabilidad.
Se deben descartar los campos que tengan valores diferentes para cada objeto, por
ejemplo el número de D.N.I. cuando se analizan personas.
En los casos en que no existan jerarquías dentro de alguna tabla de dimensión, en la
cual la cantidad de registros que posee la misma son demasiados, es conveniente,
conjuntamente con l@s usuari@s, definirlas. Pero, si llegase a suceder que no se
encontrase ningún criterio por el cual jerarquizar los campos, es una buena práctica
crear jerarquías propias. El objetivo de llevar a cabo esta acción, es la de poder
dividir los registros en grupos, propiciando de esta manera una exploración más
amena y controlable. Para ejemplificar este punto, se utilizará como referencia la
tabla de dimensión de la siguiente figura. La misma no posee ninguna jerarquía
definida y la cantidad de registros con que cuenta son cientos:
Entonces, lo que se realizará será crear una nueva jerarquía a partir de los campos
disponibles:
clave primaria
dimension
53
1. Una única columna que sea clave primaria e identifique unívocamente cada registro.
2. Varias columnas que sean clave primaria e identifiquen en conjunto, unívocamente
cada registro.
balance de diseño
El siguiente gráfico muestra los tres puntos más importantes que se deben balancear al
momento de diseñar y construir el modelo lógico de datos del DW:
Estas tres características están fuertemente relacionadas y condicionadas entre sí, por lo
cual, el valor que adopte cada una de ellas, afectará a las otras de manera significativa.
54
datawarehouse
dw
muchos a muchos
Siempre que sea posible, se debe evitar mantener en el DW tablas de dimensiones con
relaciones muchos a muchos entre ellas, ya que esta situación puede, entre otros
inconvenientes, provocar la pérdida de la capacidad analítica de la información y conducir a
una sumarización incorrecta de los datos.
Para explicar esta problemática, se tomará como ejemplo la relación existente entre ríos y
provincias, es decir:
Una provincia tiene uno o más ríos, y un río pertenece a una o más provincias.
Además, se tomará como referencia las siguientes tablas pertenecientes a un OLTP, que
contienen básicamente los datos relacionados a ríos y provincias:
Cuando existe este tipo de relación (muchos a muchos) entre dos o más tablas, se pueden
realizar diferentes acciones para solventar esta situación. Una posible solución, sería llevar
a cabo los siguientes pasos:
1. Crear una tabla de dimensión por cada entidad que pertenece a la relación. Cada una
de estas tablas no debe incluir ninguna correspondencia a las demás. En este caso se
crearán dos tablas de dimensiones, DIM_RIOS (correspondiente a la entidad
“RIOS”) y DIM_PROV (correspondiente a la entidad “PROVINCIAS”).
2. Crear otra tabla de dimensión (en este caso DIM_RELACION), que sea hija de las
tablas de dimensiones recientemente confeccionadas (en este caso DIM_RIOS y
DIM_PROV), que estará compuesta de los siguientes campos:
o Clave principal: dato autonumérico o autoincrementable (en este caso
“id_dim_Relacion”).
o Claves foráneas: se deben añadir cada una de las columnas que representan
la clave principal de las tablas de dimensiones en cuestión (en este caso
“id_dim_Rio” y “id_dim_Prov”).
o Otros campos de información adicional.
3. Incluir el campo clave principal creado en el paso anterior (en este caso
“id_dim_Relacion”) en la tabla de Hechos.
Otra posible solución sería agregar las dos claves primarias de las tablas de dimensiones
DIM_RIOS y DIM_PROV en la tabla de hechos.
Existen otras soluciones para solventar esta brecha, pero la primera propuesta posee mucha
performance, ya que:
claves subrogadas
Las claves existentes en los OLTP se denominan claves naturales; en cambio, las claves
subrogadas son aquellas que se definen artificialmente, son de tipo numérico secuencial, no
tienen relación directa con ningún dato y no poseen ningún significado en especial.
Lo anterior, es solo una de las razones por las cuales utilizar claves subrogadas en el DW,
pero se pueden definir una serie de ventajas más:
Ocupan menos espacio y son más performantes que las tradicionales claves
naturales, y más aún si estas últimas son de tipo texto.
Son de tipo numérico entero (autonumérico o secuencial).
57
Esta clave subrogada debe ser el único campo que sea clave principal de cada tabla de
dimensión.
Inicialmente Ralph Kimball planteó tres estrategias a seguir cuando se tratan las SCD: tipo
1, tipo 2 y tipo 3; pero a través de los años la comunidad de personas que se encargaba de
modelar bases de datos profundizó las definiciones iniciales e incluyó varios tipos SCD
más, por ejemplo: tipo 4 y tipo 6.
De acuerdo a la naturaleza del cambio se debe seleccionar qué Tipo SCD se utilizará, en
algunos casos resultará conveniente combinar varias técnicas.
Es importante señalar que si bien hay diferentes maneras de implementar cada técnica, es
indispensable contar con claves subrogadas en las tablas de dimensiones para aplicar poder
aplicar dichas técnicas.
Al aplicar las diferentes técnicas SCD, en muchos casos se deberá modificar la estructura
de la tabla de dimensión con la que se este trabajando, por lo cual estas modificaciones
son recomendables hacerlas al momento de modelar la tabla; aunque también puede
hacerse una vez que ya se ha modelado y contiene datos, para lo cual al añadir por
ejemplo una nueva columna se deberá especificar los valores por defecto que adoptarán
los registros de la tabla.
NOTA: para todos los ejemplos a continuación, "id_Producto" es una clave subrogada que
es clave principal de la tabla utilizada.
En este caso cuando un registro presente un cambio en alguno de los valores de sus
campos, se debe proceder simplemente a actualizar el dato en cuestión, sobreescribiendo el
antiguo. Para ejemplificar este caso, se tomará como referencia la siguiente tabla:
FechaInicio: fecha desde que entró en vigencia el registro actual. Por defecto suele
utilizarse una fecha muy antigua, ejemplo: "01/01/1000".
FechaFin: fecha en la cual el registro actual dejó de estar en vigencia. Por defecto
suele utilizarse una fecha muy futurista, ejemplo: "01/01/9999".
Versión: número secuencial que se incrementa cada nuevo cambio. Por defecto
suele comenzar en "1".
Versión actual: especifica si el campo actual es el vigente. Este valor puede ser en
caso de ser verdadero: "true" o "1"; y en caso de ser falso: "flase" o "0".
Entonces, cuando ocurra algún cambio en los valores de los registros, se añadirá una nueva
fila y se deberá completar los datos referidos al historial de cambios.
Ahora, se supondrá que este producto ha cambiado de Rubro, y ahora a pasado a ser "Rubro
2", entonces se obtendrá lo siguiente:
A continuación se añadirá una columna para mantener el histórico de cambios sobre los
datos de la columna "Rubro":
id_Producto Rubro RubroAnterior Tipo Producto
1 Rubro 1 - Tipo 1 Producto 1
Ahora, se supondrá que este producto ha cambiado de Rubro, y ahora a pasado a ser "Rubro
2", entonces se obtendrá lo siguiente:
id_Producto Rubro RubroAnterior Tipo Producto
1 Rubro 2 Rubro 1 Tipo 1 Producto 1
Esta técnica se utiliza en combinación con alguna otra y su función básica es almacenar en
una tabla adicional los detalles de cambios históricos realizados en una tabla de dimensión.
Esta tabla histórica indicará por ejemplo que tipo de operación se ha realizado (Insert,
Update, Delete), sobre que campo y en que fecha. El objetivo de mantener esta tabla es el
de contar con un detalle de todos los cambios, para luego analizarlos y poder tomar
decisiones acerca de cuál técnica SCD podría aplicarse mejor. Por ejemplo, la siguiente
tabla histórica registra los cambios de la tabla de dimensión "Productos", la cual
supondremos emplea el SCD Tipo 2:
Tomando como ejemplo el primer registro de esta tabla, la información allí guardada indica
lo siguiente:
dimensiones degeneradas
El término Dimensión Degenerada, hace referencia a un campo que será utilizado como
criterio de análisis y que es almacenado en la tabla de hechos.
Esto sucede cuando un campo que se utilizará como criterio de análisis posee el mismo
nivel de granularidad que los datos de la tabla de hechos, y que por lo tanto no se pueden
realizar agrupaciones o sumarizaciones a través de este campo. Los "números de orden",
"números de ticket", "números de transacción", etc, son algunos ejemplos de dimensiones
degeneradas
La inclusión de estos campos en las tablas de hechos, se lleva a cabo para reducir la
duplicación y simplificar las consultas.
Dimensiones Clustering
Las dimensiones Clustering, son aquellas que están relacionadas a dos o más dimensiones y
que brindan información diferente a cada una de ellas.
Por ejemplo, en el siguiente esquema, se puede apreciar que dos tablas de dimensiones
(“CLIENTES” y “PROVEEDORES”) comparten otra en común (“CIUDADES”), además
esta última provee diferente información dependiendo de la tabla de dimensión que la
consulte, es decir, devuelve el nombre de la ciudad de l@s client@s o bien la de l@s
proveedor@s. En este caso y debido a lo dicho anteriormente, la dimensión ”CIUDADES”,
es una dimensión Clustering.
63
Para solucionar esta situación pueden llevarse a cabo diferentes estrategias, cada una de las
cuales trae aparejadas sus ventajas y desventajas, por lo cual dependiendo cual sea el
contexto se elegirá entre una y otra.
Bibliografia
Bibliografía
[10] Pentaho Solutions: Business Intelligence and Data Warehousing with Pentaho and
MySQL -- Roland Bouman, Jos van Dongen -- Ed. WILEY -- Año 2010.
66
[http://wikipedia.org] wikipedia.
[http://sistemasdecisionales.blogspot.com] Sistemas Decisionales, algo más que
Business Intelligence — Jorge Fernández González.
[http://informationmanagement.wordpress.com] Information Management — Josep
Curto Díaz.
[http://todobi.blogspot.com] Todo BI: Business Intelligence, Data Warehouse, CRM
y mucho más....
[http://www.intelineg.com] Inteligencia de Negocio — Rémi Grossat.
[http://www.beyeblogs.com/karthikonbi/] Business Intelligence - A Practitioner’s
Thoughts — Karthikeyan Sankaran.
[http://magm3333.googlepages.com] Programación, Base de Datos e IT en general
— Ing. Mariano Alberto García Mattío.
[http://estudiandobi.blogspot.com] Estudiando Business Intelligence — cduque.
[http://www.beyenetwork.es/articles/] BeyeNETWORK España: Articles.
[http://analisisbi.blogspot.com] Análisis BI — Diego Arenas C.
[http://www.dataprix.com] Dataprix: Transformando datos en conocimiento —
Carlos Fernandez.
[http://www.sqlserversi.com] SQL Server Si! — Salvador Ramos.
[http://www.roberto-espinosa.es] El Rincón del BI: Descubriendo el Business
Intelligence -- Ing. Roberto Espinosa Milla.
67
68
A. Descripción de la Empresa
Apéndice A
A Descripción de la empresa
A.1 Identificación de la empresa
A.2 Objetivos
A.3 Políticas
A.4 Estrategias
A.5 Organigrama
A.6 Datos del entorno específico
A.7 Relación de las metas de la organización con las del DWH
A.8 Procesos
Descripción de la empresa
A.1. Identificación de la empresa
A.2. Objetivos
Otra meta que persigue, pero que aún no está definida como tal, es la de incursionar en
otros rubros para lograr diversificarse.
69
A.3. Políticas
La empresa posee escasos grandes clientes con un gran poder adquisitivo, y son
precisamente estos, los que adquieren el volumen de los productos que se comercializan.
Debido a ello, la política que se utiliza para cubrir los objetivos antes mencionados, es la de
satisfacer ampliamente las necesidades de sus client@s, brindándoles confianza y
promoviendo un ambiente familiar entre l@s mism@s. Esta acción se realiza con el fin de
mantener l@s client@s actuales y para que nuev@s se interesen en su forma de operar.
Existe otra política que es implícita, por lo cual, no está definida tan estrictamente como la
anterior, y es la de mejorar continuamente, con el objetivo de sosegar las exigencias y
cambios en el mercado en el que actúa y para conseguir una mejor posición respecto a sus
competidor@s.
A.4. Estrategias
Dentro de las estrategias existentes, se han destacado dos por considerarse más
significativas, ellas son:
A.5. Organigrama
L@s client@s con que cuenta son bastantes variad@s y cubren un amplio margen. L@s
mism@s son tanto provinciales, como nacionales, con diferentes tipos de poder adquisitivo.
Con respecto a sus proveedor@s, la empresa posee en algunos rubros diversas opciones de
las cuales puede elegir y comparar, pero en otros solo cuenta con pocas alternativas.
El DWH coincide con la metas de la empresa, ya que esta necesita mejorar su eficiencia en
la toma de decisiones y contar con información detallada a tal fin. Esto es vital, ya que es
muy importante para procurar una mayor ventaja competitiva conocer cuáles son los
factores que inciden directamente sobre su rentabilidad, como así también, analizar su
relación con otros factores y sus respectivos por qué.
A.8. Procesos
Venta:
o Minorista: es la que se le realiza a l@s client@s particulares que se acercan hasta
la empresa para adquirir los productos que requieren.
o Mayorista: es la que se le efectúa a l@s grandes client@s, ya sea por medio de
comunicaciones telefónicas, o a través de visitas o reuniones.
o Al realizarse una venta, el departamento de Depósito se encarga de controlar el
stock, realizar encargos de mercadería en caso de no cubrir lo solicitado, armar el
pedido y enviarlo por medio de transporte propio o de tercer@s al destino
correspondiente.
Compra:
o El departamento de Compras, al recibir del departamento de Depósito las
necesidades de mercadería, realiza una comparación de los productos
ofrecidos por sus diferentes proveedor@s en cuestión de precio, calidad y
confianza. Posteriormente, se efectúa el pedido correspondiente.