Impacto organizacionalBIG
Impacto organizacionalBIG
Impacto organizacionalBIG
4 Organizativo
Impacto de los grandes datos
Uno detransformación
los impactosnecesaria
más significativos
para apoyardel big data
y explotar es el cambio
la oportunidad delorganizacional o
big data. Será necesario
redefinir los viejos roles e introducir otros nuevos, lo que creará oportunidades y ansiedad tanto para
las personas como para las organizaciones. El propósito de este capítulo es resaltar el alcance
probable de estos cambios organizacionales y preparar a los profesionales existentes del almacén
de datos y de la inteligencia empresarial para las nuevas oportunidades profesionales que se les
presentan.
38 Capítulo 4
Alto
Datos
Ciencia
NEGOCIO
VALOR
Negocio
Inteligencia
Bajo
Pasado Futuro
TIEMPO
Inteligencia de Negocio
El científico de datos, sin embargo, crea una “caja de arena” analítica separada en la que cargar
todos los datos que pueda conseguir (fuentes de datos tanto internas como externas) y en cualquier
nivel de granularidad e historial que necesite. Una vez dentro de este entorno, el científico de datos
es libre de hacer con él lo que desee (por ejemplo, elaboración de perfiles de datos, transformaciones
de datos, creación de nuevas métricas compuestas y desarrollo, prueba y refinamiento de modelos
analíticos). El científico de datos necesita un entorno donde pueda explorar fácilmente los datos sin
preocuparse por afectar el rendimiento del almacén de datos de producción y los sistemas de BI que
generan los informes y paneles de gestión. La Tabla 42 presenta un resumen claro de los tipos de
trabajo inherentemente diferentes que realiza el analista de BI versus el tipo de trabajo que realiza
el científico de datos.
Fuentes de datos Planificado previamente, agregado lentamente Elegido sobre la marcha, bajo demanda
40 Capítulo 4
1) Usuario empresarial
Define mandato
2) Almacén de datos
y requisitos
Gerente
Adquiere e integra
1
datos
5) Usuario empresarial 2
Consume conocimientos
y medidas Llave
eficacia 5 Negocio
Procesos
3) Científico de datos
perspectivas
4
Este diagrama de flujo destaca las responsabilidades clave de cada actor principal:
■ El usuario empresarial (que también incluye al analista empresarial) es responsable de definir sus
procesos empresariales clave e identificar las métricas y los indicadores clave de rendimiento
con los que se medirán esos procesos empresariales. Los usuarios empresariales son los que
entienden qué preguntas intentan responder y qué decisiones intentan tomar. Los usuarios
empresariales son los que intentan aprovechar los datos y los conocimientos disponibles para
responder esas preguntas y tomar esas decisiones.
gerente de almacén de datos para ampliar su rol considerando nuevas tecnologías como
Hadoop, computación en memoria y federación de datos. Estas nuevas plataformas de
datos admiten datos estructurados y no estructurados y brindan acceso a datos ubicados
tanto dentro de la organización como a fuentes de datos seleccionadas que existen fuera
de las cuatro paredes de la organización. Estas modernas plataformas de datos también
admiten la capacidad de ingerir y analizar fuentes de datos en tiempo real y permitir la
"alimentación lenta" de datos en la plataforma de datos.
■ El científico de datos es responsable de extraer los datos de la organización (datos
estructurados y no estructurados que son tanto internos como externos a la organización)
para descubrir nuevos conocimientos sobre el negocio. Los científicos de datos son
acumuladores de datos que buscan nuevas fuentes de datos que puedan alimentar los
conocimientos analíticos que impulsan los procesos comerciales clave de la organización.
El científico de datos necesita un entorno de trabajo (zona de pruebas analítica) donde
tenga libertad para almacenar, transformar, enriquecer, integrar, interrogar y visualizar los
datos en busca de relaciones e ideas valiosas ocultas en las diferentes fuentes de datos.
El científico de datos necesita un entorno que le permita crear, probar y refinar modelos
de datos rápidamente (medidos en minutos y horas, no en días y semanas) y que adopte
el enfoque de “tiempos de fallo suficientes” que le da al científico de datos confianza en la
calidad de los modelos analíticos. “Fallar suficientes veces” se refiere al punto en el
proceso de desarrollo y prueba del modelo analítico en el que el científico de datos ha
“fallado” suficientes veces al probar otras variables y algoritmos como para sentirse
confiado de que el modelo resultante es el mejor modelo analítico.
42 Capítulo 4
proyecto. Algunos usuarios empresariales pueden sentirse más cómodos con las estadísticas y el análisis
predictivo y pueden intentar realizar parte del trabajo analítico ellos mismos. Lo mismo ocurre con los
analistas de BI que buscan ampliar sus habilidades con análisis avanzados y habilidades de visualización
de datos.
Cabe señalar que las funciones y responsabilidades de cada parte interesada se centran en procesos
comerciales clave específicos. Es muy posible que los roles y responsabilidades cambien para cada
proceso de negocio clave, dependiendo de las habilidades, capacidades y áreas de interés de las
diferentes partes interesadas. Por lo tanto, vea este ciclo de vida analítico más como un marco para
proporcionar cierto nivel de orientación para la colaboración organizacional, en lugar de un conjunto fijo
de roles y responsabilidades que ignora las habilidades e intereses individuales de las diferentes partes
interesadas.
¿Tengo suficiente?
1 información para
redactar una analítica
Descubrimiento
¿plan?
6 2 Tengo
suficiente
Operacionalizar Preparación de datos
“buenos” datos
para comenzar
construyendo el
5 3 ¿modelo?
Comunicar Modelo
Resultados Planificación
4
¿Es el modelo robusto? Modelo ¿Tengo una buena idea?
Descubrimiento
■ Obtener una comprensión detallada del proceso empresarial y del dominio empresarial. Esto incluye
identificar las métricas clave y los indicadores clave de rendimiento con los que los usuarios
empresariales medirán el éxito.
■ Capturar las preguntas y decisiones comerciales más importantes que los usuarios comerciales
intentan responder para respaldar el proceso comercial objetivo. Esto también debe incluir la
frecuencia y oportunidad óptima de esas respuestas y decisiones.
■ Evaluar los recursos disponibles (por ejemplo, habilidades de las personas, herramientas analíticas y
de gestión de datos, y fuentes de datos) y seguir el proceso de formular el problema empresarial
como una hipótesis analítica. Esta es también la etapa en la que el científico de datos elabora el
plan inicial de desarrollo de análisis que se utilizará para guiar y documentar los modelos y
conocimientos analíticos resultantes.
Cabe señalar que comprender en qué entornos operativos o de producción deben publicarse los
conocimientos analíticos es algo que debe identificarse en el plan de desarrollo analítico. Esta información
será fundamental a medida que el científico de datos identifique en el plan dónde “operacionalizar” los
conocimientos y modelos analíticos.
Esta es una oportunidad ideal para una estrecha colaboración con el analista de BI, quien probablemente
ya haya definido las métricas y los procesos necesarios para respaldar la iniciativa empresarial. El analista
de BI tendrá una buena comprensión del entorno de toma de decisiones de los usuarios comerciales y de
los requisitos que pueden impulsar el plan de desarrollo de análisis del científico de datos.
Preparación de datos
44 Capítulo 4
■ Transformar y enriquecer los datos. El científico de datos buscará utilizar técnicas analíticas,
como transformaciones logarítmicas y wavelets, para abordar posibles sesgos en los datos.
El científico de datos también buscará utilizar técnicas de enriquecimiento de datos para
crear nuevas métricas compuestas, como frecuencia (¿con qué frecuencia?), actualidad
(¿qué tan reciente?) y secuenciación (¿en qué orden?). El científico de datos hará uso de
herramientas estándar como SQL y Java, así como herramientas comerciales y de código
abierto de extracción, transformación y carga (ETL) para transformar los datos.
Al final de este paso, el científico de datos debe sentirse lo suficientemente cómodo con la calidad y riqueza
de los datos para avanzar a la siguiente etapa del proceso de desarrollo analítico.
Hay varias oportunidades para que el científico de datos colabore con el equipo del almacén de datos,
especialmente el equipo de ETL, para comprender qué herramientas de transformación y ETL ya se están
utilizando y disponibles, y qué códigos o algoritmos de transformación ya se han escrito.
Planificación modelo
■ Determinar los diferentes modelos, métodos, técnicas y flujos de trabajo analíticos a explorar
como parte del desarrollo del modelo analítico. Es posible que el científico de datos ya crea
que sabe qué modelos y técnicas analíticos son los más apropiados, pero siempre es una
buena idea tener un plan para probar al menos uno más para garantizar que no se pierda la
oportunidad de construir un modelo más predictivo.
■ Determinar la correlación y colinealidad entre variables para seleccionar variables clave que
se utilizarán en el desarrollo del modelo. En la medida de lo posible, el científico de datos
quiere cuantificar las variables de causa y efecto. El científico de datos tendrá que utilizar
el criterio práctico, y esta puede incluso ser una buena oportunidad para volver a interactuar
con el analista de BI y los usuarios de negocio para garantizar que las variables que se
seleccionan “tengan sentido”. Recuerde, la correlación no garantiza la causalidad, por lo
que se debe tener cuidado al seleccionar variables que no sólo tengan sentido, sino que
también sean variables que puedan medirse en el futuro.
■ Masajear los conjuntos de datos para pruebas, capacitación y producción. Es posible que sea
necesario probar nuevas técnicas de transformación para ver si se pueden mejorar la
calidad, la confiabilidad y las capacidades predictivas de los datos.
Machine Translated by Google
Este es un paso altamente iterativo en el que se afinarán varias veces el masaje de los datos, la
evaluación de su confiabilidad y la determinación de la calidad y los poderes predictivos del modelo
analítico. Y este no es un proceso lineal. El científico de datos fracasará varias veces al probar diferentes
variables y técnicas de modelado antes de decidirse por la “correcta”. Este es el “arte” del proceso de
desarrollo del modelo analítico donde el científico de datos, como artesano, está “jugando” con los
datos para ver qué capacidades predictivas se pueden extraer de los datos y del modelo analítico.
Comunicar resultados
El paso de comunicar resultados es donde el científico de datos se centra en las siguientes actividades:
Los analistas de BI son aliados naturales en esta parte del ciclo de vida de la ciencia de datos.
Los analistas de BI tienen un conocimiento sólido de qué presentar a sus usuarios comerciales y cómo
presentarlo. Entienden el entorno de trabajo de los usuarios empresariales y las herramientas de
presentación, los informes operativos actuales y los paneles de gestión en los que es probable que se
publiquen los resultados analíticos. Los analistas de BI pueden ayudar a garantizar que los análisis
resultantes se presenten de una manera o formato procesable para las partes interesadas del negocio.
Machine Translated by Google
46 Capítulo 4
Operacionalizar
■ Opcionalmente, ejecutar un laboratorio piloto o analítico para verificar el caso de negocio y el retorno
financiero de la inversión (ROI) y el impulso analítico.
■ Implementar los modelos analíticos en los entornos productivos y operativos. Esto implica trabajar
con los equipos de aplicación y producción para determinar la mejor manera de sacar a la luz los
resultados y los conocimientos analíticos. Los equipos de aplicación y producción pueden ayudar
a determinar cómo “producir” los modelos analíticos para que se ejecuten de forma regular y
programada, algo que debería haberse cubierto en el plan de desarrollo de análisis.
La etapa de operacionalización es otra área donde la colaboración entre el científico de datos y los
analistas de BI debería ser invaluable. Muchos analistas de BI ya tienen experiencia en la integración de
informes y paneles de control en los sistemas operativos, así como en el establecimiento de centros de
excelencia para difundir el aprendizaje y las habilidades analíticas en toda la organización.
El diseño centrado en el usuario es un proceso en el que se presta amplia atención a las necesidades,
deseos y limitaciones de los usuarios finales de un producto en cada etapa del proceso de diseño. El
de múltiples etapas que no sólo requiere que los diseñadores analicen y prevean cómo es
probable que los usuarios utilicen un producto, sino también que prueben la validez de sus
suposiciones con respecto al comportamiento del usuario en pruebas del mundo real con usuarios reales.1
■ Personas para documentar y comprender claramente las características de uso, los procesos
de toma de decisiones y el entorno de trabajo dentro del cual trabajan los usuarios objetivo.
■ Guiones gráficos para capturar los requisitos de experiencia del usuario, navegación
requisitos y patrones de uso y flujo del papel.
■ Estructuras alámbricas donde los requisitos de la experiencia del usuario comienzan a cobrar vida,
especialmente con respecto a cómo navegar por la interfaz para encontrar la información necesaria
(por ejemplo, todo lo que aparece en la mitad superior de la página, a nada más que dos clics de distancia).
■ Maquetas flash que permiten a los usuarios de destino interactuar con las maquetas para
identificar fallas de diseño de UEX, problemas de navegación y suposiciones de uso inexactas.
El director de datos será responsable de adquirir, almacenar, enriquecer y aprovechar los activos
de datos de la empresa. Es probable que este papel lo desempeñen personas con experiencia en
economía o finanzas mientras buscan formas de asignar valor económico a los datos que tienen y
desean adquirir. El rol del director de datos podría cubrir las siguientes responsabilidades:
■ Inventario de datos: muchas organizaciones ni siquiera saben qué fuentes de datos tienen,
por lo que esta función sería responsable de inventariar los datos (buscando compras de
datos innecesarias y redundantes) y determinar cómo se utilizan esos datos (para determinar
si la organización debe continuar capturando los datos). Esta función también tendría la
responsabilidad crítica de identificar y valorar las fuentes de datos externas que podrían
adquirirse.
1
http://en.wikipedia.org/wiki/Usercentered_design
Machine Translated by Google
48 Capítulo 4
■ Valoración económica de los datos: Establecer un marco en torno al cual determinar el valor
El director de análisis será responsable de capturar y rastrear los modelos analíticos y los conocimientos
analíticos resultantes que se desarrollan e implementan en toda la organización. El director de análisis ideal
probablemente tenga un título en derecho para proteger legalmente la propiedad intelectual (PI) analítica de
la organización, incluidos modelos de datos, modelos analíticos y algoritmos analíticos. El rol del director de
análisis podría cubrir las siguientes responsabilidades:
■ Activos analíticos: colaborar con el equipo de ciencia de datos para inventariar datos analíticos.
modelos y algoritmos en toda la organización.
■ Valoración analítica: Establecer un marco y un proceso para determinar el
Valor financiero de los activos analíticos de la organización.
■ Gestión de propiedad intelectual: desarrollar procesos y gestionar un repositorio para capturar y
compartir la propiedad intelectual de la organización (registro de entrada, salida, control de
versiones).
■ Solicitudes de patentes: administre la solicitud de patentes y el proceso de seguimiento para presentar
patentes para proteger la propiedad intelectual clave de análisis organizacional.
■ Protección de la propiedad intelectual: supervise el uso de análisis de la industria para identificar posibles
violaciones de la propiedad intelectual y luego dirija los esfuerzos de litigio para detener u obtener acuerdos de
Vemos organizaciones que buscan ampliar el equipo de ciencia de datos y los puestos de liderazgo
senior para explotar aún más la ventaja competitiva que ofrece el big data.
El equipo de Experiencia del Usuario es una poderosa incorporación al equipo de ciencia de datos, ya que el
equipo tiene una función que se centra singularmente en garantizar que se realicen los análisis correctos.
Machine Translated by Google
Entendamos cómo su organización puede adoptar estos mismos conceptos como parte
de su estrategia de big data. Empecemos por definir dos conceptos clave:
En conjunto, estos dos conceptos pueden liberar a las organizaciones que sufren de parálisis
del análisis, es decir, que luchan cuando no están seguras de qué decisión tomar (por ejemplo,
¿debería aumentar los precios un 10 por ciento o disminuir los precios un 10 por ciento? ¿Debería
utilizar el anuncio morado?). ¿O el anuncio rojo? ¿Debo ofrecer la promoción A o la promoción B?).
2
http://dictionary.reference.com/browse/experiment
3
http://en.wikipedia.org/wiki/Instrumentation
Machine Translated by Google
50 Capítulo 4
En conjunto, estos dos conceptos pueden impulsar el proceso de pensamiento creativo de “qué
pasaría si”, que es fundamental cuando una organización busca adoptar big data. El ciclo de
análisis "qué pasaría si" puede mejorar la comprensión de la organización sobre el potencial
empresarial de nuevas fuentes de datos estructurados y no estructurados, ubicadas tanto interna
como externamente a la organización, junto con metodologías avanzadas de análisis y ciencia de
datos (consulte la Figura 44). abajo).
Experimentación
Y si...
Instrumentación
Este ciclo analítico de “qué pasaría si” permite a las organizaciones debatir libremente
diferentes ideas sin tener que preocuparse de cuáles son las correctas de antemano.
En consecuencia, las organizaciones pueden adoptar un entorno de experimentación para
fomentar el libre flujo de nuevas ideas. Las organizaciones pueden dejar que los resultados les
digan qué ideas son “correctas” y no permitir que el polemista más persuasivo o la persona de
mayor rango tomen esa determinación. Permite a la organización desafiar el pensamiento
convencional y potencia el pensamiento creativo que puede sacar a la luz ideas potencialmente valiosas.
Ya no es necesario pasar horas o días interminables debatiendo cuál es la idea correcta.
En su lugar, ¡ponga a prueba las ideas y deje que los datos le digan!
Veamos un ejemplo de cómo se podría aprovechar el ciclo analítico del tipo “qué pasaría si”:
1. Desarrolla una hipótesis o teoría que quieras probar. Por ejemplo, creo que mi público
objetivo responderá más favorablemente a la oferta A, mientras que mi colega cree que la
oferta B es más atractiva para nuestro público objetivo.
2. Cree un experimento (por ejemplo, un entorno de prueba con los casos de prueba
correspondientes) que pueda probar o refutar la hipótesis. También queremos identificar
las métricas con las que mediremos los resultados de la prueba (por ejemplo, tasa de
clics, tráfico en la tienda, ventas). En este ejemplo, crearíamos pruebas.
Machine Translated by Google
para tres casos de prueba: Oferta A, Oferta B y un Grupo de Control. Emplearíamos técnicas de
muestreo para seleccionar a nuestros miembros de prueba y control, y aseguraríamos que otras
variables potenciales se mantengan constantes durante la prueba (por ejemplo, la misma hora
del día, las mismas características de audiencia, el mismo canal, período de tiempo, etc.).
3. Instrumentar todos los casos de prueba para medir los resultados de la prueba. En este ejemplo,
queremos asegurarnos de que cada uno de los tres casos de prueba esté “etiquetado”
adecuadamente y que capturemos todos los datos relevantes para determinar quién respondió a
qué ofertas, quién no respondió y qué. fueron los resultados de sus respuestas.
4. Ejecutar las pruebas. Para nuestro ejemplo, determinaríamos las fechas de inicio y finalización de
las pruebas, ejecutaríamos las pruebas, capturaríamos datos y resultados relevantes y luego
concluiríamos la prueba.
5. Cuantificar los resultados de la prueba. Miraríamos los resultados de las pruebas, examinaríamos
quién hizo clic en qué anuncios, determinaríamos los resultados finales y declararíamos un ganador.
Y lo que es más importante, pasaríamos a la siguiente prueba.
La belleza de una organización que adopta el ciclo analítico de instrumentación y experimentación del
tipo “qué pasaría si” es probar ambas ideas y luego dejar que los datos nos digan cuál es la correcta. El
ciclo de análisis "qué pasaría si" aprovecha la experimentación y la instrumentación para capacitar a la
organización para explorar y probar libremente nuevas ideas, y permite a las organizaciones ponerse en
movimiento sin quedar estancadas en la parálisis del análisis. De hecho, big data es la parálisis anti
análisis al brindar a las organizaciones los datos, las herramientas y las metodologías para probar ideas,
aprender de esas pruebas y seguir adelante.