10,5

mm

Polgar | Thomas
Introducción a la
investigación en

Introducción a la investigación en ciencias de la salud

ciencias de la salud Introducción a la
Stephen Polgar | Shane Thomas
Séptima edición investigación en
Al llegar a su séptima edición, este libro de texto se ha convertido en una
referencia imprescindible para cualquier estudiante de ciencias de la sa-
lud. Se ofrece un repaso exhaustivo de la investigación sanitaria en un
formato conciso y fácil de leer, con ejemplos directamente relacionados
ciencias de la salud
Stephen Polgar | Shane Thomas
con las ciencias de la salud. Esto ayuda a los estudiantes a comprender
los modelos de investigación sanitaria y comprobar cómo la investiga-
ción fundamenta y mejora la práctica clínica basada en la evidencia. Para
los profesionales sanitarios, este libro es una guía para el análisis de las
investigaciones publicadas en revistas científicas y constituye una herra-
mienta esencial para seguir prácticas basadas en la evidencia.

• Utiliza un lenguaje sencillo y desmitifica la jerga propia de la investiga-

ción científica.
• Cubre los aspectos cualitativos y cuantitativos de la metodología de
investigación desde un enfoque muy práctico.
• Incluye un extenso glosario que facilita la comprensión de los términos
utilizados en investigación.

Séptima edición

ISBN 978-84-9113-848-8
Séptima edición

9 788491 138488

Polgar 9788491138488.indd 1 22/2/21 15:37

 Introducción a la
investigación en
ciencias de la salud

ta
n
ve
y
n ó
od ier
ci
pr v
uc
re lse
su E
a de
ib ad
oh ied
id
Pr op
Pr

C0150.indd i 03/03/21 11:48 AM

 Dedicado a Sue, Sharon y Rebecca

En agradecimiento por su apoyo a mi afectuosa familia

y a todos los compañeros de investigación y estudiantes
con los que he trabajado.

n ta
ve
y
ó n
od ier
ci
pr v
uc
re lse
su E
a de
ib ad
oh ied
id
Pr op
Pr

C0150.indd ii 03/03/21 11:48 AM

 Introducción a la
investigación en
ciencias de la salud

n ta
Stephen Polgar, BSc (Hons) MSc PhD

ve
y
Retired Senior Lecturer, School of Public Health,

n
Faculty of Health Sciences,

ó
od ier
La Trobe University,
Melbourne, Australia
ci
pr v
uc
re lse

Shane Thomas, PhD PLD MAPS FCHP

su E
a de

Honorary Professor, Research School in Population Health,

Australian National University
ib ad

Director, International Primary Health Care Research Institute,

Shenzhen, People’s Republic of China
oh ied
id
Pr op
Pr

Séptima edición

C0150.indd iii 03/03/21 11:48 AM

 Avda. Josep Tarradellas, 20-30, 1.°, 08029, Barcelona, España

Introduction to Research in the Health Sciences, 7th edition

Copyright © 2020 by Elsevier, Limited. All rights reserved.
Previous editions copyrighted 2013, 2008, 2000, 1995, 1991, and 1988
The right of Stephen Polgar and Shane Thomas to be identified as authors of this work has been asserted by them in accordance
with the Copyright, Designs and Patents Act 1988.
ISBN: 978-0-7020-7493-6

ta
This translation of Introduction to Research in the Health Sciences, 7th edition by Stephen Polgar and Shane Thomas was undertaken
by Elsevier España, S.L.U. and is published by arrangement with Elsevier, Limited.

n
ve
Esta traducción de Introduction to Research in the Health Sciences, 7th edition, de Stephen Polgar y Shane Thomas, ha sido llevada
a cabo por Elsevier España, S.L.U. y se publica con el permiso de Elsevier, Limited.

y
n
Introducción a la investigación en ciencias de la salud, 7.ª edición, de Stephen Polgar y Shane Thomas

ó
od ier
© 2021 Elsevier España, S.L.U., 2014
ISBN: 978-84-9113-848-8
ci
pr v
uc
eISBN: 978-84-9113-932-4
re lse

Todos los derechos reservados.

su E
a de

Reserva de derechos de libros

Cualquier forma de reproducción, distribución, comunicación pública o transformación de esta obra solo puede ser realizada con
ib ad

la autorización de sus titulares, salvo excepción prevista por la ley. Diríjase a CEDRO (Centro Español de Derechos Reprográficos)
si necesita fotocopiar o escanear algún fragmento de esta obra (www.conlicencia.com; 91 702 19 70/93 272 04 45).
oh ied

Advertencia
id
Pr op

Esta traducción ha sido llevada a cabo por Elsevier España, S.L.U. bajo su única responsabilidad. Facultativos e investigadores
deben siempre contrastar con su propia experiencia y sus conocimientos el uso de cualquier información, método, compuesto o
Pr

experimento descritos aquí. Los rápidos avances en medicina requieren que los diagnósticos y las dosis de fármacos recomendadas
sean siempre verificados personalmente por el facultativo. Con todo el alcance de la ley, ni Elsevier, ni los autores, los editores o los
colaboradores asumen responsabilidad alguna por la traducción ni por los daños que pudieran ocasionarse a personas o propiedades
por el uso de productos defectuosos o negligencia, o como consecuencia de la aplicación de métodos, productos, instrucciones o
ideas contenidos en esta obra.

Revisión científica:
Carlos Ascaso Terrén
Doctor en Ciencias. Profesor titular de Medicina Preventiva y Salud Pública (Bioestadística), Departamento de Salud Pública,
Facultad de Medicina, Universidad de Barcelona. Director del Máster de Salud Internacional, Universidad de Barcelona. Investigador
del Instituto de Investigaciones Biomédicas August Pi i Sunyer (Barcelona).

Servicios editoriales: DRK Edición

Depósito legal: B. 4.120-2021
Impreso en Italia

C0155.indd iv 03/03/21 11:54 AM

 ÍNDICE DE CAPÍTULOS

Prólogo, VI SECCIÓN VI Análisis de datos

e inferencia, 121
SECCIÓN I Fundamentos metodológicos
de investigación sanitaria, 1 18 Probabilidad e intervalos de confianza, 123
19 Verificación de hipótesis, 132
1 Fundamentos de investigación sanitaria, 2 20 Tamaño del efecto e interpretación
2 Métodos cuantitativos y cualitativos, 8 de las evidencias, 141
3 Proceso de investigación, 12 21 Análisis cualitativo de los datos, 150
22 Evaluación crítica de la investigación
SECCIÓN II Planificación publicada, 157

ta
de la investigación, 18
SECCIÓN VII Evaluación y divulgación

n
4 Formulación de las preguntas de investigación, 20

ve
de los resultados de las investigaciones, 164
5 Métodos de muestreo y validez externa, 26
6 Ética, 34 23 Síntesis de las evidencias de investigación:

y
revisiones sistemáticas y metaanálisis, 165

n
24 Investigación traslacional, 177

ó
od ier
SECCIÓN III Diseños de investigación, 40
ci
pr v
uc
7 Diseños experimentales y ensayos controlados Glosario de términos de investigación, 185
re lse

aleatorizados, 41 Bibliografía y lecturas recomendadas, 193

8 Encuestas y diseños cuasiexperimentales, 49 Apéndice A: Valores z y áreas asociadas entre z
su E

9 Investigación cualitativa, 57 y la media, y por encima de la media, 198

a de

Apéndice B: Distribución t, 203

SECCIÓN IV Recopilación de datos, 63 Apéndice C: Ji cuadrado (χ2), 205
ib ad

10 Cuestionarios y diseño de encuestas, 64 Índice alfabético, 206

oh ied

11 Métodos mixtos, 71
12 Técnicas de entrevistas, 75
id
Pr op

13 Medición y observación, 83
Pr

SECCIÓN V Estadística descriptiva, 92

14 Organización y presentación de los datos, 94
15 Medidas de tendencia central
y de variabilidad, 102
16 Valores tipificados y distribuciones normales, 108
17 Correlación, 114

C0160.indd V 03/03/21 11:56 AM

 PRÓLO GO

¿QUÉ HACE FALTA SABER ACERCA • Material nuevo sobre los métodos de investigación mixtos.
• Inclusión de publicaciones actuales revisadas.
DE LA INVESTIGACIÓN PARA SER • Aspectos relativos a los costes en salud pública y atención
UN PROFESIONAL SANITARIO EFICAZ? primaria.
• Explicación más detallada de las guías clínicas y de los méto-
Le damos la bienvenida a la 7.ª edición de nuestro libro. El
dos de revisión sistemática.
objetivo de este manual es proporcionar los conocimientos
Se ha incluido este material nuevo porque los métodos de
prácticos sobre la investigación sanitaria necesarios para res-
investigación, al igual que todas las ramas del conocimiento,
paldar una práctica clínica de gran calidad. Un elemento clave
siguen perfeccionándose y cambiando. Nuestro compromiso es
de la práctica clínica es el uso de la evidencia científica con
facilitar el acceso de los profesionales clínicos a una formación
relación a lo que funciona y en quién funciona en el contexto
práctica en estos métodos. Unos conocimientos sólidos acerca
de la atención sanitaria. Esta evidencia se genera mediante
de los métodos actuales de investigación clínica permiten eva-

ta
la investigación sanitaria, por lo que todo profesional clínico
luar con rigor la evidencia relativa a los tratamientos clínicos.

n
eficaz debe poseer unos conocimientos básicos de los métodos
Esta es la base del aprendizaje continuo, que es necesario para

ve
de investigación.
una práctica clínica moderna y eficaz. Los pacientes y la pobla-
Novedades de esta edición:
ción esperan que las recomendaciones de sus médicos y los

y
• Enfoque de la investigación sanitaria centrado en la persona,
tratamientos elegidos estén guiados por unos conocimientos
que genera evidencias para la asistencia sanitaria centrada

n
actualizados; el objetivo de este libro es promover este objetivo.
en el paciente.

ó
od ier
Le deseamos lo mejor en su formación en investigación y en

ci
• Material nuevo dedicado a la investigación traslacional, que
la práctica clínica respaldada por esta investigación.
estudia la aplicación de los conocimientos generados por la
pr v
uc
re lse

investigación para lograr nuevos tratamientos y servicios Steve Polgar, PhD

asistenciales eficaces. Shane Thomas, PhD
su E
a de
ib ad
oh ied
id
Pr op
Pr

VI

C0165.indd VI 03/03/21 11:58 AM

 13
Medición y observación

Í N D I C E D E L C A P Í T U LO
Introducción, 83 Características de una buena herramienta
Observación, 83 de evaluación, 88
Observación y medición, 84 Tipos de escalas de medida, 89

ta
Definiciones operacionales, 84 1. Escalas nominales, 89

n
Operacionalización de los constructos, 84 2. Escalas ordinales, 89

ve
Herramientas y métodos de medida, 85 3. Escalas de intervalo, 89
Fiabilidad, 85 4. Escalas de proporción, 90

y
Validez, 86 Niveles de medición, 90
Medidas y pruebas normalizadas, 88 Resumen, 91

ó n
od ier
ci
pr v
uc
re lse
su E

INTRODUCCIÓN tica es inadecuado, su utilidad se verá muy limitada; esto mismo

a de

sucede en la práctica clínica.

La observación comporta la percepción directa y el registro de El desarrollo de instrumentos o herramientas de medida
ib ad

los fenómenos objeto del estudio. Muchas disciplinas científicas, exactos son los cimientos necesarios para obtener unas evi-
como la astronomía, la química, la anatomía y la psicología, dencias exactas que impulsen los avances científicos y clínicos.
oh ied

comienzan con el registro minucioso de observaciones deta- Los objetivos de este capítulo son:
lladas. Estas observaciones se resumen y representan median-
id

1. Explicar la relación entre observación y medición.

Pr op

te imágenes y modelos exactos que siguen formando parte 2. Comentar los principales problemas que se plantean al
integrante de nuestras teorías y explicaciones de la salud y la implantar los métodos de medición.
Pr

enfermedad. Piense, por ejemplo, en los modelos del sistema 3. Describir lo que constituye un buen método de medición tan-
circulatorio o en los esquemas de las redes neuronales que influ- to en contextos de investigación como en la práctica clínica.
yeron en sus conocimientos de las ciencias biológicas humanas. 4. Comparar y evaluar el uso de cuatro tipos distintos de esca-
La observación cuidadosa y el registro exacto de lo observado las de medición.
en nuestros pacientes continúa siendo un componente funda-
mental de la práctica clínica. Sin embargo, la investigación y
la práctica contemporáneas utilizan instrumentos avanzados OBSERVACIÓN
para mejorar la reproducibilidad, el detalle y la exactitud de
las observaciones. El desarrollo de herramientas exactas para Se considera que la medicina científica occidental contempo-
la medición y la observación ha sido uno de los pilares de la ránea comenzó con los descubrimientos del anatomista Vesalio
ciencia moderna. y del médico William Harvey. Vesalio no solo fue un pionero
La medición es un proceso crucial para la investigación de la anatomía, sino que también fue un prestigioso maestro.
sanitaria y la práctica clínica. Los problemas que plantea la Históricamente, la observación minuciosa del cuerpo humano
medición son igual de importantes en ambos contextos. Si el y de sus enfermedades generó la evidencia en la que se basan la
método de medición utilizado en un estudio o prueba diagnós- medicina y la asistencia sanitaria contemporáneas.

© 2021. Elsevier España, S.L.U. Reservados todos los derechos 83

C0065.indd 83 02/03/21 6:49 PM

 84 IV Recopilación de datos

OBSERVACIÓN Y MEDICIÓN si las mediciones se realizaron con una técnica inadecuada. A

continuación, se comenta la operacionalización.
La observación no es suficiente para generar evidencias en las La definición operacional de un constructo y de las variables
que pueda basarse la ciencia médica y sanitaria. Es necesario asociadas es una declaración sobre cómo el investigador que
transformar las observaciones en mediciones precisas. El tér- lleva a cabo un estudio concreto pretende medir las variables
mino «medición» se refiere al método de atribuir cualidades o de interés. Esta definición debe ser inequívoca y reproducible
cantidades a determinadas características de objetos, personas por otros investigadores o profesionales sanitarios.
o hechos. Las observaciones pueden cuantificarse de muchas Es conveniente señalar desde un principio que en la mayoría
formas distintas. A continuación, se ofrecen varios ejemplos: de los casos no existe un solo método ideal para realizar las medi-
1. El recuento es una importante estrategia para generar datos ciones. Por ejemplo, si una investigadora afirma que sus técnicas
numéricos. La frecuencia de aparición de un objeto o terapéuticas aumentan significativamente el «control motor»
acontecimiento claramente definido se registra y representa en su muestra de pacientes, la pregunta evidente que surge es
gráficamente para proporcionar evidencias de la incidencia «¿qué se entiende por “control motor” y cómo se ha medido?».
y prevalencia de problemas de salud, como el autismo, o la En nuestra labor docente, a menudo recurrimos al ejemplo de la
aparición de unos síntomas definidos en un paciente, como evaluación eterna mediante la trilogía de preguntas. ¿Funciona?
la frecuencia de las crisis de migraña. ¿De qué se trata? ¿Qué significa «funcionar»? Si la investigadora
2. Se pueden diseñar herramientas de medición sencillas, responde que estudió el control motor medido mediante la escala

ta
pero muy útiles, como las que se emplean para cuantificar «Plunkett Motor Dexterity Task», efectivamente ha facilitado una
experiencias subjetivas.

n
definición operacional. Otro investigador podría cuestionar la

ve
3. Como ya se ha comentado, el desarrollo de herramientas idoneidad de esta definición y sustituir la evaluación por otra más
de medición, como los relojes y los calendarios para medir adecuada para su propio proyecto de investigación; sin embargo,
el tiempo con exactitud, han sido esenciales no solo para el

y
la elección de una definición operacional no es arbitraria, por lo
avance de la ciencia sino también para el de la agricultura y la que los investigadores deben dedicar un esfuerzo considerable a

n
economía. En las últimas décadas se han desarrollado nuevas desarrollar unas definiciones coherentes y aplicables.

ó
od ier
herramientas de medición basadas en los avances logrados en

ci
Una definición operacional útil debe contener información
los campos de la bioquímica, la física nuclear o la informática.
pr v
suficiente como para que otro investigador o profesional clínico
uc
re lse

pueda reproducir las técnicas de medición utilizadas en el estu-

DEFINICIONES OPERACIONALES dio original. Además, una buena definición operacional de una
su E

variable de trascendencia clínica permitirá a otros profesionales

Cuando los investigadores dan comienzo a sus proyectos, tal vez reproducir los procedimientos diagnósticos o las evaluaciones
a de

tengan una idea más bien vaga acerca de cómo evaluar los cons- originales.
tructos teóricos que se investigan en su estudio. Por ejemplo, si los
ib ad

investigadores están interesados en recoger datos sobre el «grado

de dolor» que experimentan los pacientes, deberán convertir esta OPERACIONALIZACIÓN
oh ied

idea vaga del dolor en unas explicaciones claramente definidas de

cómo se va a evaluar exactamente. En función de la interpretación
DE LOS CONSTRUCTOS
id
Pr op

teórica que se haga del concepto de «dolor» y de los requisitos Una evaluación exacta y reproducible depende de que los pro-
prácticos de la investigación, se podrá seleccionar uno o varios fesionales sanitarios e investigadores establezcan un consenso
Pr

de los numerosos métodos disponibles para evaluar el dolor. claro acerca de las formas en las que se deben identificar las
El proceso de convertir constructos teóricos en explicaciones propiedades de las cosas. Si no se puede llegar a este consenso,
precisas de cómo se van a medir las variables se denomina ope- ¿cómo podemos estar seguros de que estamos hablando de lo
racionalización. Es importante que los investigadores propor- mismo? El problema radica en que existen conceptos com-
cionen detalles exactos de cómo se realizaron las observaciones plejos y abstractos, como la inteligencia, la actitud, la ansiedad
o mediciones para que otras personas puedan juzgar su conve- o el dolor, que no se pueden observar directamente. Como ya
niencia e idoneidad para proporcionar la evidencia necesaria. se ha explicado, el primer paso es establecer un marco teórico
También es preciso ofrecer una descripción lo suficientemente para definir el constructo. El siguiente paso es operacionalizar
clara del proceso de recogida de datos para que otros investiga- el constructo o transformarlo en unas variables observables y
dores puedan reproducir los métodos en un nuevo estudio. Es medibles, como se muestra en la figura 13.1.
necesario describir sin ambigüedades los protocolos seguidos. Por ejemplo, pensemos en el constructo de «dolor». La
Para ello puede ser necesaria una cantidad considerable de mayoría hemos experimentado dolor en algún momento, por
detalles, por lo que no es infrecuente que en los estudios a gran lo que podría pensarse que es una experiencia fácil de definir.
escala se utilice un documento independiente para describir Sin embargo, el dolor no es algo que se pueda observar o medir
el protocolo1 junto con los distintos informes de resultados2. directamente, sino que, tras seleccionar una teoría del dolor, es
Un estudio cuantitativo que sea metodológicamente correcto necesario identificar las variables correspondientes a la manifes-
en cuanto al diseño y el muestreo puede tener un valor escaso tación lógica del constructo. En este caso, la pregunta sería:

C0065.indd 84 02/03/21 6:49 PM

 13 Medición y observación 85

Valores
Constructo Variables o
Deducción Medición puntuaciones

Fig. 13.1 Operacionalización de un constructo.

Notificar el nivel Asignar una puntuación

en una escala para medir
de dolor el dolor

Asignar una puntuación

Niveles reducidos en una escala para
Dolor
de actividad determinar la interferencia
Deducción con las actividades cotidianas

Cantidad de analgésicos

ta
Uso de analgésicos
diarios necesarios

n
ve
Constructo Variables Mediciones
u observaciones

y
Fig. 13.2 Operacionalización del constructo teórico de «dolor».

ó n
od ier
ci
«¿cómo sabemos que una persona padece dolor?» Al plantear sea posible. Estas propiedades a menudo reciben los términos
pr v
uc
re lse

una teoría pertinente para describirlo, estaremos en efecto técnicos de fiabilidad, validez, aplicabilidad y viabilidad.
deduciendo y especificando las variables que representan los Antes de pasar a analizar estas propiedades específicas de
su E

distintos grados de dolor (fig. 13.2). las pruebas, resulta útil repasar algunos conceptos básicos
La definición operacional de un constructo es una afirmación de la teoría de la medición o de las pruebas. Para cualquier
a de

precisa e inequívoca de los procedimientos (operaciones) que resultado de una medición, existen tres conceptos relacionados
son necesarios para observar o medir los niveles de las variables que evalúan la pertinencia de la medición: el valor observado,
ib ad

asociadas al constructo. Conviene señalar que un constructo el valor verdadero y el error de medida. Hipotéticamente,
determinado puede generar varias definiciones operacionales (v. si una persona pudiera pesarse en una báscula totalmente
oh ied

fig. 13.2), en las que se puede depender de una serie de factores exacta, su peso verdadero sería de 100 kg. Sin embargo, las
para evaluar el constructo. básculas de baño dan una lectura de 90 kg. La diferencia entre
id
Pr op

Por ejemplo, en la figura 13.2 se muestran las siguientes el valor observado y el peso verdadero, equivalente a 10 kg, es
definiciones operacionales del dolor: el error de medida. Esta relación se puede expresar mediante
Pr

1. Grados de dolor experimentado subjetivamente, notificados la siguiente ecuación:

mediante una escala específica.
2. Cambios en la frecuencia de las conductas (p. ej., ir a traba- Valor observado = valor verdadero ± error
© Elsevier. Fotocopiar sin autorización es un delito.

jar).
Las herramientas de medida están diseñadas para reducir al
3. Cantidad de medicamentos que necesita el paciente para
mínimo el error de medida, de manera que el valor observado
sentirse cómodo.
que se obtiene en el proceso de evaluación está próximo al
Esta información suele presentarse en el apartado «Métodos»
valor verdadero o real. Existen varias formas de cuantificar la
de un artículo de investigación, donde se facilitan (o deberían
reproducibilidad y exactitud de un procedimiento de recogida
facilitarse) detalles sobre los aparatos o instrumentos utilizados
de datos.
y los métodos seguidos para recoger la información deseada.

Fiabilidad
HERRAMIENTAS Y MÉTODOS DE MEDIDA La fiabilidad es la propiedad de un método de medida que le
Cabe esperar que el uso de herramientas de medida permita permite obtener unos resultados reproducibles y uniformes.
obtener unas puntuaciones o valores reproducibles, exactos y Existen varias formas de evaluar la fiabilidad, como la fiabili-
aplicables a la medición pertinente. Estas herramientas también dad test-retest, la fiabilidad entre observadores y la coherencia
deben ser prácticas, es decir, su uso debe ser tan sencillo como interna. A continuación, se analiza cada una de ellas.

C0065.indd 85 02/03/21 6:49 PM

 86 IV Recopilación de datos

Fiabilidad test-retest TABLA 13.1 Fiabilidad entre observadores

Un modo habitual de evaluar la fiabilidad de una prueba es
realizar el mismo procedimiento de medición dos veces en los PUNTUACIÓN
mismos participantes. Seguidamente, se determina la corre- DE LOS OBSERVADORES
lación entre los resultados obtenidos en las dos ocasiones. La
Fiabilidad baja Fiabilidad alta
fiabilidad suele medirse mediante coeficientes de correlación,
cuyo valor varía entre –1 y +1. Una fiabilidad test-retest de +0,8 Participantes A B A B
corresponde a un método de evaluación fiable. En un estudio
formal para determinar la fiabilidad, se evaluaría una muestra lo 1 4 3 4 4
suficientemente grande de sujetos dos o más veces para obtener 2 2 5 2 3
un coeficiente de correlación. 3 3 4 4 5
4 1 4 2 2
Fiabilidad entre observadores (o entre evaluadores) 5 3 1 1 1
Un problema habitual de las evaluaciones clínicas es el grado
6 4 4 5 5
de concordancia entre los profesionales clínicos a la hora de
evaluar a los pacientes. Por lo general, el grado de concordan-

ta
cia se determina haciendo que dos o más profesionales clínicos
evalúen de forma independiente a los mismos pacientes para Validez

n
después comparar los resultados mediante correlaciones. Si el

ve
La validez se refiere a la exactitud del método de medida. El hecho
grado de concordancia (correlación) es elevado, se dice que de que se obtenga el mismo resultado cada vez que se repite la
existe una fiabilidad entre observadores o entre evaluadores

y
medición o que se observe una concordancia entre observadores
elevada. independientes, no significa que los resultados sean exactos. Si

n
En la tabla 13.1 se ilustran ejemplos de fiabilidades entre nos subimos a la báscula del baño y obtenemos un peso de 40 kg

ó
od ier
observadores tanto altas como bajas en la valoración de pacien- y después nos bajamos de la báscula, nos volvemos a subir a ella

ci
tes sobre una escala de 5 puntos. Imaginemos que esta escala y obtenemos una vez más un resultado de 40 kg, esta medida es
pr v
uc
mide el grado de dependencia de los pacientes y la necesidad
re lse

ciertamente fiable, pero es evidente que existe un error (los lecto-

de cuidados de enfermería. Como ya se ha explicado, el grado res que no nos conozcan deben saber que una lectura observada
de fiabilidad se expresa cuantitativamente mediante coeficientes
su E

de 40 kg para nuestro paso conlleva un importante error de medi-

de correlación. Sin embargo, en la tabla 13.1 se puede observar da). Por tanto, es esencial que una prueba o proceso de evaluación
a de

un alto grado de desacuerdo en las puntuaciones otorgadas por tenga una reproducibilidad o fiabilidad suficiente, pero también
los dos observadores en la columna de «fiabilidad baja». En este es necesario que los resultados sean exactos o válidos.
ib ad

caso, las valoraciones clínicas no serían fiables y, por tanto, no

sería adecuado utilizarlas en el proyecto de investigación. Sin Tipos de validez analítica
oh ied

embargo, los resultados mostrados en la columna de «fiabilidad Al igual que la fiabilidad, la validez de una prueba se puede
alta» de la tabla 13.1 muestra un alto grado de concordancia.
id

evaluar de varias formas distintas, entre las cuales se incluyen

Pr op

la validez del contenido, la sensibilidad y especificidad, y la

Coherencia interna validez predictiva.
Pr

Las herramientas de medida a menudo constan de varios ele- Validez de contenido o aparente. En muchos contextos es
mentos. Por ejemplo, una prueba para determinar los conoci- difícil encontrar medidas externas que se correlacionen con la
mientos acerca de los métodos de investigación puede incluir 50 medida que se desea validar. Por ejemplo, un examen en una
elementos o preguntas. Asimismo, una lista de comprobación asignatura concreta puede ser la única medida para determinar
diseñada para medir las actividades cotidianas puede constar el rendimiento de un estudiante a la hora de asignarle una nota.
de 20 elementos. La coherencia interna de una prueba es la ¿Cómo se puede determinar si las pruebas realizadas serán válidas?
medida en la que los resultados de los diferentes elementos se Una manera de hacerlo es redactar todo el material que cubre la
correlacionan entre sí. Si tienden a mostrar un alto grado de asignatura y asegurarse de impartir una muestra suficiente del
correlación entre sí, se dice que la prueba posee coherencia contenido total de la asignatura. Si se satisface este criterio, puede
interna. La coherencia interna también se mide mediante un afirmarse que la prueba posee validez de contenido o aparente. Es
tipo de coeficiente de correlación conocido como α de Cron- posible que alguna vez haya experimentado la sensación de que
bach: un valor de α superior a 0,8 se considera una propiedad algún examen de una asignatura tenía una escasa validez de con-
deseable para una prueba. tenido porque no reflejaba el material explicado en esa asignatura.
Por tanto, la fiabilidad o reproducibilidad de una evaluación Validez predictiva. La validez predictiva se refiere a la capa-
o prueba se puede determinar de varias formas distintas, como cidad de una prueba para predecir los valores obtenidos en esa
los métodos de test-retest, fiabilidad entre evaluadores, fiabilidad prueba o en otras pruebas realizadas en un futuro. Algu-
intraevaluador y coherencia interna. nas pruebas están diseñadas para ayudar a tomar decisiones rela-

C0065.indd 86 02/03/21 6:49 PM

 13 Medición y observación 87

TABLA 13.2 Validez predictiva

VALIDEZ PREDICTIVA BAJA VALIDEZ PREDICTIVA ALTA

Participantes Puntuación de X Puntuación de Y Puntuación de X Puntuación de Y

1 4 3 3 3
2 4 8 4 3
3 5 2 5 5
4 5 7 5 5
5 6 4 6 6
6 8 5 8 7

tivas al pronóstico (es decir, lo que va a suceder en el futuro); Por ejemplo, se puede querer demostrar que un examen
una cualidad importante de estas pruebas es que posean un alto semestral de respuestas múltiples tenía una alta validez de con-
grado de validez predictiva. tenido para medir el constructo «conocimiento de los méto-

ta
A continuación, se expone un ejemplo de validez predictiva. dos de investigación». Se podría diseñar otra medida, como

n
Digamos que un investigador ha diseñado una escala X de cribado llevar a cabo y redactar un breve proyecto de investigación. La

ve
para seleccionar a los participantes de un programa de rehabilita- obtención de un alto grado de correlación entre la puntua-
ción. La eficacia del programa de rehabilitación se evalúa mediante ción obtenida en ambas tareas indicaría un alto grado de validez

y
la escala Y. Supongamos que cada escala de valoración contempla de constructo.

n
la asignación de unas puntuaciones de 1 a 10 al rendimiento de los Sensibilidad y especificidad. Los conceptos de sensibili-

ó
od ier
pacientes. En la tabla 13.2 se ilustran dos resultados: una validez dad y especificidad suelen aplicarse a pruebas de cribado, cuya

ci
predictiva baja y una validez predictiva alta. finalidad es determinar si un paciente padece un problema o
pr v
uc
Aunque es necesario calcular coeficientes de correlación para enfermedad concreto. Como se muestra en la tabla 13.3, una
re lse

analizar cuantitativamente la validez predictiva de la prueba X, prueba puede tener cuatro tipos de resultados posibles.
en la tabla 13.2 puede verse, en la columna de «validez pre- La sensibilidad mide la proporción de personas que obtienen
su E

dictiva baja», que las puntuaciones obtenidas con la prueba X un resultado positivo en la prueba y que realmente presentan la
a de

no guardan ninguna relación clara con las obtenidas con la enfermedad (es decir, la proporción de verdaderos positivos res-
prueba Y. En cambio, en la columna de «validez predictiva alta», pecto a todos los positivos). La especificidad mide la proporción
las puntuaciones de las dos variables muestran un alto grado de personas que obtienen un resultado negativo y que realmente
ib ad

de correspondencia. Dentro de los límites establecidos por no presentan la enfermedad (es decir, la proporción de verda-
oh ied

el hecho de que este hipotético estudio solo contaba con seis deros negativos respecto a todos los resultados negativos de la
participantes, está claro que solo los resultados de la columna prueba). Si una prueba diagnóstica tiene una sensibilidad de 1,0
id

de «validez predictiva alta» justifican la utilidad de la escala X y una especificidad de 1,0, se trata de una prueba perfectamente
Pr op

para predecir el resultado del programa de rehabilitación, de exacta o válida. La mayoría de las pruebas clínicas o de cribado
Pr

acuerdo con lo determinado con la escala Y. no son perfectas, y algunas de ellas tienen una sensibilidad y
Validez de constructo. La validez de constructo se refie- especificidad bastante bajas.
re a la medida en que el constructo teórico subyacente se ve
© Elsevier. Fotocopiar sin autorización es un delito.

representado de manera eficaz por el proceso de medición. Caso práctico de validez de una prueba clínica
Una forma de comprobar la validez de constructo es diseñar La detección precoz del cáncer de mama está reconocida como
otras formas de medir el constructo y demostrar que los valores una importante iniciativa de salud pública en muchos países.
obtenidos mediante estas pruebas alternativas muestran un alto Algunas formas habituales de detectar bultos sospechosos son
grado de correlación con la prueba original. la autoexploración de las mamas y la mamografía. La mamo-

TABLA 13.3 Posibles resultados de una prueba

SITUACIÓN REAL

Resultado de la prueba Presencia de la enfermedad Ausencia de la enfermedad

Presencia de la enfermedad Verdadero positivo Falso positivo
Ausencia de la enfermedad Falso negativo Verdadero negativo

C0065.indd 87 02/03/21 6:49 PM

 88 IV Recopilación de datos

grafía es método de cribado habitual y muchos países, como pruebas analizadas de esta forma se conocen como medidas o
Australia, financian programas a gran escala para promover pruebas normalizadas. Existen muchas de estas pruebas, sobre
su implantación. todo en el ámbito clínico y de las ciencias sociales. Numerosas
Sin embargo, por muy recomendables que sean estas iniciati- empresas y cooperativas estadounidenses comercializan pruebas
vas, existen algunas dudas acerca de la validez de la mamografía normalizadas dirigidas a investigadores sanitarios y profesio-
como herramienta diagnóstica. Walker y Langlands, en una nales clínicos. Sin embargo, muchos investigadores utilizan
evaluación inicial, estudiaron los resultados de las mamografías pruebas y medidas que no han sido normalizadas, y no refieren
realizadas a 218 mujeres con cáncer de mama diagnosticado el grado de fiabilidad de estas pruebas en sus publicaciones.
mediante biopsia3. De las 218 mujeres con cáncer, 95 (43,6%) Esto resulta especialmente preocupante en aquellos estudios
presentaron un resultado (falso) negativo en la mamografía. En en los que se emplean medidas subjetivas con unas definiciones
47 de estas pacientes se produjo un retraso del estudio diagnós- operacionales incompletas.
tico y del tratamiento de casi 1 año, tranquilizadas sin duda por
los resultados «favorables» de la prueba. Si se tiene en cuenta
la relación conocida entre la intervención precoz y un mejor CARACTERÍSTICAS DE UNA BUENA
pronóstico, el retraso en el tratamiento compromete grave-
mente la salud y, en último término, la supervivencia de estas
HERRAMIENTA DE EVALUACIÓN
mujeres. En este caso, la exactitud (o la falta de exactitud) de Se ha dedicado un esfuerzo considerable a desarrollar, norma-

ta
los resultados de la prueba tuvieron importantes consecuencias lizar y evaluar nuevos instrumentos y métodos de medida. De

n
para las personas implicadas. Como demuestra este ejemplo, acuerdo con nuestra explicación, los criterios que se enumeran

ve
las cualidades de una prueba tienen una gran importancia en a continuación sirven para identificar lo que constituye una
la investigación y en la práctica clínica. En los últimos 25 años «buena» medición en la investigación y la práctica sanitaria.

y
se han llevado a cabo investigaciones dirigidas a mejorar la • Marco teórico. A causa de los conceptos complejos y abs-
exactitud de las pruebas de cribado. Más recientemente, Evans tractos que se utilizan en las ciencias de la salud, los inves-

n
estimó que la mejora de las técnicas de cribado había contribui- tigadores deben disponer de un marco teórico claro en cuyo

ó
od ier
ci
do a la detección precoz del cáncer de mama, lo que, combinado contexto se define y evalúa el procedimiento de medida.
pr v
con los avances logrados en el campo de la quimioterapia, ha • El proceso de medición debe producir unos resultados fia-
uc
re lse

aumentado la supervivencia de miles de mujeres4. El desarrollo bles. Esto significa que los resultados deben ser coherentes
de herramientas de evaluación tecnológicamente avanzadas es y que debe existir un alto grado de concordancia entre los
su E

uno de los objetivos principales de la investigación traslacional investigadores o médicos que utilizan un procedimiento
o aplicada, que se comenta en el capítulo 24. de medida. De esto se desprende que, si un instrumento o
a de

método de medida produce unos resultados poco fiables, su

utilidad es cuestionable.
ib ad

MEDIDAS Y PRUEBAS NORMALIZADAS • El procedimiento de medición debe ser válido. Esto significa
que estamos midiendo el constructo o variable deseado y
oh ied

Dada la importancia de la fiabilidad y la validez de las medi- no otros. Además, los resultados deben ser precisos según lo
id

ciones, muchos investigadores han dedicado una cantidad con- determinado por los criterios de validez discutidos en este
Pr op

siderable de tiempo y energía al desarrollo de instrumentos y capítulo

métodos de medida con una fiabilidad y una validez conocidas. • El instrumento de medida debe ser accesible. Esto implica que
Pr

El desarrollo de criterios normalizados para la medición de el coste y el nivel de experiencia necesarios para utilizar el
dimensiones físicas, como el peso, la longitud y el tiempo ha instrumento no sean prohibitivos. Por supuesto, existen
sido fundamental para el avance de la ciencia. Es decir, dispone- diferentes criterios respecto a la accesibilidad en función de
mos de unas referencias para comparar nuestras mediciones de las preguntas que definen la investigación o de la cantidad
una variable y transmitir nuestros resultados a compañeros de recursos disponibles para el investigador o profesional
de cualquier parte del mundo. Existe una serie de medidas clíni- clínico. Por ejemplo, la tomografía por emisión de posi-
cas (p. ej., las pruebas de Apgar para evaluar la viabilidad de trones (PET) es una técnica muy costosa y especializada en
los recién nacidos) que constituyen unos criterios normalizados la que se utilizan isótopos radiactivos. Sin embargo, el coste
de reconocimiento internacional para transmitir información y nivel de experiencia necesarios están justificados por los
acerca de las características de personas o enfermedades. datos generados o por la necesidad por parte de los pacientes
Además, existen criterios normalizados referidos a las pobla- del diagnóstico exacto proporcionado por la PET.
ciones que dan sentido a las evaluaciones de las personas. Por • El método de medida debe resultar aceptable para los par-
ejemplo, existen unos criterios normalizados para las etapas del ticipantes de la investigación o los pacientes. Es importante
desarrollo de los lactantes: se producen unos niveles de desarro- explicar, como requisito ético, el proceso de medida y los
llo físico, emocional, intelectual y social en función de la edad. posibles riesgos o cargas que pueda conllevar (v. cap. 6). El
Algunas de estas pruebas se han analizado en muestras método debe ofrecer el máximo grado posible de comodidad
amplias para determinar su grado de fiabilidad y validez. Las y seguridad para los participantes en la investigación.

C0065.indd 88 02/03/21 6:49 PM

 13 Medición y observación 89

CARACTERÍSTICAS DESEABLES DE LAS MEDIDAS TABLA 13.4 Ejemplos de escalas

CLÍNICAS nominales
Fácil de aplicar e interpretar para reducir los costes
Variable Valores posibles
de formación y aumentar la disponibilidad del
método. Número de ingreso 3085001, 3085002
del paciente
El método resulta aceptable y seguro para los
pacientes. Sexo Hombre, mujer
La fiabilidad y la validez del método de medida ha Religión Católico, protestante, judío,
sido demostrado por evidencia procedente de musulmán, hindú
investigaciones. Diagnóstico Maniaco-depresivo,
El método permite identificar la mayoría o, incluso, psiquiátrico esquizofrénico, neurótico
todos los casos que presentan el trastorno (es decir, Grupo sanguíneo A, B, AB, O
es sensible). Causa de la muerte Insuficiencia cardiaca, neoplasia
El método no identifica incorrectamente la enfermedad maligna, traumatismo
en personas que no la padecen, sino que produce
una cantidad mínima de resultados falsos positivos

ta
(es decir, es selectivo).

n
TABLA 13.5 Ejemplos de escalas ordinales

ve
Variable Valores posibles

y
TIPOS DE ESCALAS DE MEDIDA Gravedad Leve = 1, moderada = 2,

n
de la enfermedad grave = 3, crítica = 4
Las medidas pueden dar lugar a diferentes tipos de números, en

ó
od ier
Satisfacción del paciente Satisfecho = 1,
el sentido de que a algunos números se les asignan diferentes

ci
con el tratamiento indeciso = 2,
significados y repercusiones respecto a otros. Por ejemplo, al
pr v
uc
insatisfecho = 3
re lse

hablar de la sala 1 y la sala 2, estamos utilizando estos números

en un sentido distinto que cuando afirmamos que el lactante A Grupo de edad Neonato, lactante, niño,
adulto, anciano
su E

tiene 1 mes y el lactante B tiene 2 meses. En el primer caso, los

números se utilizan para denominar algo, mientras que en el Colaboración con (En orden descendente)
a de

segundo caso, los números indican cantidades. Existen cuatro los enfermeros o los Sra. Smith, Sr. Jones,
tipos de escalas, que se diferencian por los tipos de categorías, pacientes de la planta Srta. Krax
ib ad

órdenes o números que se obtienen a partir de la medida de

una variable específica.
oh ied

modificar sin que por ello varíe la cantidad de información

1. Escalas nominales que proporcionan.
id
Pr op

El nivel «más bajo» de los tipos de escalas de medida es la

escala nominal, en la que la medición de una variable consiste 2. Escalas ordinales
Pr

en la denominación o clasificación de los posibles valores de El siguiente nivel de observaciones o medidas consiste en el uso
la variable. Las mediciones u observaciones registradas así de unos valores ordenados de una variable. Por ejemplo, el pri-
obtenidas son «cualitativas» en el sentido de que las catego- mero, el segundo y el tercero en llegar a la meta de una carrera
© Elsevier. Fotocopiar sin autorización es un delito.

rías son simplemente distintas unas de otras. Si se asignan son valores de una escala ordinal. Los números asignados en
números a las categorías, se trata de simples etiquetas que no una escala ordinal indican el orden o la posición.
representan cantidades reales; por ejemplo, la planta 1 y la En las escalas ordinales se pueden realizar afirmaciones
planta 2 podrían rebautizarse como «planta de Santa Ágata» sobre las posiciones. Si A y B son valores de la variable, podemos
y «planta de Santa Marta», y estos nombres no facilitarían afirmar que A > B o que B > A. Por ejemplo, se puede afirmar
menos información. En la tabla 13.4 se muestran otros ejem- que la Sra. Smith es más colaboradora que el Sr. Jones (A > B)
plos de escalas nominales. o que el Sr. Jones es más colaborador que la Srta. Krax (B > C).
La única relación matemática pertinente para las escalas Sin embargo, no se pueden hacer afirmaciones acerca de la
nominales es la equivalencia o no equivalencia (es decir, A = B magnitud relativa de estas diferencias. En la tabla 13.5 se mues-
o A ≠ B). Un valor específico de una variable se encuadra en tran algunos ejemplos de escalas ordinales.
una categoría específi ca o no lo hace. Por tanto, no existe
ninguna relación lógica entre el valor numérico asignado a 3. Escalas de intervalo
la categoría y su tamaño, cantidad o frecuencia de aparición. Las escalas de intervalo utilizan medidas que generan núme-
Los valores arbitrarios de una escala nominal se pueden ros. En la tabla 13.6 se muestran algunos ejemplos de esca-

C0065.indd 89 02/03/21 6:49 PM

 90 IV Recopilación de datos

TABLA 13.6 Ejemplos de escalas TABLA 13.7 Variables medidas

de intervalo con escalas de proporción
Variable Valores posibles Variable Valores posibles
Temperatura (grados −10 °C, +20 °C, +5 °C, Peso 10, 20, 100 kg
Celsius o Fahrenheit) +10 °F Estatura 50, 150, 200 cm
Inteligencia (cociente 45, 100, 185 Presión arterial 110, 120, 160
intelectual) mmHg
Frecuencia cardiaca 10, 30, 50 lpm
las de intervalo. En estas escalas, no existe el valor de cero Ritmo de descarga de una neurona 10, 20, 30/ms
absoluto, sino que se asigna un valor de cero arbitrario. Por Proteínas por volumen de sangre 2, 5, 10 mg/ml
ejemplo, 0 °C no representa la ausencia de calor, sino el punto Vocabulario 100, 1.000, 30.000
de congelación del agua. Un cociente intelectual de cero no palabras
refleja la ausencia total de inteligencia, sino un problema
intelectual o de percepción grave para el uso de los materiales

ta
de la prueba.
El uso de una escala de intervalo permite identificar interva-
NIVELES DE MEDICIÓN

n
los idénticos entre dos de los valores cualesquiera de las medi- En la tabla 13.8 se comparan las características de diferentes

ve
ciones: podemos afirmar que A − B = B − C. Por ejemplo, si escalas o niveles de medición. Las escalas de intervalo y de
A, B y C son puntuaciones del cociente intelectual y A = 150, proporción representan medidas cuantitativas. Una escala

y
B = 100 y C = 50, entonces se cumple que A − B = B − C. Sin de proporción corresponde al «máximo» nivel de medición en el

n
embargo, no podemos afirmar que A = 3C (que A es tres veces sentido de que incorpora todas las características de las otras

ó
od ier
más inteligente que C). escalas y posee un valor de cero absoluto. En este contexto,

ci una medición realizada en un nivel superior se puede trans-

pr v
uc
4. Escalas de proporción formar en otra correspondiente a un nivel más bajo, pero no
re lse

Las escalas de proporción se caracterizan por incluir un valor a la inversa, ya que la medición hecha con la escala superior
de cero no arbitrario. Por ejemplo, en la escala Kelvin de tem- contiene más información y sus valores permiten la realización
su E

peratura, el valor de 0 °K (o cero absoluto) representa un estado de más operaciones matemáticas que las realizadas con una
a de

de ausencia de calor en el que las moléculas dejan de vibrar escala de menor nivel.
por completo, mientras que el valor de 0 °C corresponde sim- Además, una variable determinada se puede medir con uno
ib ad

plemente al punto de congelación del agua. El cero centígrado o o varios tipos de escalas, dependiendo de las necesidades del
Celsius es un valor arbitrario asociado al punto de congelación investigador. Pensemos, por ejemplo, en la variable «estatu-
oh ied

de un compuesto concreto. Por tanto, la escala Kelvin es una ra». Esta variable podría medirse con cualquiera de las cuatro
escala de proporción y la escala Celsius es una escala de inter- escalas:
id
Pr op

valo. En la tabla 13.7 se presentan varios ejemplos de variables 1. Escala de proporción. La estatura de las personas por encima
medidas con escalas de proporción. del nivel del suelo (p. ej., 180 cm).
Pr

TABLA 13.8 Características de los niveles de medición

NIVEL DE MEDICIÓN

Característica Nominal Ordinal Intervalo Proporción

Singularidad • • • •
Ordenamiento • • •
por magnitud
Intervalos iguales • •
Cero absoluto •
Singularidad: se asignan números diferentes a los diferentes valores de una propiedad.
Ordenamiento por magnitud: los valores mayores corresponden a mayor cantidad de la propiedad.
Intervalos iguales: existe la misma distancia entre cada punto de la escala.
Cero absoluto: el valor cero representa la ausencia de la propiedad.

C0065.indd 90 02/03/21 6:49 PM

 13 Medición y observación 91

2. Escala de intervalo. La estatura de las personas sobre una fiabilidad y validez para reducir al mínimo el error de medición.
superficie arbitraria (p. ej., 100 cm por encima de la super- Se ha observado que las medidas que conllevan la intervención
ficie de un banco). del criterio humano (es decir, «medidas subjetivas») no son
3. Escala ordinal. Estatura comparativa entre varias personas necesariamente poco fiables o inválidas.
(p. ej., ordenadas de la persona más alta a la más baja). Está Se han explicado cuatro tipos diferentes de escalas: nominal,
escala podría generarse mediante la observación o mediante ordinal, de intervalo y de proporción. Estas escalas poseen dife-
la conversión de escalas de intervalo o proporción en una rentes características, especialmente en cuanto a las operaciones
escala ordinal, de menor categoría. matemáticas que permiten realizar. En capítulos posteriores se
4. Escala nominal. Clasificación de las personas (p. ej., «nor- demostrará que el tipo de escala utilizada para las mediciones
mal» o «anormal»). Estas categorías se pueden identificar determina los estadísticos descriptivos e inferenciales adecuados
mediante observación directa o por dicotomía de una escala para describir y analizar los datos obtenidos.
«superior» (de proporción, de intervalo u ordinal).
Los diferentes tipos de escalas de medida son importantes al
tener en cuenta el análisis estadístico de los datos. Los estadís- BIBLIOGRAFÍA
ticos son números con propiedades especiales que se obtienen
mediante el resumen y análisis de los datos. El tipo de escala 1. Browning C, Chapman A, Cowlishaw S, et al. The Happy Life
de medida determina el tipo de estadístico adecuado para su Club™ study protocol: a cluster randomised controlled trial

ta
análisis. of a type 2 diabetes health coach intervention. BMC Public
Health. 2011;11(1):90. http://dx.doi.org/10.1186/1471-2458-

n
11-90.

ve
RESUMEN 2. Browning C , Chapman A , Yang H , et al. Management of
type 2 diabetes in China: the Happy Life Club, a pragmatic

y
En este apartado se definen las prácticas correctas de medición cluster randomised controlled trial using health coaches.
y se describe su importancia para la investigación y la práctica

n
BMJ Open. 2016;6(3):e009319. http://dx.doi.org/10.1136/

ó
clínica.
od ier
bmjopen-2015-009319.

ci
De acuerdo con las prácticas correctas de medición, es 3. Walker QJ, Langlands AO. The misuse of mammography in
pr v
uc
necesario definir unos conceptos operacionales para que otros the management of breast cancer. Med J Aust. 1986;145(5):
re lse

investigadores puedan llevar a cabo o evaluar el método de 185-187.

medición. Asimismo, se debe establecer la fiabilidad y la validez 4. Evans WP. Breast cancer screening: successes and challenges.
su E

de las mediciones. Es necesario contar con un alto grado de CA Cancer J Clin. 2012;62(1):5-9.
a de
ib ad
oh ied
id
Pr op
Pr
© Elsevier. Fotocopiar sin autorización es un delito.

C0065.indd 91 02/03/21 6:49 PM