Osce
Osce
Osce
Chile.
4
Universidad Mayor, Chile.
5
Universidad Finis Terrae, Chile.
Claudia Behrens1, Verónica Morales2, Paula Parra3, 6
Facultad de Medicina
Amelia Hurtado4, Rosario Fernández5, Elisa Giaconi4,a, Universidad del Desarrollo, Chile.
Lucía Santelices5,b, Soledad Armijo6, Gail Furman7 7
National Board of Medical
Examiners, USA.
a
Psicóloga.
b
Profesora de Biología y Ciencias
A standardized objective structured naturales.
L
a tendencia mundial en educación médica incluso a incorporar las actividades profesionales
está orientada a la formación de los profe- de confianza (“entrustable professional activities”)
sionales con un enfoque por competencias, como parte de los programas de pregrado2.
debido a que el enfoque tradicional centrado Reconociendo que la adquisición de las com-
mayoritariamente en aspectos cognitivos no ha petencias clínicas en el pregrado es fundamental,
satisfecho las necesidades reales de los sistemas su evaluación se transforma en uno de los proble-
de salud1. Esto ha obligado a las instituciones mas en la educación médica3,4. La utilización de
formadoras a replantear sus curriculum, llegando instrumentos válidos y confiables que permitan
1197
educación médica
OSCE multicéntrico para evaluar estudiantes de medicina - C. Behrens et al
evaluar dichas competencias, es esencial para dar por el “National Board of Medical Examiners”
cuenta del perfil de egreso y asegurar la calidad de (NBME) para optimizar la evaluación de com-
los nuevos profesionales. Existen diversos estudios petencias clínicas en estudiantes de Medicina.
para el diseño y validación de instrumentos de eva- Para ello, dos expertos en la implementación del
luación que permiten certificar las competencias examen de certificación de competencias prácticas
clínicas5,6. Uno de los instrumentos de evaluación de médicos en Estados Unidos, realizaron una
de competencias clínicas más utilizado es el Exa- capacitación a tres docentes expertos en educación
men Clínico Objetivo Estructurado (Objective médica de cada una de las escuelas de medicina in-
Structured Clinical Examination, OSCE)3,5-8. volucradas. En un workshop inmersivo de dos días
Los OSCE han demostrado mejorar la validez de duración, se profundizó en las particularidades
y confiabilidad de las evaluaciones, y son amplia- del examen que aplica actualmente el NBME,
mente utilizados para la evaluación de competen- capacitando a los asistentes en el diseño del blue-
cias clínicas4,9. Los OSCEs fueron introducidos en print, construcción de los guiones y de pautas de
las Escuelas de Medicina chilenas a comienzos del calificación, además del proceso de entrenamiento
siglo 21, específicamente en el área de cirugía10 y de pacientes estandarizados.
pediatría11,12 al finalizar los internados. Desde el El blueprint del examen consideró doce estacio-
2013, se ha utilizado este tipo de examen para la nes para evaluar las competencias de anamnesis,
revalidación del título de médico-cirujano para examen físico, diagnóstico, razonamiento clínico,
profesionales que adquirieron su grado en el plan diagnóstico, plan terapéutico y comunicación
extranjero13. efectiva con el paciente, de acuerdo al nivel de
El formato de este tipo de exámenes ha evo- desempeño que se espera para un médico general
lucionado en el tiempo, desde el uso de pautas de según ASOFAMECH17. Los casos clínicos fueron
cotejo para evaluar destrezas psicomotoras y ha- seleccionados siguiendo un enfoque por sistemas
bilidades de entrevista clínica, hacia un concepto y considerando las especialidades de medicina
más global, donde el diagnóstico, razonamiento interna, pediatría, gineco-obstetricia, cirugía y
clínico y evaluación de la comunicación con el salud mental. El diseño del blueprint se describe
paciente son parte fundamental de este método en la Tabla 1.
de evaluación13. Por otra parte, ya desde el 2007, Una vez definidas las competencias a evaluar
existen reportes del uso de esta metodología como y los casos clínicos, se procedió a construir las
evaluación formativa14 previo a su aplicación con estaciones. Éstas fueron diseñadas por expertos
fines sumativos. en educación médica pertenecientes a lo menos a
Si bien existen recomendaciones internaciona- dos universidades del consorcio en base al formato
les sobre como evaluar la calidad de los OSCEs15, utilizado por la NBME. Posteriormente, para su
con respecto a los criterios de calificación, no validación de contenido, estas estaciones fueron
existe una clara definición si una evaluación por analizadas por clínicos de todas las universidaçdes
logros es más adecuada que un enfoque compen- hasta alcanzar consenso tanto en el contenido y
satorio en donde se integran los puntajes totales forma de los guiones, como en los criterios y pon-
del examen16. deraciones para la calificación (Tabla 2).
Aunque en la actualidad la mayoría de las uni- Para la evaluación de la comunicación con el
versidades chilenas está realizando OSCEs, existe paciente, se decidió utilizar una pauta previamente
una gran variabilidad en la forma en que estos validada, denominada Communication Assessment
exámenes se realizan y utilizan en cada institución. Tool (CAT)18, para ser aplicada por el paciente
El objetivo de este trabajo fue diseñar e imple- estandarizado.
mentar un OSCE integrado para evaluar compe- Considerando que la implementación del
tencias de egreso en estudiantes de medicina de examen se realizó en lugares geográficamente
un consorcio de Universidades chilenas. distantes, se crearon videos con pacientes en-
trenados (actores profesionales) para apoyar el
Materiales y Métodos entrenamiento estandarizado de los actores de
las diferentes sedes. Posteriormente y previo a la
El año 2014, un consorcio de siete universida- realización del examen, cada institución supervisó
des chilenas se adjudica un proyecto financiado la representación de los pacientes simulados. Los
Sistema 1. 2. 3. 4. 5. 6.
Cardio- Respiratorio Gastro- Músculo Neurológico Salud de la
vascular intestinal esquelético mujer
Competencias Anamnesis Anamnesis Anamnesis Anamnesis Anamnesis Anamnesis
Diagnóstico y Diagnóstico y Examen físico Examen físico Examen físico Diagnóstico y
Razonamiento Razonamiento Diagnóstico y Diagnóstico y Diagnóstico y Razonamiento
clínico clínico Razonamiento Razonamiento Razonamiento clínico
Plan Plan clínico clínico clínico Comunicación
diagnóstico diagnóstico Plan Comunicación Comunicación efectiva
Comunicación Plan diagnóstico efectiva efectiva
efectiva terapéutico Comunicación
Comunicación efectiva
efectiva
Temporalidad Agudo Agudo Agudo Crónico Agudo Crónico
Caso clínico Síndrome Neumonía Abdomen Lumbago Accidente Climaterio
coronario agudo Cerebro-
agudo vascular
actores que evaluaron el desempeño en examen ción de sus egresados registrando los resultados en
físico fueron entrenados por clínicos expertos una planilla común, manteniendo el anonimato
en educación y OSCE para estandarizar su rol de de cada evaluado. Cada escuela entregó feedback
evaluador. a sus egresados participantes. Además, algunas
Se realizó un muestreo intencionado de ca- escuelas realizaron reuniones de análisis grupal al
rácter voluntario. Fueron invitados a participar final del examen, recogiendo percepciones de los
cuatrocientos quince recién egresados de la carrera egresados y los pacientes estandarizados sobre el
de medicina pertenecientes a seis universidades del método de evaluación.
consorcio, a quienes se solicitó participar de una
evaluación OSCE de carácter formativo de ciento
ochenta minutos de duración, previa firma de un Resultados
consentimiento informado aprobado por cada una
de las instituciones participantes. Se excluyeron De los cuatrocientos quince egresados de las es-
del estudio los estudiantes que hubieran repro- cuelas del consorcio, ciento veinticinco accedieron
bado algún internado. a participar constituyendo 30% de la muestra. De
Este examen se llevó a cabo durante el mes de los participantes, 58,4% fueron mujeres y 41,6%
noviembre de 2015 en seis locaciones, distribuidas hombres.
en cuatro ciudades a lo largo del país (Coquimbo, El desempeño global mostró una leve asimetría
Viña del Mar, Santiago y Concepción). positiva que no difería significativamente de una
Los circuitos se administraron sin evaluador distribución normal (KS = 0,055; p = 0,20), tal y
clínico dentro de las estaciones, el examen físico y como se observa en la Figura 2.
la comunicación fueron evaluados por el paciente Al evaluar la confiabilidad del OSCE, conside-
estandarizado y la duración de cada estación fue rando las doce estaciones se obtuvo un coeficiente
de quince minutos. Los egresados debían dis- alfa de Cronbach de 0,62.
tribuir su tiempo para realizar la entrevista y en El porcentaje global de logro de cada com-
los casos solicitados el examen físico, además de petencia se detalla en la Tabla 3. Las estaciones
contestar la pauta de evaluación de cada estación. globalmente mejor logradas son las de síndrome
Las pautas de evaluación incluían, de acuerdo al coronario agudo, neumonía y climaterio, en tanto
blueprint, secciones para evaluar Anamnesis, Exa- que las que mostraron más bajo desempeño co-
men Físico, Diagnóstico y Razonamiento Clínico, rresponden a anticoncepción oral, control sano y
Plan diagnóstico y Plan terapéutico (Tablas 1 y depresión (Tabla 4).
2). Los evaluados debían registrar los elementos El porcentaje de aprobación del examen apli-
claves de la anamnesis y del examen físico, y cando criterio de calificación compensatoria, fue
argumentar, en base a la información recogida, de 84%.
tanto la priorización de los diagnósticos como los El análisis de resultados de la competencia
planes de acción. En cada sección se definieron comunicación efectiva con el paciente, se obtuvo
respuestas posibles en relación al guión construido mediante la sumatoria del puntaje máximo de cada
para el paciente estandarizado de cada caso, y se ítem (porcentaje de excelentes) obteniéndose un
definieron criterios para categorizar las respuestas promedio de 41,3% (DS = 17,4).
en Insuficiente, Suficiente y Satisfactorio (Figura Entre las principales opiniones de los egresados
1). No se utilizó checklist para calificar esta sección destaca la percepción de mayor realismo al tener
de las estaciones. más tiempo con el paciente y ausencia de eva-
Mientras los egresados registraban sus respues- luador en la estación. Manifestaron satisfacción
tas, dando cuenta de su proceso de razonamiento con esta modalidad, porque el instrumento les
clínico, los pacientes estandarizados evaluaban la permitió demostrar de manera más completa su
comunicación utilizando pauta CAT. Las pautas desempeño clínico, aunque las primeras estacio-
CAT se analizaron considerando el total de des- nes les resultaron más difíciles debido al nuevo
criptores calificados como excelente en la suma formato y, en algunas de ellas acusaron, falta de
de todas las estaciones, de acuerdo a lo descrito tiempo (estaciones 4 y 11).
por el autor18. En relación a los pacientes estandarizados,
Cada universidad revisó las pautas de evalua- refirieron que fue positivo contar con un guión
Figura 2. Distribución del desempeño obtenido en el OSCE por los estudiantes de Medicina.
más detallado, y tener un entrenamiento acabado Chile, existen reportes de evaluación con OSCE
en cada una de las estaciones, que incluyó video. enfocados solo a una disciplina en particular10,11,13.
En cuanto a su rol como evaluadores de la comu- Con respecto a 30% de participación de egresa-
nicación efectiva, indicaron que el instrumento dos, cabe señalar que pudo haber sido influenciado
utilizado fue fácil y rápido de completar. por tratarse de una experiencia voluntaria, imple-
mentada una vez finalizado el período formativo
Discusión y ad portas del EUNACOM teórico de ese año.
El análisis de los datos de los OSCEs es re-
Los resultados permiten señalar que es facti- portado en la literatura en base a resultados por
ble evaluar colaborativamente las competencias estaciones10,13 y no en base a logros de compe-
de egreso en estudiantes de medicina en Chile, tencias. Nuestro análisis de resultados se realizó
consensuando criterios para el diseño, implemen- primariamente en base a logros debido a que nos
tación y evaluación, mediante un OSCE integrado interesaba conocer el nivel de desempeño global
que cumple con criterios de validez y confiabilidad alcanzado por los evaluados en cada competencia.
(alfa de cronbach 0,62). La decisión de aprobación se basó en un enfoque
Este es el primer OSCE colaborativo reportado compensatorio que es lo recomendado para pre-
en la literatura entre seis universidades chilenas, grado.
integrando las cinco disciplinas básicas de la me- Si bien es cierto los porcentajes globales de
dicina, respaldado en el diseño metodológico por logro alcanzados en el examen fueron altos, al
el NBME para evaluar competencias de egreso. En analizar en forma separada cada estación pudimos
constatar que en aquellos casos en que el logro en Los evaluados consideraron positiva la ex-
anamnesis fue menor, coincidentemente se obser- periencia, reconociendo tanto el realismo de la
vó menor rendimiento en el razonamiento clínico representación como la importancia de la imple-
(Tabla 4). Desde nuestra interpretación, esto es mentación de una pauta que deje mejor registro
esperable en médicos novatos, quienes utilizan de sus procesos de pensamiento.
un enfoque hipotético deductivo en la toma de Como fortalezas de la aplicación del proceso,
decisiones clínicas19. destacan no sólo el trabajo colaborativo de las
Dentro de otros factores que pueden afectar los universidades del consorcio, sino que también la
resultados, está el hecho que el examen no tenía oportunidad de diseñar estaciones con formatos
calificación ni consecuencias en la promoción, a que pusieran énfasis en el razonamiento clínico y
diferencia de lo que ocurre con las evaluaciones la comunicación médico-paciente. Así mismo, la
al interior de cada curriculum, para las cuales los posibilidad de entregar feedback efectivo, posibilitó
estudiantes usualmente se preparan. la generación de nuevos aprendizajes, tanto en los
En segundo lugar, la evaluación se realizó en estudiantes como en los académicos involucrados.
un formato diferente al que usualmente se usa en La oportunidad de trabajar con actores estanda-
pregrado. En este caso, los evaluados registran rizados, es sin duda una experiencia que permite
los elementos clave de la anamnesis y del examen aumentar la validez del exámen y al mismo tiempo
físico, y argumentan, en base a la información generar redes que posibiliten trabajos posteriores.
recogida, tanto la priorización de los diagnósti- Este trabajo colaborativo permitió generar
cos como los planes de acción, a diferencia del nuevos conocimientos en el área de evaluación
formato tradicional de OSCE, que utiliza pautas de competencias clínicas en medicina, mejorar la
de cotejo con conductas preestablecidas, aplica- calidad del OSCE y avanzar hacia la propuesta de
das por un evaluador que observa el desempeño. un futuro examen clínico de habilitación nacional
Adicionalmente, en este examen se evaluaron de con criterios comunes y consensuados.
manera sincrónica las cinco especialidades básicas,
independiente del tiempo en que cada estudiante Referencias
culminó su práctica clínica supervisada.
En tercer lugar, no existe un consenso explícito 1. Horwitz N. El cambio de la práctica médica: Desafíos
en la enseñanza ni en la evaluación del razona- psicosociales para la profesión. Rev Med Chile 2004; 132
miento clínico en las instituciones involucradas. (6): 768-72. Disponible en www.scielo.cl [consultado el
Sin embargo, desde esta experiencia es posible 20 de noviembre de 2017].
definir líneas de acción conjunta para mejorar 2. Chen HC, van den Broek WE, ten Cate O. The case for
los procesos de enseñanza y evaluación de esta use of entrustable professional activities in undergra-
competencia. Se sugiere que a partir de la didáctica duate medical education. Acad Med 2015; 90 (4): 431-6.
en educación médica se unifiquen criterios para la doi: 10.1097/ACM.0000000000000586.
enseñanza del razonamiento clínico19, incluyendo 3. Epstein RM. Assessment in medical education. N Engl J
instancias formativas que permitan retroalimentar Med 2007; 356 (4): 387-96.
a los estudiantes durante su proceso de aprendi- 4. McKinley DW, Norcini JJ. How to set standards
zaje, y no solo como una evaluación terminal20,21. on performance-based examinations: AMEE Gui-
Esto requiere además, la formación de los docentes de No. 85. Med Teach 2014; 36 (2): 97-110. doi:
para la enseñanza e identificación precoz de los 10.3109/0142159X.2013.853119. Epub 2013 Nov 20.
avances y problemas en la práctica del razona- 5. Brailovsky C, Grand’Maison P, Lescop J. Construct
miento clínico de los estudiantes de pregrado22,23. validity of the québec licensing examination SP‐based
Respecto de la evaluación de la comunicación, OSCE Teaching and Learning in Medicine 1997; 9 Iss. 1.
el porcentaje promedio de excelentes fue menor al 6. Sloan DA, Donnelly MB, Schwartz RW, Strodel WE.
punto de corte definido por la literatura18. No hay The Objective Structured Clinical Examination. The
reportes del uso de este instrumento en contextos new gold standard for evaluating postgraduate clinical
simulados y aplicado por actores, cuyo nivel de performance. Ann Surg 1995; 222 (6): 735-42.
exigencia podría ser muy alto para calificar la 7. Harden R, Gleeson F. Assessment of Clinical Competen-
comunicación, dada su condición de expertos en ce Using an Objective Structured Clinical Examination.
este ámbito. Medical Education 1979; 13: 41-54.
8. Khan KZ, Ramachandran S, Gaunt K, Pushkar P. The guide no. 49. Med Teach 2010; 32 (10): 802-11. doi:
Objective Structured Clinical Examination (OSCE): 10.3109/0142159X.2010.507716.
AMEE Guide No. 81. Part I: an historical and theoreti- 16. Newble D. Techniques for measuring clinical com-
cal perspective. Med Teach 2013; 35 (9): e1437-46. doi: petence: Objective structured clinical examinations.
10.3109/0142159X.2013.818634. Medical Education 2004; 38: 199-203. http://dx.doi.
9. Khan KZ, Gaunt K, Ramachandran S, Pushkar P. The org/10.1111/j.1365-2923.2004.01755.x
Objective Structured Clinical Examination (OSCE): 17. Examen Unico Nacional de Conocimientos de Medicina
AMEE Guide No. 81. Part II: organisation & ad- (EUNACOM). Disponible en (http://www.eunacom.cl/
ministration. Med Teach 2013; 35 (9): e1447-63. doi: contenidos/contenidos.html) [extraído el 13 de mayo de
10.3109/0142159X.2013.818635. 2016].
10. Bustamante M, Carvajal C, Gottlieb B, Contreras J, Uri- 18. Makoul G, Krupat E, Chang CH. Measuring patient
be M, Melkonian E, et al. Hacia un nuevo instrumento views of physician communication skills: developmet
de evaluación en la carrera de Medicina.: Uso del méto- and testing of the Communication Assessment Tool.
do OSCE. Rev Med Chile 2000; 128 (9): 1039-44. Patient Educ Couns 2007; 67 (3): 333-42. Epub 2007 Jun
11. Triviño BX, Vásquez MA, Mena MA, López TA, Aldu- 18.
nate RM, Varas PM, et al. Aplicación del Examen Clíni- 19. Castro FR De, Carrillo-Díaz T, Freixinet-Gilart J, Ju-
co Objetivo Estructurado (OSCE) en la evaluación final lià-Serdà G. Razonamiento clínico. Fem 2017; 20 (4):
del internado de pediatría en dos escuelas de medicina. 149-60.
Rev Med Chile 2002; 130 (7): 817-24. 20. Mangold K, Jeffers J, Burns R, Trainor J, Unti
12. Sandoval GE, Valenzuela PM, Monge MM, Toso PA, SH, Eppich W, et al. An Objective Structured Clinical
Triviño XC, Wright AC, et al. Analysis of a learning Examination to Improve Formative Assessment for Se-
assessment system for pediatric internship based upon nior Pediatrics Residents. Journal of Graduate Medical
objective structured clinical examination, clinical prac- Education 2015; 7 (3): 470-4.
tice observation and written examination. J Pediatr (Rio 21. Prince P. From play to problem solving to Com-
J) 2010; 86 (2): 131-6. mon Core: The development of fluid reasoning.
13. Kunakov N, Bozzo S. La revalidación práctica del título Appl Neuropsychol Child 2017; 6 (3): 224-7. doi:
de médico cirujano a través de un método estandariza- 10.1080/21622965.2017.1317487. Epub 2017 May 12.
do: Experiencia de la Universidad de Chile. Rev Med 22. Eva KW, Rosenfeld J, Reiter HI, Norman GR. An ad-
Chile 2015; 143 (8): 1058-64. missions OSCE: the multiple mini-interview. Med Educ
14. Morales C. Examen clínico objetivo estructurado forma- 2004; 38 (3): 314-26.
tivo en el Internado de Medicina: evaluación del proceso 23. Audétat MC, Laurin S, Dory V, Charlin B, Nendaz
por los estudiantes Rev Educ Cienc Salud 2007; 4 (2): MR. Diagnosis and management of clinical reasoning
106-10. difficulties: Part II. Clinical reasoning difficulties: Ma-
15. Pell G, Fuller R, Homer M, Roberts T; International nagement and remediation strategies. Med Teach 2017;
Association for Medical Education. How to measure 39 (8): 797-801. doi: 10.1080/0142159X.2017.1331034.
the quality of the OSCE: A review of metrics - AMEE Epub 2017 Jun 7.