General requirements for the competence of testing and calibration laboratories

HUGO P. GUERRERO POSTIGO

 BJETIVOS DE PRENDIZAJE
La validación y verificación de métodos es un proceso mediante el cual los laboratorios de ensayos demuestran que tienen las condiciones
adecuadas y capacidades para usar métodos normalizados o usar métodos no normalizados ajustados al uso previsto; para ello se debe
estudias las características de desempeño de los métodos según normas internacionales como ISO 5725, ISO 11843, ISO 13530, ISO 11269, ISO
16140 entre otras.

Este proceso es un requisito fundamental en la norma ISO/IEC 17025 para la implementación del sistema de gestión y posterior acreditación

ONTENIDO  INTRODUCCIÓN (Requisitos de ISO/IEC 17025:2017 relativos a verificación y validación de métodos, criterios
de calidad, conceptos fundamentales, normas internacionales aplicables)
 PLAN DE VERIFICACIÓN Y VALIDACIÓN DE MÉTODOS (Objetivo, Definición de características de desempeño,
Requisitos especificados y diseño de las mediciones (por parámetros y diseño experimental), Recursos
(trazabilidad), Cronograma de ejecución) (ISO 10005, ISO 7218, ISO/IEC 17025, ISO 35)
 ESTUDIOS DE PRECISIÓN (Introducción, Fuentes de dispersión y evaluación de precisión, Herramientas
estadísticas para los estudios de repetibilidad, Herramientas estadísticas para los estudios de reproducibilidad
interna) (Normas ISO 5725, ISO 16140, ISO 11269)
 Estudio de veracidad (Introducción, Fuentes que afectan la posición y errores sistemáticos, Valores de referencia,
Evaluación del sesgo, Evaluación de la veracidad relativa, Exactitud relativa métodos cualitativos, Estudio de linealidad,
Evaluación de la linealidad (ISO 16140-2, ISO 5724-4, ISO 35, ISO 80, ISO 11095)
 Estudio del rango de trabajo (Introducción, Rango de trabajo, Límite detección y límite de cuantificación, LOD50) (ISO
13530, ISO 11843, ISO 16140-4))
 ESTUDIO DE SELECTIVIDAD, ESPECIFICIDAD Y ROBUSTEZ (Introducción, Selectividad y especificidad, Robustez,
Análisis de datos) (ISO TR 12845)
 EVALUACIÓN, PROCESAMIENTO DE DATOS E INFORME (Introducción, Revisión, cálculo y procesamiento de datos,
Resultados y evaluación de especificaciones, Establecimiento de trazabilidad, Control de calidad, Informe)
24/1/2024  "TALLERES DE APLICACIÓN PRÁCTICA HGP
 General requirements for the competence of testing and calibration laboratories

VALIDACIÓN Y VERIFICACIÓN DE MÉTODOS DE ENSAYO, PARA

PADRÓN DE EVALUADORES Y MIEMBROS DE LOS OEC
HUGO P. GUERRERO POSTIGO
 Aprendizaje
esperado
1. Introducción Conocimiento y
2. Fuentes de dispersión y evaluación de comprensión de los
precisión criterios y fundamentos de
los estudios de precisión
3. Herramientas estadísticas para los
estudios de repetibilidad
4. Herramientas estadísticas para los
estudios de reproducibilidad interna
4
Determinación de los parámetros característicos

1 2 3 4
Diseño y Determinación de Evaluación y
Informe de
desarrollo de plan los parámetros procesamiento de
validación
de validación característicos datos

Medir Analizar Mejorar Controlar

5
 Los errores aleatorios son los que constituyen la
característica de calidad básica denominada “precisión” y
Dispersión de Xi
(Errores aleatorios) al depender de varios aspectos de los elementos de
competencia técnica

Posición del valor central

(Errores sistemáticos)
PRECISIÓN
Valor proximidad entre las indicaciones o los valores medidos obtenidos en
verdadero
mediciones repetidas de un mismo objeto, o de objetos similares, bajo
condiciones especificadas

Definiciones según
REPETIBILIDAD P. INTERMEDIA REPRODUCIBILIDAD
precisión de medida bajo un precisión de medida bajo un precisión de medida bajo un
conjunto de condiciones de conjunto de condiciones de conjunto de condiciones de
VARIABLES repetibilidad precisión intermedia reproducibilidad
ISO 99

Se calcula según ISO 5725-3

Se calcula según ISO 5725-2

Se calcula según ISO 5725-2

Muestra MismoMismo Mismo

Método Mismo Mismo Mismo
Equipos Mismo Diferente Diferente
Reactivos Mismo Diferente Diferente
Cepas patrón Mismo Diferente Diferente
Instalaciones Mismo Mismo Diferente
Condiciones ambientales Mismo Diferente Diferente
Tiempo Mismo Diferente Diferente 6
Personal Mismo Diferente Diferente
2. Mediciones, resultados y análisis de datos para determinar la desviación
estándar de repetibilidad del método

7
2. Mediciones, resultados y análisis de datos para determinar la desviación estándar de repetibilidad del método
∑
Paso 1: Calcular el promedio de las mediciones;

∑
Paso 2: Calcular la desviación estándar de las mediciones individuales ;
Paso 3: Determine los grados de liberta (Ʋ=n-1)
Paso 4: Realice la multiplicación;
Paso 5: Realice la sumatoria de (datos del paso 2)

Paso 6: Realice la sumatoria de (datos del paso 3)

∑
Paso 7: Determine la promedio de los promedios (datos del paso 1)
Paso 8: Análisis de consistencia intra-ensayos (ISO 16269).

Estime “k” de Mandel, y luego evalúe frente a í

∑ K-Mandel
Evalúa la consistencia de la
𝒄𝒓í𝒕𝒊𝒄𝒐 𝒊
variación de las mediciones
𝒄𝒓í𝒕𝒊𝒄𝒐 𝒊 individuales
Paso 9: Análisis de valores atípicos intra-ensayos (ISO 16269-4),
C-Cochrac´s
Estime “C” de Cochran´s, ∑
y luego evalúe frente a í Evalúa valores atípicos en
términos de varianza
𝒄𝒓í𝒕𝒊𝒄𝒐 𝒊

𝒄𝒓í𝒕𝒊𝒄𝒐 𝒊

8
2. Mediciones, resultados y análisis de datos para determinar la desviación
estándar de repetibilidad del método
Paso 10: Calcular la desviación estándar de repetibilidad Sr:

 n  1s
n 2

i
Sr  i 1
n

 n  1 
i 1

Paso 11: Calcular el coeficiente de variación,

Repita los pasos 1, 2, 3, 4, 5, 6, 7,

8, 9, 10 y 11 para todos los
niveles de concentración 9
3. Análisis de datos y comportamiento inicial
3.1 Evaluación de la consistencia y valores atímpicos intra ensayos

Evaluación de consistencia intra ensayos en condiciones de repetibilidad Evaluación de valores atípicos debido a la dispersión intra ensayos
1.80000 0.900
1.60000 0.800
1.40000 0.700
1.20000 0.600
1.00000 0.500
C

C
0.80000 0.400
0.60000 0.300
0.40000 0.200
0.20000 0.100
0.00000 0.000

58-1 58-2 73-1 29 1 26 1 58-1 58-2 73-1 29 1 26 1

Persona/Muestra Persona/Muestra

3.2 Determinación de desviación estándar de repetibilidad inicial 3.3 Comportamiento inicial de la desviación estándar de repetibilidad

∑ 𝑋 𝑆
N n 𝑋= 𝐶𝑉
𝑁 0.035 3.000
Muestra
C
ppm ppm % 0.030 V
2.500

58-1 4 3 0.11 0.003 2.389 0.025

2.000
Repetibilidad

CV(%)
0.020
58-2 4 3 0.20 0.004 2.144 1.500
0.015
1.000
73-1 4 3 0.33 0.009 2.723 0.010

0.500
0.005
29 1 4 3 1.01 0.005 0.477
0.000 0.000
0.00 0.50 1.00 1.50 2.00 2.50 0.00 0.50 1.00 1.50 2.00 2.50
26 1 4 3 2.12 0.029 1.351
NIVEL DE CONCENTRACIÓN NIVEL DE CONCENTRACIÓN 10
Paso 12. Determine la repetibilidad según el modelo constante ;
Criterio según

ISO 5725-2
Criterio según

ISO 16140-2

11
Paso 13. Determine la repetibilidad según el modelo lineal

12
 Paso 14 . Determine la repetibilidad según
el modelo lineal con intersección en Paso 15. Determine la repetibilidad según el
cero modelo exponencial

Paso 16 . combinación de contribuciones constantes y relativas a una desviación estándar combinada

Este es un nuevo
criterio incorporado
en ISO 5725-2:2019
13
Paso 17. Determinación de del error estándar de la estimación para todos lo modelos

  Y  Sr
*
Y  Sr
SS error SS error   Y  Y
2 ( Estimadasegúnla relación funcional)
SEE 
n2

Paso 18. Resumen general de los datos obtenidos y evaluación del comportamiento de los distintos modelos
Nº TIPO SEE ECUACIÓN 0.045
MODELO CONSTANTE

0.040 MODELO LINEAL

1 Modelo constante (MC) 0.0107 Sr= 0.010 RCr= 0.033 MODELO LINEAL INTERSECCIÓN EN CERO

0.035 MODELO POTENCIAL

MEDICIONES REALES

2 Modelo lineal (ML) 0.0058 Sr= 0.002 + 0.0095 X RCr= 0.008 + 0.031 X 0.030

Repetibildiad
0.0058
0.025
Modelo lineal con intersección cero
3 0.0098 Sr= 0.018 X RCr= 0.060 X
(Mlo) 0.020

0.614 0.614 0.015

4 Modelo potencial (MP) 0.0075 Sr= 0.011 X RCr= 0.037 X
0.010

De las anteriores ecuaciones y gráfico se puede observar que la desviación estándar de repetibilidad tiene 0.005
una tendencia razonablemente según el
0.000
Modelo lineal (ML) 0.00 0.50 1.00 1.50 2.00 2.50
Por lo tanto, una buena estimación de la repetibilidad del método es este modelo, es decir:
NIVEL DE CONCENTRACIÓN

14
Paso 19. Criterio de verificación/validación
C1 CRITERIO DE ACEPTACIÓN O RECHAZO SEGÚN CLSI EP15-A
• El criterio verificación o validación puede estar dado en términos de CV(%)r, por lo tanto realice la
conversión en unidades de medición usando la siguiente ecuación.
% ∗

• Determine los grados de libertad totales según el diseño realizado.

•
• Determine el valor del test estadístico con de probabilidad (use la herramienta de MS
Excel).
• Determine la Sr según el modelo definido el 9
• Determine el valor de aceptación o rechazo según la siguiente ecuación.

•
. ⁄ Para ensayos
C2 CRITERIO DE ACEPTACIÓN O RECHAZO SEGÚN ISO 33 microbiológicos
• Determine el valor de según la siguiente ecuación C3 CRITERIO DE ACEPTACIÓN O RECHAZO SEGÚN ISO
16140-3 (SOLO PARA VERIFICACIÓN DE MÉTODOS)
• Determine el valor de aceptación o rechazo según la
• Determine el valor de aceptación o rechazo según la siguiente ecuación. siguiente ecuación.

; , 15
( )
 Paso 19. Criterio de verificación/validación

Compare el valor Sr con un valor de verificación o validación para un 0.18

determinado nivel de significación y un número de datos del conjunto.
0.16
Para el caso de Verificación:
Criterio_V Sr
• Si Sr ó  Valor de verificación; el estudio tiene como conclusión 0.14

que el laboratorio no tiene las condiciones para usar el método 0.12

normalizado en condiciones de repetibilidad.
0.10
• Si Sr ≤ Valor de verificación: el estudio tiene como conclusión que
el laboratorio reúne todas las condiciones para usar el método 0.08
normalizado en condiciones de repetibilidad.
0.06
Paso 19 Conclusión

𝑠
0.04
Para el caso de Validación:
 Valor de validación; el estudio tiene como conclusión que
0.02
• Si Sr ó
el laboratorio no tiene las condiciones apropiadas para el uso previsto 0.00
del método validado en condiciones de repetibilidad. 0.11 0.20 0.33 1.01 2.12
58-1 58-2 73-1 29 1 26 1
• Si Sr ≤ Valor de validación: el estudio tiene como conclusión que el
laboratorio reúne todas las condiciones apropiadas para el uso
previsto del método validado en condiciones de repetibilidad.
NIVEL DE CONCENTRACIÓN

16
 2. Mediciones, resultados y análisis de datos para determinar la desviación estándar de reproducibilidad interna
del método (Esta metodología se basa en ISO 5725)

NIVEL DE CONCENTRACIÓN 1
2.1.1 Resultados de las mediciones y procesamiento de datos Paso 1 Paso 2 Paso 3 Paso 4 Paso 5 Paso 8 Paso 9

  x  Consistencia inter ensayos Valores atípicos de centralidad

n 2
xk n
MEDICIONES X  k 1
S k 1 k X
2
FECHA RESPONSABLE MUESTRA ppm ppm ppm ppm ppm
n n 1 n 𝑛 𝑋−𝑋 (n-1)S 𝑋 −𝑋 𝑋 −𝑋
ℎ= h<hcritico 𝐺= G<Gcritico
x1 x2 x3 x4 x5 ppm ppm 𝑆 𝑆

05/06/2015 T1 58-1 0.1124 0.1105 0.1149 0.11 0.0022 3 0.0000024 9.740E-06 -0.52 Dato consistente -0.52 Dato aceptado

06/06/2015 T2 58-1 0.1101 0.1107 0.1145 0.11 0.0024 3 0.0000090 1.139E-05 -1.00 Dato consistente -1.00 Dato aceptado

07/06/2015 T3 58-1 0.1124 0.1165 0.1128 0.11 0.0023 3 0.0000005 1.022E-05 0.23 Dato consistente 0.23 Dato aceptado

08/06/2015 T4 58-1 0.1145 0.1128 0.1199 0.12 0.0037 3 0.0000150 2.749E-05 1.29 Dato consistente 1.29 Dato aceptado

𝑆 −𝑆
2.1.2 Determinación de la desviación estándar de reproducibilidad interna para el nivel de concentración 1 𝑆 =
∑ 𝑛 − 1 .𝑆 𝑆 =
∑ 𝑛
Paso 6 Paso 7 Paso 10 Paso 11 Paso 12 Paso 13 Paso 14 Paso 15 𝑛 −1
𝑆
hcritico Gcritico ∑ 𝑋 𝑆 𝐶𝑉 100 𝑆 ∑ 𝑛 ∗ 𝑋 −𝑋 𝑆̿=
∑ 𝑋 −𝑋
𝑆 𝐶𝑉 100 𝑆 𝑋 𝑆 𝐶𝑉 100
Muestra 𝑛 (𝑛 − 1) (95%) (95%) 𝑋=
𝑁
𝑆 ̿ 𝑋 𝑋 𝑆 =
𝑁−1
𝑁 −1

ppm ppm ppm % ppm % ppm %

𝑛−1 𝑆 +𝑆
58-1 3.0 8 1.43 1.48 0.11 0.002 0.00271 2.389 0.0030 2.638 0.00281 2.475 𝑆 = .𝑆 +𝑆 =
𝑛

17
2. Mediciones, resultados y análisis de datos para determinar la desviación estándar de reproducibilidad interna
del método (Esta metodología se basa en ISO 5725)
∑
Paso 1: Calcular el promedio de las mediciones;

∑
Paso 2: Calcular la desviación estándar de las mediciones individuales ;
Paso 3: Determine el número de mediciones individuales (n)
∑
Paso 4: Determine la promedio de los promedios (datos del paso 1)

Paso 5: Determine la desviación estándar de los promedios ;𝑆 ̿ =

∑

Paso 6: Realice la multiplicación;

Paso 7: Realice la multiplicación;
Paso 8: Análisis de consistencia intra-ensayos (ISO 16269).

Estime “h” de Mandel, y luego evalúe frente a í h-Mandel

Evalúa la consistencia de la
𝒄𝒓í𝒕𝒊𝒄𝒐 𝒊 variación de las mediciones
𝒄𝒓í𝒕𝒊𝒄𝒐 𝒊 individuales
Paso 9: Análisis de valores atípicos intra-ensayos (ISO 16269-4),
G-Grubbs
Estime “G” de Grubbs , y luego evalúe frente a í Evalúa valores atípicos en
los promedios
𝒄𝒓í𝒕𝒊𝒄𝒐 𝒊

𝒄𝒓í𝒕𝒊𝒄𝒐 𝒊
18
2. Mediciones, resultados y análisis de datos para determinar la desviación estándar de reproducibilidad interna
del método (Esta metodología se basa en ISO 5725 e ISO 16140-2)

∑ .
Paso 10: Determine la repetibilidad; ∑

Paso 11: Determine el coeficiente de variación de la repetibilidad;

∑ ∗
Paso 12: Determine la variación entre los grupos; 𝑆 =

Paso 13: Determine el coeficiente de variación de la variación entre los grupos;

Paso 14: Determine la reproducibilidad interna,

Paso 15: Determine el coeficiente de variación de la reproducibilidad interna;

Repita los pasos 1, 2, 3, 4, 5, 6, 7, 8, 9,

10, 11, 12, 13, 14 y 15 para todos los
niveles de concentración 19
3. Análisis de datos y comportamiento inicial
3.1 Evaluación de la consistencia y valores atímpicos intra ensayos

Evaluación de consistencia inter ensayos en condiciones de reproducibilidad iterna Evaluación de valores atípicos debido a la centralidad inter ensayos
2.00 2.00
1.50 1.50
1.00 1.00
0.50 0.50
0.00 0.00
h

C
-0.50 -0.50
-1.00 -1.00
-1.50 -1.50
-2.00 -2.00

58-1 58-2 73-1 29 1 26 1 58-1 58-2 73-1 29 1 26 1

Persona/Muestra Persona/Muestra

3.2 Determinación de desviación estándar de reprodubilidad interna 3.3 Comportamiento inicial de la desviación estándar de reproducibilidad interna

∑ 𝑋
𝑋= 𝑆 𝐶𝑉 𝑆 𝑆
N 𝑁 3.500
Muestra n 0.040

ppm ppm % ppm % 0.035 3.000

58-1 4 3.0 0.1135 0.003 2.475 0.003 2.389 0.030 2.500

0.025

CV(%)
S (%)
2.000
58-2 4 4.4 0.1989 0.006 2.855 0.004 1.991
0.020
1.500
0.015
73-1 4 4.4 0.3282 0.010 3.056 0.009 2.854 1.000
0.010
0.500
29 1 4 4.4 1.0107 0.006 0.575 0.005 0.488 0.005

0.000 0.000
0.0000 1.0000 2.0000 3.0000 0.0000 1.0000 2.0000 3.0000
26 1 4 4.4 2.1215 0.034 1.613 0.031 1.468
NIVEL DE CONCENTRACIÓN NIVEL DE CONCENTRACIÓN

20
Paso 12. Determine la repetibilidad según el modelo constante ;
Criterio según

ISO 5725-2
Criterio según

ISO 16140-2

21
 Paso 17. Determine la reproducibilidad interna según el modelo lineal (según criterios descritos para
repetibilidad)
Paso 18. Determine la reproducibilidad interna según el modelo lineal con intersección en cero (según
criterios descritos para repetibilidad)
Paso 19 . Determine la reproducibilidad interna según el modelo exponencial (según criterios descritos para
repetibilidad)
Paso 20. Determinación de del error estándar de la estimación para todos lo modelos (según criterios descritos
para repetibilidad)

Paso 21. Resumen general de los datos obtenidos y evaluación del comportamiento de los distintos modelos
(según criterios descritos para repetibilidad)

22
Paso 22. Criterio de verificación/validación

C1 CRITERIO DE ACEPTACIÓN O RECHAZO SEGÚN CLSI EP15-A

• Determine los grados de libertad totales según el diseño realizado:

.

• Determine el valor del test estadístico con de probabilidad (use la herramienta de MS Excel).
• Determine el valor de aceptación o rechazo según la siguiente ecuación
𝝈𝑳 . 𝝌𝟐𝟏 𝜶⁄
𝜾 y
𝑻

C2 CRITERIO DE ACEPTACIÓN O RECHAZO SEGÚN ISO 33

• Determine el valor de según la siguiente ecuación
Para ensayos
microbiológicos
• Determine el valor de aceptación o rechazo según la C3 CRITERIO DE ACEPTACIÓN O RECHAZO SEGÚN ISO
16140-3 (SOLO PARA VERIFICACIÓN DE MÉTODOS)
siguiente ecuación.
• Determine el valor de aceptación o rechazo según la
; , siguiente ecuación.

23
 Paso 22. Criterio de verificación/validación

Compare el valor Sr con un valor de verificación o validación para un determinado nivel de significación y un
número de datos del conjunto
.
0.30
Para el caso de Verificación:

• Si SL ó  Valor de verificación; el estudio tiene como conclusión que el

0.25
laboratorio no tiene las condiciones para usar el método normalizado en Crit
erio
condiciones de reproducibilidad interna. _V
0.20
• Si SL ó ≤ Valor de verificación: el estudio tiene como conclusión que el
laboratorio reúne todas las condiciones para usar el método normalizado
en condiciones de reproducibilidad interna. 0.15
Paso 22 Conclusión

𝑠
0.10
Para el caso de Validación:

• Si SL ó  Valor de validación; el estudio tiene como conclusión que el 0.05

laboratorio no tiene las condiciones apropiadas para el uso previsto del

método validado en condiciones de reproducibilidad interna .
0.00
0.11 0.20 0.33 1.01 2.12
• Si SL ó ≤ Valor de validación: el estudio tiene como conclusión que el
58-1 58-2 73-1 29 1 26 1
laboratorio reúne todas las condiciones apropiadas para el uso previsto del NIVEL DE CONCENTRACIÓN
método validado en condiciones de reproducibilidad interna.
24
[email protected]

25