General requirements for the competence of testing and calibration laboratories

HUGO P. GUERRERO POSTIGO

 BJETIVOS DE PRENDIZAJE
La validación y verificación de métodos es un proceso mediante el cual los laboratorios de ensayos demuestran que tienen las condiciones
adecuadas y capacidades para usar métodos normalizados o usar métodos no normalizados ajustados al uso previsto; para ello se debe
estudias las características de desempeño de los métodos según normas internacionales como ISO 5725, ISO 11843, ISO 13530, ISO 11269, ISO
16140 entre otras.

Este proceso es un requisito fundamental en la norma ISO/IEC 17025 para la implementación del sistema de gestión y posterior acreditación

ONTENIDO  INTRODUCCIÓN (Requisitos de ISO/IEC 17025:2017 relativos a verificación y validación de métodos, criterios
de calidad, conceptos fundamentales, normas internacionales aplicables)
 PLAN DE VERIFICACIÓN Y VALIDACIÓN DE MÉTODOS (Objetivo, Definición de características de desempeño,
Requisitos especificados y diseño de las mediciones (por parámetros y diseño experimental), Recursos
(trazabilidad), Cronograma de ejecución) (ISO 10005, ISO 7218, ISO/IEC 17025, ISO 35)
 ESTUDIOS DE PRECISIÓN (Introducción, Fuentes de dispersión y evaluación de precisión, Herramientas
estadísticas para los estudios de repetibilidad, Herramientas estadísticas para los estudios de reproducibilidad
interna) (Normas ISO 5725, ISO 16140, ISO 11269)
 ESTUDIO DE VERACIDAD (Introducción, Fuentes que afectan la posición y errores sistemáticos, Valores de
referencia, Evaluación del sesgo, Evaluación de la veracidad relativa, Exactitud relativa métodos cualitativos,
Estudio de linealidad, Evaluación de la linealidad (ISO 16140-2, ISO 5724-4, ISO 35, ISO 80, ISO 11095)
 ESTUDIO DEL RANGO DE TRABAJO (Introducción, Rango de trabajo, Límite detección y límite de
cuantificación, LOD50) (ISO 13530, ISO 11843, ISO 16140-4))
 ESTUDIO DE SELECTIVIDAD, ESPECIFICIDAD Y ROBUSTEZ (Introducción, Selectividad y especificidad,
Robustez, Análisis de datos) (ISO TR 12845)
 EVALUACIÓN, PROCESAMIENTO DE DATOS E INFORME (Introducción, Revisión, cálculo y procesamiento de datos,
Resultados y evaluación de especificaciones, Establecimiento de trazabilidad, Control de calidad, Informe)
10/6/2023  "TALLERES DE APLICACIÓN PRÁCTICA HGP
Microbiology of the food chain — Method validation — Part 2: Protocol for the Standard Practice for Conducting Ruggedness Tests
validation of alternative (proprietary) methods against a reference method

VALIDACIÓN Y VERIFICACIÓN DE MÉTODOS DE

ENSAYOS
HUGO P. GUERRERO POSTIGO
 Aprendizaje
esperado
1. Introducción Conocimiento y comprensión
2. Selectividad y especificidad de los criterios y fundamentos
de los estudios sensibilidad, y
3. Robustez
robustez especificidad
4. Análisis de datos
5. Evaluación sesión 6

4
Determinación de características de desempeño (proceso experimental)
1 2 3
4
Diseño y
Determinación
desarrollo de Evaluación y Informe de
de los
plan de procesamiento verificación o
parámetros
verificación de datos validación
característicos
validación

Medir Analizar Mejorar Controlar

Durante el proceso de validación y verificación además de las características de desempeño vistos

en capítulos anteriores, se debe evaluar los efectos de matriz y los cambios introducidos en
función del tiempo en la ejecución de las mediciones o uso del método de ensayo.
Estos aspectos están son determinados por los estudios de selectividad, especificidad y robustez
del método 5
• Usualmente, la selectividad de un método se
investiga mediante el estudio de su capacidad
para medir el analito de interés en porciones de
prueba a las cuales deliberadamente se han
introducido interferencias específicas (aquéllas
que se cree probable estén presentes en las

Definición según
muestras).
• Nótese que las pruebas a realizar para asegurar la
selectividad o especificidad de método podrán ser ISO/IEC
diferentes en función del tipo de muestra a 22176:2020
analizar, la técnica utilizada, la información SELECTIVIDAD
bibliográfica disponible, etc. Propiedad de un sistema de medición, utilizada
con un procedimiento de medición específico,
• Entre las pruebas más utilizadas se encuentran las mediante la cual proporciona valores de cantidad
siguientes: medidos para uno o más mensurandos, de modo
1. MÉTODO DE ADICIONES (CLSI EP7-A) que los valores de cada mensurando son
independientes de otros mensurandos u otras
2. COMPARACIÓN DE RESULTADOS cantidades en el sistema de medición
OBTENIDOS POR UN MÉTODO (CLSI-EP9-A)
IUPAC considera la especificidad como la etapa
3. TRABAJAR CON LOS DATOS DEL final de la selectividad.
PROCESO DE VERIFICACIÓN DEL MODELO
LINEAL 6
A) MÉTODO DE ADICIONES

• Comparando los resultados (o la respuesta) de la muestra que contiene las posibles interferencias con
el resultado de otra muestra sin dichas interferencias. En este caso los valores de exactitud (sesgo y
precisión) evaluados y verificados nos deben llevar a emitir una conclusión sobre la
selectividad/especificidad del método.

• El procedimiento general es:

• Realizar las mediciones en muestras naturales sin interferencias
• Realizar las mediciones en muestras naturales con interferencias
• Calcular la desviación estándar en ambos casos
• Comparar la desviación estándar con el valor de la repetibilidad o reproducibilidad interna establecida con los
estudios de precisión
• Realizar adiciones estándar a las muestras con interferencias y sin interferencias
• Calcular el sesgo relativo
• Comparar los valores del sesgo relativo con el valor del sesgo establecido en los estudios de sesgo.
• Para establecer que el método es específico y selectivo se debe cumplir.
S si  S r  S w bs i  b
7
S ci  S r  S w bci  b
B) COMPARACIÓN DE RESULTADOS OBTENIDOS POR UN MÉTODO
• Con los resultados obtenidos por otro método (método de confirmación). Es importante que el método
de confirmación sea un método normalizado, en este caso también los niveles de exactitud (sesgo y
precisión) y los procesos de verificación son elementos importantes para establecer la
selectividad/especificidad de un método de ensayo

• Se sigue los criterios del método 1 de los estudio de veracidad y se debe demostrar

• Para b en unidades de medida:

• Para b en %:
• Donde β es el criterio de verificación o de validación definido en el plan.
8
C) TRABAJAR CON LOS DATOS DEL PROCESO DE
VERIFICACIÓN DEL MODELO LINEAL
En este caso el modelo es lineal, la pendiente debe ser constante en todo el rango de trabajo, esto muestra que el
método es selectivo/especifico en dicho rango. El procedimiento general es:

Paso 1: Dividir la curva del modelo lineal en tres o cuatro partes.

Paso 2: Determinar por separado el coeficiente de correlación lineal de cada parte (r1, r2, r3, r4).
Paso 3: Calcular las pendientes (b1, b2, b3, b4).
Paso 4: Verificar la linealidad de cada curva individual
Paso 5: Comparar estadísticamente cada una de las pendientes individuales con el valor de la pendiente b de la curva
original en todo el rango, la diferencia se calcula según:
Di = bi – b
Paso 6: Calcular el promedio de las diferencias y la desviación estándar para este promedio

D  D 
D0 1 ni 2
Paso 7: Calcular el valor de texp con de la expresión t Exp 
SD S   i
n
D
n i i 1
 1

Paso 8: Comparar texp en valor absoluto con un valor tabulado tcri para un determinado nivel de significación (p) y un
número de datos de conjunto.
Si texp ≥ tcri el método no es selectivo ni específico y las interferencias de matriz si son significantes; 9
Si texp < tcri el método es selectivo y específico dentro del rango estudiado.
C) TRABAJAR CON LOS DATOS DEL PROCESO DE VERIFICACIÓN
DEL MODELO LINEAL

Paso 9: Calcular el intervalo de confianza;

/

Paso 10: Evaluar si el valor objetivo (0) se encuentra dentro del

intervalo de confianza.

Dt 0 Dt

1 / 2
* SD 1 / 2
* SD
n n

En el caso de que el intervalo de confianza no contenga al 0

significa que los niveles de los efectos de matriz son significantes y
el método presenta interferencias.

Paso 11: Graficar dentro del

intervalo de confianza los valores
individuales de Di. 10
Definición según
Sensibilidad (SE)
habilidad del método de referencia o método alternative para
detectar el analito
Especificidad (SP)
ISO 16140-1 habilidad del método de referencia o método alternative para
no detectar el analito

11
La ‘sensibilidad’ es la proporcion de muestras con una determinada condicion, p. ej., concentracion superior a la
concentracion de corte, que proporciona resultados positivos al analisis. La sensibilidad diagnostica es una
caracteristica fundamental del metodo cualitativo, que expresa su capacidad para detectar pequenas cantidades del
analito en una muestra, de manera que se obtenga la respuesta binaria Si/No para un nivel de probabilidad predefinido

*100
La ‘especificidad diagnostica’ es la proporcion de muestras sin condicion alguna, p. ej., concentración inferior a la
concentracion de corte, que dan resultados negativos al analisis cualitativo.

*100
12
 La selectividad de un metodo de medida
cualitativo es un concepto ordinal: la
extension en la que analitos distintos al
incluido en la especificacion interfieren en
el analisis. Esta característica fundamental
del método se puede definir también como
su capacidad para producir resultados que
no están influidos por efectos de matriz

Selectividad *100
Definición según

ISO 16140-1
DESVIACIÓN POSITIVE (PD): Resultado positivo (confirmado) del método alternativo cuando el correspondiente método de referencia tiene un
resultado es negative
13
DESVIACIÓN NEGATIVA: resultado negativo del método alternativo cuando el correspondiente método de referencia tiene un resultado es positivo
 CRITERIO DE
ACEPTACIÓN Y RECHAZO

Analice el comportamiento se la selectividad, sensibilidad y especificidad con el intervalo de verificación.

Para el caso de Verificación:

Si selectividad, sensibilidad y especificidad no están dentro del intervalo de verificación: el estudio tiene como conclusión que el
laboratorio
. no tiene las condiciones para demostrar consistencia con el método normalizado.
Si selectividad, sensibilidad y especificidad están dentro del intervalo de verificación: el estudio tiene como conclusión que el laboratorio
reúne todas las condiciones para demostrar consistencia con el método normalizado y se puede usar.

Para el caso de Validación:

Si selectividad, sensibilidad y especificidad no están dentro del intervalo de validación: el estudio tiene como conclusión que el
laboratorio no tiene las condiciones para demostrar consistencia con el uso previsto del método.
Si selectividad, sensibilidad y especificidad están dentro del intervalo de validación: el estudio tiene como conclusión que el laboratorio
reúne todas las condiciones para demostrar consistencia con el uso previsto del método. 14
 CRITERIO DE
ACEPTACIÓN Y RECHAZO
ESTUDIO EMPAREJADO
Número de Estudio de métodos emparejados Estudio de métodos no apareados Los métodos de referencia y
categorías
alternativos se realizarán, en la
(ND-PD (ND + PD) (ND – DP)
1 3 6 3 medida de lo posible, exactamente
2 4 8 4 con la misma muestra (misma
3 5 10 5
porción de ensayo).
4 5 12 5
5 5 14 5
6 6 16 6 ESTUDIO NO APAREADO
7 6 18 7 En este caso, deben usarse
8 6 20 7
. diferentes porciones de prueba
ND = número de muestras con resultados de desviación negativa en el nivel fraccionario L1.
provenientes del mismo lote o lote
PD = número de muestras con resultados de desviación positiva en el nivel fraccional L1.
de producto para los dos métodos
Se puede usar como criterio alternativo para estudio no apareado

15
 ROBUSTEZ
Definición según

Medida de la capacidad del método a permanecer

inalterado por variaciones pequeñas pero deliberadas
en los parámetros del método y proporciona una
indicación de su confiabilidad durante su uso normal.

• El objetivo de la prueba de robustez es optimizar el método analítico y describir que bajo las
condiciones establecidas (incluidas sus tolerancias) se pueden obtener resultados
suficientemente exactos con una alta seguridad, de manera que el procedimiento funcione
confiablemente si se utiliza en otros laboratorios o después de intervalos largos de tiempo.
• Un método es más robusto entre menos dependan los resultados del análisis de una
modificación en las condiciones de éste. Al desarrollar un nuevo método analítico debe
determinarse la modificación 16
Un método analítico es robusto si los resultados no son muy sensibles a
las variaciones en las condiciones experimentales.

Tales condiciones experimentales pueden ser:

• temperatura,
• duración de la extracción o agitación, t
• técnica de agitación,
• pH,
• pureza de los reactivos,
• entre otros

El método más conveniente para estimar la robustez es el denominado

“diseño factorial parcial de Youden y Steiner”, el cual con sólo 8
repeticiones se pueden variar y analizar 7 factores.

17
 DISEÑO EXPERIMENTAL PROPUESTO
ASTM E 1169

a) MODELO

• Yijk = la puntuación del sujeto bajo la combinación del i valor del

factor A, j del valor del factor B y k del valor del factor C.
• μ = la media común a todos los datos del experimento.
• αi = el efecto o impacto del j nivel de la variable de tratamiento A.
• ßj = efecto del j valor de la variable de tratamiento B.
• = efecto del k valor de la variable de tratamiento C.
• = efecto del m valor de la variable de tratamiento D.
• (αß)ij = ecto aleatorio de muestreo. 18
 DISEÑO EXPERIMENTAL PROPUESTO
ASTM E 1169

MODELO
Según la estructura del modelo son estimables siete efectos.

Por esa razón, se plantean tres hipótesis de nulidad relativas a la variable A,

variable B, variable C, variable D e interacción:
H0: α1 = α2 = 0
H0: ß1 = ß2 = 0
H0: 1 = 2 = 0
Test estadístico
H0: 1 = 2 = 0 Si t < tcri Los efectos no son significativos

Si t ≥ tcri los efectos son significativos

19
 DISEÑO EXPERIMENTAL PROPUESTO
ASTM E 1169
ARREGLO EXPERIMENTAL
k = N - 1 variables en N corridas,
donde N es un múltiplo de K=7; N=8

K=11;
N=12

20
 DISEÑO EXPERIMENTAL PROPUESTO
ASTM E 1169

Paso 1: Defina los 7 factores con dos niveles del estudio

Factor Descripción Nivel inferior (-) Nivel superior (+)

A Técnico H L

B Equipo (estufa incubación) E1 E2

C Temperatura incubación 36,5°C 37,5°C

D Medio de cultivo MC1 MC2

E Tiempo de incubación 23h 26h

-4 -6
F Dilución 10 10

G Condición de lectura En ambiente abierto Bajo campana de flujo laminar

Paso 2: Realice las mediciones bajo las condiciones del arreglo experimental por
replicado y en condiciones de repetibilidad 21
 DISEÑO EXPERIMENTAL PROPUESTO
ASTM E 1169
Paso 3: Calcule los efectos de cada factor con los resultados de las mediciones individuales
(x1, X2) y del promedio de las mediciones
Donde: A(+) es la respuesta o resultados cuando la variable de la cual se
desea conocer su efecto se encuentra en su nivel alto, mientras que A(-) es
la respuesta o resultados cuando la variable de la cual se desea conocer su
efecto se encuentra en su nivel bajo.

Paso 4: Calcule la desviación estándar de los efectos (datos del paso 3)

22
 DISEÑO EXPERIMENTAL PROPUESTO
ASTM E 1169
5. 2 Evaluación de la significancia de los efectos individuales (Según ASTM E 1169)
Paso 5: Calcular el valor de “t” para cada factor E como sigue

Evalúe los datos

Comparar t en valor absoluto con un valor tabulado tcri para un determinado
nivel de significación (p), un número de datos de conjunto y dos colas.

Si t < tcri Los efectos no son significativos y el método es robusto a los cambios
realizados.

Si t ≥ tcri los efectos son significativos; entonces es necesario identificar las

condiciones que deben ser cuidadosamente controladas y descubrir
aquellas circunstancias bajo las cuales se necesita un cuidado especial. 23
 DISEÑO EXPERIMENTAL PROPUESTO
ASTM E 1169
5. 3 Determinación de la ecuación de regresión

Paso 6: Determine los coeficientes de cada factor; , y establezca la ecuación de regresión

𝐶𝑜𝑒𝑓𝑖𝑐𝑖𝑒𝑛𝑡𝑒
Factor Descripción E MODELO DE ECUACIÓN DE LA REGRESIÓN

A Técnico -0.005 -0.00228

B Cantidad de HNO3 -0.004 -0.00188 Promedio = 0.46202 mg/l
C Estabilidad de HLC-Cu 0.040 0.01997
D Flujo de acetileno -0.007 -0.00349
E Corrección de fondo 0.009 0.00446
F Tiempo de integración -0.005 -0.00267
Volumen eliminado de agua durante la digestión Donde x1, x2, x3, x4, x5, x6 y x7 son las condiciones de los factores
G 0.003
(sometido a calentamiento de 50ml) 0.00140

24
[email protected]

25