Test h y k de Mandel en Excel para detectar datos anómalos

El siguiente artículo tiene como propósito mostrar como se puede construir en la aplicación Excel un gráfico que nos puede servir para identificar datos anómalos y datos cuestionables. El test h de Mandel es para detectar datos anómalos y cuestionables entre medias y el test k de Mandel es para detectar datos anómalos y cuestionables en la variación.

Como todas las pruebas de contrastes de hipótesis existe un estadístico de prueba y una función de densidad de probabilidad con la que éste se compara.

El estadístico de prueba h es el siguiente:

y su puntuación crítica es:

donde p es el número de laboratorios y t es la puntuación de una distribución t que depende del nivel de significancia y los grados de libertad.

 En Excel la puntuación t, con un nivel de confianza del 95%, se puede escribir como:

=distr.t.inv(0,05;p-1), donde p-1 corresponde a los grados de libertad

Por su parte, el estadístico de prueba k es el siguiente

y su puntuación crítica es:

donde p es el número de laboratorios y F es la puntuación de una distribución F que depende del nivel de significancia y los grados de libertad  entre grupos y los grados de libertad dentro de grupos.

En Excel, la puntuación F, con un nivel de confianza del 95%, se puede escribir como:

=distr.F.inv(0,05;p-1;(p-1)*(n-1)), , donde p-1 corresponde al número de grados de libertad entre grupos y n-1 al número de grados de libertad dentro de grupos.

Ejemplo de aplicación

Los siguientes son los datos extraídos de la norma ISO 5725-2 y que corresponden al contenido de azufre en carbón expresado en porcentaje. Son 8 laboratorios, los cuales debían reportar 3 réplicas para 4 niveles de concentración. Sin embargo, algunos laboratorios reportaron más de 3 réplicas. Por lo que el modelo correspondiente es no balanceado.

En Excel construimos una planilla de la siguiente manera:

:

donde SC corresponde a la suma de cuadrados de las diferencias entre las medias de cada laboratorio y la media de todos los laboratorios por cada nivel (desde las filas 9 a 12) y las celdas N4 a N7 corresponden a las medias de cada nivel.(filas 4 a 7) y pj es el número de laboratorios.

donde s_ij corresponde a la desviación estándar por cada nivel de cada laboratorio y SC es la suma de cuadrados de las deviaciones estándar de cada laboratorio (filas 27 a la 30).

Para la construcción de los gráficos en Excel, considerando Excel 365 o superior, se procede de la siguiente manera.

Gráfico h de Mandel en Excel

Seleccionar insertar gráfico; columnas 

Agregar 4 series; 

Series 1:  C14 a L14

Series 2:  C15 a L15

Series 3:  C16 a L16

Series 4:  C17 a L17

Luego: agregar las series correspondientes a los valores críticos

Series 5:  C20 a L20

Series 6:  C21 a L21

Series 7:  C22 a L22

Series 8:  C23 a L23

En editar seleccionar de C18 a L18.Aceptar y aceptar.

Luego, con el botón derecho del mouse sobre el gráfico seleccionar cambiar tipo de gráfico.

Ir a combinado y seleccionar columna agrupada - línea y en las series 5 a 8 cambiar a líneas y aceptar.

Hacer clic en eje x donde están los números de los laboratorios, botón derecho del mouse y seleccionar Dar Formato a eje > Opciones de eje > Etiquetas > En Posición de etiquetas seleccionar "Bajo".

Luego, colocar el cursor sobre el eje x (donde están los números de los laboratorios) y con el botón derecho del mouse seleccionar dar formato a eje > opciones del eje y en posición del eje seleccionar "En marcas de graduación".

Sobre la barra, colocar ancho del rango 500%, y el color escogido negro para cada barra.

Gráfico k de Mandel en Excel

Seleccionar insertar gráfico; columnas 

Agregar 4 series; 

Series 1:  C32 a L32

Series 2:  C33 a L33

Series 3:  C34 a L34

Series 4:  C35 a L35

Luego: agregar las series correspondientes a los valores críticos

Series 5:  C37 a L37

Series 6:  C38 a L38

En editar seleccionar de C31 a L31Aceptar y aceptar.

Luego, con el botón derecho del mouse sobre el gráfico seleccionar cambiar tipo de gráfico.

Ir a combinado y seleccionar columna agrupada - línea y en las series 5 a 8 cambiar a líneas y aceptar.

Hacer clic en eje x donde están los números de los laboratorios, botón derecho del mouse y seleccionar Dar Formato a eje > Opciones de eje > Etiquetas > En Posición de etiquetas seleccionar "Bajo".

Luego, colocar el cursor sobre el eje x (donde están los números de los laboratorios) y con el botón derecho del mouse seleccionar dar formato a eje > opciones del eje y en posición del eje seleccionar "En marcas de graduación".

Sobre la barra, colocar ancho del rango 500%, y el color escogido negro para cada barra.

Al final, se obtienen los siguientes gráficos de Mandel:

Interpretación de los gráficos

La línea entrecortada es el límite para 5% de significancia y la línea continua para el 1% de significancia.

Los datos son anómalos cuando la barra sobrepasa el 1% de significancia (es decir, la línea continua) y es cuestionable cuando la barra se encuentra entre la línea entrecortada y la continua superior.

Como se puede observar en el gráfico h, los laboratorios que se presentan como anómalos (diferencias significativas con respecto al resto de los laboratorios) son el 3 y 6, el cuarto nivel del laboratorio 3 y el segundo nivel del laboratorio 6. Sin embargo, el laboratorio 6 también presenta datos cuestionables en el nivel 1.

El gráfico k en cambio, que mide las diferencias dentro de grupos, es decir la variabilidad de los datos dentro de cada laboratorio, no presenta datos anómalos, solo presenta "datos cuestionables" (straggler en inglés) del laboratorio 5 en el nivel 3.

Referencias:

ISO 5725-2:2019 Accuracy (trueness and precision) of measurement methods and results — Part 2: Basic method for the determination of repeatability and reproducibility of a standard measurement method.

Pincha aquí para saber más acerca de los cursos que se ofrecen en 2023: CURSOS ONLINE

Control de calidad de las mediciones en Espectroscopia de absorción atómica

El siguiente artículo tiene por objetivo presentar los diferentes tipos de control de calidad que son necesarios para obtener lecturas confiables en espectroscopia de absorción atómica.

Control de la preparación de los estándares de calibración
En EAA, como en muchas técnicas en que se compara una señal versus una concentración, existen dos reglas de medidas, una regla fija, que en este caso corresponde a las absorbancias y una regla variable (que se ajusta a conveniencia en función de la primera) que corresponde a la concentración de la muestra expresada generalmente como mg/L o ug/L.
Específicamente, la que nos interesa para realizar nuestro control de calidad es la regla fija. Es decir, lo que debemos realizar es preparar soluciones estándares de calibración y contrastarla con las medidas en absorbancias, las cuales podemos obtener estadísticamente recopilando datos durante un cierto período de tiempo. Recordar que la sensibilidad (absorbancias) depende entre otras cosas de la matriz con que preparemos estas soluciones.
Ahora bien, la idea de esto, es que en la operación, cada analista prepare cada solución estándar aproximadamente de la misma manera y en forma correcta. Para esto, veamos el siguiente ejemplo.
Para preparar nuestras curvas de calibración para el elemento cobre a 324,8 nm se procedió a seguir las recomendaciones del fabricante del equipo. En este caso, se ajustó una solución 1,5 mg/L de cobre a 0,200 ua y se procedió a preparar los diferentes estándares de la curva y a obtener sus absorbancias. La siguiente tabla presenta un ejemplo de estos resultados.

Tabla 1.- Curva de calibración para el elemento cobre a 324,8 nm

Como se puede apreciar la curva de calibración no es estrictamente lineal, ya que se produce una desviación de la linealidad de aproximadamente un 5%, la cual no debería afectar la linealidad del método (cuestión que debiera demostrarse en la validación del método).

Con esto, el analista deberá preparar cada estándar de calibración y alcanzar las absorbancias que fueron definidas previamente. Para usar nuevamente estas soluciones, sólo deberá verificar que aun alcanza las tolerancias establecidas, de lo contrario deberá preparar soluciones estándares nuevos.

Control de la lectura

Para ello una recomendación es preparar un blanco y uno o dos estándares de calibración independiente de la curva o disponer de uno o dos materiales de referencia certificado. Estos deberán ser leídos de la misma forma que las muestras y deberán ser contrastados de acuerdo con su tolerancia. 

A continuación, se presenta un ejemplo del control de las lecturas en el el proceso de medición.

BK_L blanco de lectura

STD_L Estándar de lectura o MRC 

Es importante que las condiciones del equipo estén optimizadas, tales como; ajuste del flujo de gases, perfil de la llama, limpieza del mechero, cámara de pre-mezcla, nebulizador, energía de la lámpara, ajuste de la longitud de onda y slit,sistema óptico del equipo alineado y limpio, etc.

Control del volumen del material de vidrio

El volumen del material de vidrio que se usa para preparar los estándares de calibración; bureta, pipeta total, matraz de aforo, etc. deben ser calibrados de acuerdo con normas internacionales, como por ejemplo ISO 4787.
Una vez obtenido el volumen mediante constrastación con la masa, se debe proceder a aceptar o rechazar el material de vidrio de medición de acuerdo con las tolerancias establecidas por las normas ISO.
En las tablas siguientes se presentan estas tolerancias.

Tabla 2.- Capacidades, subdivisiones y error máximo permitido para buretas (ISO 385)

Tabla 3.- volumenes nominales y errores máximos permitidos para pipetas totales (ISO 648)

Tabla 4.- Dimensiones y errores máximo permitidos para matraces de aforo de cuello angosto (ISO 1042)

Si el material de vidrio no cumple con las tolerancias establecidas, entonces éste deberá ser descartado, de lo contrario podrá seguir usándose en la operación de rutina.


Referencias
ISO 4787:2010 Laboratory glassware -Volumetric instruments - Methods for testing of capacity and for use. Génova, Suiza.
ISO 385:2005 Laboratory glassware - Burettes
ISO 648:2005 Laboratory glassware - Single-volume pipettes
ISO 1042:1998 Laboratory glassware - One-mark volumetric flask

Pincha aquí para saber más acerca de los cursos que se ofrecen en 2023: CURSOS ONLINE

Estimación de la media robusta paso a paso

El siguiente artículo enseña como realizar el cálculo de la media robusta de una serie de datos mediante el método iterativo que se presenta en la norma ISO 5725-5, y que recibe el nombre de "Algoritmo A".

La idea central es usar un método alternativo o complementario al descarte de los datos anómalos de los test de Cochran, Grubbs, h y k de Mandel y otros.

A continuación, se presenta el método propuesto por ISO 5725-5 paso a paso.

Para ello, consideremos 9 datos correspondientes a una serie de un ensayo. Para estimar la media robusta los ordenamos de menor a mayor como sigue:

x1	17,570
x2	19,500
x3	20,100
x4	20,155
x5	20,300
x6	20,705
x7	20,940
x8	21,185
x9	24,140

Primero calculamos la media, la desviación estándar, la mediana (designada como x*) y la desviación estándar basada en la mediana, s*.

x1	17,570
x2	19,500
x3	20,100
x4	20,155
x5	20,300
x6	20,705
x7	20,940
x8	21,185
x9	24,140
Media	20,511
desv est	1,727
x*	20,300
s*	0,949

Para calcular s*, se procede como sigue

|x1 - x*|	2,73
|x2 - x*|	0,8
|x3 - x*|	0,2
|x4 - x*|	0,145
|x5 - x*|	0
|x6 - x*|	0,405
|x7 - x*|	0,64
|x8 - x*|	0,885
|x9 - x*|	3,84

Por lo tanto s* = 1,483*mediana |xi – x*| = 0,949

Para la primera iteración, aparece un nuevo término, que denotaremos j:

j = 1,5 s*. En este caso, j = 1,5*0,949 = 1,424

Iteración	0	1
j		1,424
x* - j		18,876
x* + j		21,724
x1	17,570
x2	19,500
x3	20,100
x4	20,155
x5	20,300
x6	20,705
x7	20,940
x8	21,185
x9	24,140
Media	20,511
desv est	1,727
x*	20,300
s*	0,949

Para calcular los términos x1 a x9 se procede como sigue:

Los valores extremos son x1 y x9.

Para el dato menor x1,

si x1 < (x* - j), entonces colocar (x* - j), de lo contrario repetir el valor x1

Para el dato mayor x9:

si x9 > (x* + j), entonces colocar x9, de lo contrario repetir el valor (x* - j)

El resto de los valores de x2 a x8 se vuelven a repetir en la siguiente columna.

Iteración	0	1
j		1,424
x* - j		18,876
x* + j		21,724
x1	17,570	18,876
x2	19,500	19,500
x3	20,100	20,100
x4	20,155	20,155
x5	20,300	20,300
x6	20,705	20,705
x7	20,940	20,940
x8	21,185	21,185
x9	24,140	21,724
Media	20,511
desv est	1,727
x*	20,300
s*	0,949

Luego, se calcula la media, desviación estándar y los valores de x* y s* para esta primera iteración.

Iteración	0	1
j		1,424
x* - j		18,876
x* + j		21,724
x1	17,570	18,876
x2	19,500	19,500
x3	20,100	20,100
x4	20,155	20,155
x5	20,300	20,300
x6	20,705	20,705
x7	20,940	20,940
x8	21,185	21,185
x9	24,140	21,724
Media	20,511	20,837
desv est	1,727	0,869
x*	20,300	20,387
s*	0,949	0,986

Para s* se procede calculando s* = 1,483*mediana  |xi - x*|

Lo mismo procede para la segunda, tercera, cuarta y quinta iteración.

La siguiente tabla muestra los resultados de 5 iteraciones: 

Iteración	0	1	2	3	4	5
j		1,424	1,478	1,515	1,540	1,558
x* - j		18,876	18,909	18,892	18,871	18,854
x* + j		21,724	21,866	21,921	21,951	21,970
x1	17,570	18,876	18,909	18,892	18,871	18,854
x2	19,500	19,500	19,500	19,500	19,500	19,500
x3	20,100	20,100	20,100	20,100	20,100	20,100
x4	20,155	20,155	20,155	20,155	20,155	20,155
x5	20,300	20,300	20,300	20,300	20,300	20,300
x6	20,705	20,705	20,705	20,705	20,705	20,705
x7	20,940	20,940	20,940	20,940	20,940	20,940
x8	21,185	21,185	21,185	21,185	21,185	21,185
x9	24,140	21,724	21,866	21,921	21,951	21,970
Media	20,511	20,837	20,407	20,411	20,412	20,412
desv est	1,727	0,869	0,890	0,905	0,916	0,924
x*	20,300	20,387	20,407	20,411	20,412	20,412
s*	0,949	0,986	1,010	1,027	1,039	1,047

De la cuarta y quinta iteración los valores de la media y x* no difieren o el cambio de x* y s* desde un cálculo a otro se hace pequeño. Por lo tanto, podemos asumir que la media robusta es 20,412.     

Referencia:

ISO 5725-5:1998 (corr 2005) Accuracy (trueness and precision) of measurement methods and results — Part 5: Alternative methods for the determination of the precision of a standard measurement method.  Pág. 35. 
ANALYST. DECEMBER 1989, VOL. 114 Robust Statistics- How Not to Reject Outliers. Part 1. Basic Concepts, pp 1693 a 1697.
ANALYST. DECEMBER 1989, VOL. 114 Robust Statistics- How Not to Reject Outliers. Part 2. Inter-laboratory Trials, pp 1699 a 1702.

Pincha aquí para saber más acerca de los cursos que se ofrecen en 2023: CURSOS ONLINE