TRANSFORMACIÓN DE BOX-COX CON EXCEL

Una de las herramientas más comunes que se usa en estadística para transformar datos no normales a datos normales es la famosa transformación de Box-Cox, que consiste en usar el siguiente estadístico como punto de partida, cuando λ ≠ 0.  

Donde Zi es el puntaje de una distribución normal estándar, G es la media geométrica, Yi son los datos originales y λ es un coeficiente que sirve para determinar la mejor ecuación para la transformación de los datos originales a datos que se pueden ajustar mejor a una distribución normal.

Cuando λ = 0 o muy próximo a 0, entonces, la transformación se puede calcular directamente por:

Para resolver esta ecuación de tipo iterativa y obtener un lambda óptimo, se procede de la siguiente manera.

Se fija un objetivo a minimizar que en este caso es la desviación estándar, la cual se obtiene para datos individuales a partir del rango móvil promedio y en el caso de subgrupos a partir del rango promedio, según la siguiente expresión:

Por lo tanto, la función objetivo, que es la desviación estándar estimada se minimiza cambiando el valor inicial de lambda.

Una vez terminada la iteración y obtenido el valor de lambda, éste se compara con los lambda de la siguiente tabla y se usa la expresión correspondiente más próxima. Por ejemplo, si el lambda obtenido es 1,7, se puede usar la expresión que corresponde a lambda = 2 para transformar los datos.

Aquí, Wi significa datos transformados.

Ejemplo en Excel

Antes de proceder a realizar estos cálculos en Excel, previamente se debe descargar el paquete estadístico SOLVER desde complementos de Excel. 

Archivo < Opciones < Complementos. En administrar hacer clic en IR, y luego clickear Solver y aceptar. El paquete estadístico quedará disponible en datos.

Para entender cómo se usa esta herramienta con Excel, supongamos que tenemos los siguientes datos, los cuales claramente no se ajustan a una distribución normal como se aprecia en el siguiente gráfico.

Si se realiza un test de normalidad a los datos, el p-valor Anderson Darling < 0,005

Para realizar la transformación, se deben colocar los siguientes datos en una planilla de Excel. En la columna A colocar los datos originales, y en la columna B calcular los Zi de acuerdo con la ecuación correspondiente, pero partiendo de la base de un valor inicial de iteración, que en nuestro ejemplo podría ser l = 0,5. Para calcular la desviación estándar (sigma) se debe proceder a calcular los rangos móviles de cada valor respecto del anterior en la columna C, luego calcular el rango móvil promedio, y ese valor dividirlo por d2 = 1,128 para obtener sigma. Ver la siguiente figura.

Una vez realizado todos estos cálculos se procede a usar la función SOLVER de Excel

Datos < Solver

Aquí de lo que se trata es minimizar el valor de sigma cambiando el valor de lambda, sujeto a la restricción de que lambda no puede ser mayor que 1. 

Las siguientes figuras muestran como completar los cuadros de diálogo para obtener el lambda que buscamos.

Colocando las siguientes restricciones

Aceptar, y en opciones colocar 500 iteraciones.

aceptar

Y finalmente, aceptar.

El resultado de lambda final para este ejemplo es 0,44. Como l = 0,44 está más próximo a l = 0,5. Por lo tanto, la transformación que procede es

Y los datos transformados serán

Los cuales según se puede ver en esta gráfica se ajustan mejor a una distribución normal que los datos originales.

Referencias:

(1) Solver - Soporte técnico de Microsoft

(2) Box-Cox Transformation | Real Statistics Using Excel (real-statistics.com)

(3) Curso "Estadística con Excel aplicado a procesos mneros" de Mauricio Arancibia G.

ENSAYO SOBRE LOS FUNDAMENTOS DE UN NUEVO MODELO DE QAQC

Ronald Fisher fue quien se dio cuenta que había que diferenciar entre población y muestra. Fue él, precisamente, quien introdujo los términos de parámetros (asociados a la población) y estadísticos (asociados a la muestra). A la vez, también se percató que los parámetros desconocidos, teníamos que "estimarlos" a partir de una muestra, proceso denominado "inferencia estadística".

Hasta aquí, tenemos una población con parámetros desconocidos, donde la estimación de los parámetros se hace a través de una muestra, cuyos términos a evaluar se denominan ahora "estadísticos". Y la inferencia estadística se denomina al proceso mediante el cual se hace afirmaciones válidas acerca de la población o proceso con base en la información contenida en una muestra.

Sin embargo, algo que no nos dicen los libros de estadística clásico o introductorio, la mayoría al menos, es que para poder estimar el valor del parámetro a partir de una muestra, debemos necesariamente realizar "MEDICIONES" sobre esta última. Y la inclusión de este nuevo factor en la estimación del parámetro, lo cambia todo, porque necesariamente se tiene que incorporar nuevas fuentes de ruido que hacen que la estimación se haga menos precisa.

De eso se trata este artículo, de identificar cuáles son esas fuentes de incertidumbres como tratarlas para obtener resultados que sean lo más óptimo posible.

ESTIMACIÓN DE LOS PARÁMETROS DE UNA POBLACIÓN EN AUSENCIA DE SESGO

En este primer apartado, vamos a tratar de la estimación de los parámetros, media y variación natural de la característica de interés, de una población, estática o dinámica (proceso), heterogénea u homogénea, entendiendo que si se trata de este último caso, la variación natural de la población se hace cero. y esta estimación la vamos a realizar en ausencia de sesgo para facilitar nuestro análisis del modelo.

Por lo tanto, la secuencia para realizar una estimación del parámetro en el mundo real es: 

POBLACIÓN - Muestreo - MUESTRA - Medición - RESULTADO

La siguiente figura corresponde a un modelo, todavía en calidad de borrador, que muestra tentativamente los factores involucrados en la estimación de parámetros de una población a través de una muestra. Lo que interesa aquí es estimar tanto la media como la variación de la característica en esa población.

Figura 1 - Estimación de la media de la característica de interés y la variación natural de la característica de interés en la población. La primera fila trata de la estimación de la media de la población, mediante x̄ . La segunda fila trata en cambio de la variación de los valores individuales, X

donde: 

      µ                 : Media de la población

      x̄                 : Media de la muestra

      σ_NAT (P)     : Variación natural de la población

      S_NAT (P)    : Variación natural de la muestra que representa a la de la población

      S_NAT (M)   : Variación natural asociada al muestreo

      S_NAT (SM) : Variación natural del sistema de medición

      S_NAT (T)     : Variación natural total

      S_x̄                : Variación debido a la estimación de la media (Error estándar de la media)

En esta figura, se presenta la estimación de la variación natural de la característica de la población considerando todas las etapas hasta obtener un resultado. Como se puede apreciar, en el proceso de muestreo se introduce una variación adicional que corresponde a la variación natural del muestreo. Sin embargo, en el proceso de medición se vuelve a introducir una nueva variación, que corresponde a la variación natural del sistema de medición. 

En todas estas etapas se han introducido variaciones que he denominado "natural" para diferenciarla de un cuarto componente, que no corresponde a la variación natural de las etapas anteriores, que es la que se asocia a la estimación del parámetro, en este caso, de la media poblacional.

Diferenciar entre variación natural y estimación del parámetro es importante por varias razones. 

1. Las variaciones naturales son constantes a estimar, no dependen del tamaño de muestra. En cambio, la variación debido a la estimación del parámetro depende fuertemente del tamaño de muestra.
2. La estimación del parámetro a través del estadístico sólo nos dice que tan confiables es el resultado obtenido. En cambio, la variación natural está asociada con la variabilidad de los procesos.

Veamos de qué depende cada variabilidad.

Variación asociada a la estimación de la media depende:

        a) de la variación natural total o de la variación natural de cada proceso, según corresponda

        b) del tamaño de muestra, n

        c) del Nivel de confianza, 1 - α

Variación natural asociada al sistema de medición depende:  

        a) de la variación asociada a equipos

        b) de la variación asociada a operadores

        c) de la variación asociada a método

        d) de la variación asociada a factores ambientales

        e) de otras fuentes

Variación natural asociada al muestreo depende:    

        a) de la variación asociada a las operaciones selectivas

            (debido al error fundamental, de segregación/agrupamiento, de delimitación, de extracción,

            de ponderación, de tendencia y/o cíclico)

        b) de la variación asociada a las operaciones no selectivas 

            (debido al error de preparación)

En resumen, la incertidumbre total, en ausencia de sesgo, asociada a un resultado va a depender de 4 variaciones que se suman.

1. De la variación natural de la población
2. De la variación natural del muestreo
3. De la variación natural del sistema de medición
4. De la variación asociada a la estimación de la media

Sin embargo, minimizar las diferentes fuentes de incertidumbre va a depender del objetivo que se persiga. A saber:

1. Si queremos que nuestra estimación de la media y de la variación natural de la característica de interés sea lo más precisa posible, entonces debemos minimizar las variaciones 2, 3 y 4. 
2. Y cuando nuestro objetivo, o nuestra población sea el sistema de medición, entonces, 1, 2 y 4 deberán ser insignificantes.
3. Si nuestro objetivo es estimar la media del sistema de medición en un proceso ya definido previamente, entonces deberán sumarse 3 y 4, pero en las condiciones y tamaño de muestra tal cual se usan en ese proceso. Y 1 y 2 deberán ser cero e insignificantes, respectivamente.
4. En otras ocasiones, se requerirá, la incertidumbre del sistema de medición más el muestreo en las condiciones y tamaño de muestra tal cual se usan en ese proceso. En este caso se deberán sumar 2, 3 y 4. Y 1 deberá ser cero.

Por lo tanto, la incertidumbre total respecto de la media de un resultado, en ausencia de sesgo, va a corresponder al semi-intervalo de tolerancia estadístico, el que deberá sumarse al semi-intervalo de confianza de la media, según corresponda. 

Referencias

1. Meeker, Hans, Escobar - Statistical Intervals_ A Guide for Practitioners and Researchers - Ed. 2017
2. Montgomery, Runger - Applied Statistics and Probability for Engineers, - 7ª Ed, 2018
3. Walpole, Myers, Myers, Ye - Probability & Statistics for Engineers & Scientists - Ed. 2016
4. Norma ISO 16269-6:2014 - Statistical interpretation of data — Part 6: Determination of statistical tolerance intervals - Ed 2014

ESTADÍSTICA DE DUPLICADOS PARA EL CONTROL DE CALIDAD DE MUESTRAS GEOQUÍMICAS

El presente artículo tiene por objeto mostrar la estadística que actualmente se usa en el tratamiento de los datos en muestras geoquímicas para determinar la precisión en condiciones de repetibilidad o reproducibilidad en base sólo a muestras duplicadas.

Algunos de los estadísticos más comunes que aparecen en este control, son, la media aritmética, la desviación estándar, el rango, el error relativo, el coeficiente de variación y la varianza relativa.

La siguiente tabla presenta un resumen de estos estadísticos en base sólo a pares de duplicados:

Nota (1). - X₁ es el dato original y X₂ es el dato duplicado.

Desde el punto de vista práctico, principalmente existen tres tipos de errores que deben ser considerados ya sea en la implementación y/o mantención de cualquier sistema de control de calidad; el error sistemático, el error aleatorio y el error grueso.

El error sistemático, es aquel error en donde los valores de las observaciones tienden a ser persistentemente más altos que la media esperada o persistentemente menor que esta. Las causas pueden ser variadas, como un equipo descalibrado, un material de referencia no válido, un método analítico no adecuado, temperaturas no controladas, etc. Este error puede ser corregido. 

El error aleatorio, en cambio, es aquel error donde los resultados individuales caen a ambos lados de la media, regidos sólo por el azar, de acuerdo con un tipo de distribución. Este error puede ser mejorado, pero nunca cancelado, ya que está asociado a las limitantes propias de cada proceso.

Por último, el "error grueso" o "error grosero" es aquel que está asociado a los errores personales, a las equivocaciones, tales como una mala transcripción de los datos, un intercambio de muestras, errores de tipeo, etc. Es decir, errores que son ajenos a la población o al proceso mismo. Estos errores se deben identificar, investigar sus causas y evitar su recurrencia a través de un sistema de calidad preventiva. Este error puede ser minimizado si se cuenta con un buen sistema de calidad.

Por lo tanto, con estos antecedentes, el objetivo de cualquier sistema de control de calidad es la de identificar estos tipos de errores y corregirlos y/o minimizarlos según corresponda.

A continuación, se presentan algunas herramientas de control que pueden ser útiles en la detección y corrección principalmente de este tipo de errores, pero que están asociados principalmente a la estadística de los pares de duplicados.

a) Análisis de la dispersión de duplicados

Los pares de datos, original y duplicado pueden ser analizados mediante un gráfico de dispersión, donde en el eje de la ordenada se coloca el valor duplicado y en el eje de la absisa, el valor original. 

Estos valores se plotean en este tipo de gráfico, y se traza una línea 1:1, de 45 grados respecto a la horizontal con el fin de visualizar si existen ciertos patrones que puedan caracterizar el conjunto de los datos, como, por ejemplo, verificar el tipo y magnitud de la dispersión respecto a lo esperado, presencia de error sistemático y/o presencia datos anómalos (outliers).

En el caso de usar un análisis de regresión a los datos pareados, para visualizar la existencia de sesgo estadístico, se debe partir de la base que, en el concepto de regresión, ambos pares no pueden ser tratados de la misma forma, ya que una de las variables debe definirse como aleatoria (variable respuesta) en función de la otra variable que es definida como fija (variable predictora). En nuestro caso, es el valor duplicado, la que se debe escoger como una variable aleatoria o variable respuesta y el valor original como fijo, y no viceversa.

Una desventaja de este gráfico, si se usan los límites de control tal cual se muestra en la figura, es que los valores de aquellas muestras con concentraciones cerca del límite de detección van a tender a ser rechazadas en circunstancias que pueden ser muestras completamente válidas. Para evitar esto último, se recomienda usar líneas de control de función hiperbólicas (Ver método hiperbólico).

b) Gráfico MIN-MAX

Este gráfico considera en el eje de la absisa colocar el valor mínimo y en el eje de las ordenadas el valor máximo correspondientes a un par de duplicados.

1. En Excel, disponer de los pares de resultados, por ejemplo, en una columna A el original y en una columna B el duplicado.
2. En una columna C, calcular el máximo por cada par de resultados
3. En otra columna D, calcular el mínimo por cada par de resultados
4. Plotear en un gráfico los valores máximos versus el mínimo
5. Considerar una recta 1:1 de 45°

c) Gráfico hiperbólico

Este método considera que, a bajas concentraciones, es altamente probable que muchas observaciones de muestras completamente válidas con el gráfico anterior pueden quedar fuera de los límites de control, debido a que a bajas concentraciones la dispersión de los resultados tiende a aumentar. Para evitar este problema, se construye este gráfico en la que el límite de control obedece a una función hiperbólica de la forma y² = x²m² + b², donde m es la pendiente, x es el valor mínimo de la observación y b el intercepto.

d) Análisis de la Diferencia relativa absoluta (ARD) versus el porcentaje de datos acumulados

Para construir esta relación en un gráfico, se debe estimar la diferencia relativa absoluta de los pares de duplicados y graficarlo en función del porcentaje acumulado como sigue:

1. Calcular el error relativo (diferencia relativa absoluta) para cada par de duplicados y colocarlo en una columna de Excel
2. Ordenar el error relativo de menor a mayor
3. En otra columna calcular el porcentaje de datos acumulados según la posición que tiene el error relativo.
4. Plotear en un gráfico el error relativo, en porcentaje versus el % de datos acumulados
5. Evaluar el desempeño de los datos duplicados en base al criterio previamente establecido para los diferentes tipos de duplicados.

Reglas recomendadas: 

Dup pulpas : >90 % de los datos con un ER<10%

Dup preparación -8#Ty: >90 % de los datos con un ER<20%

Dup terreno/Muestras gemelas: >90% de los datos con un ER<30%

e) Gráfico de la diferencia relativa versus la ley promedio

Otro de los gráficos que pueden ser útiles para ver el comportamiento de los datos es el de la diferencia relativa versus la ley promedio del elemento de interés. 

Regla

Lo que se espera es que, a bajas concentraciones la dispersión tiende a aumentar. Un patrón diferente estaría indicando que existe una causa asignable que debería ser investigada.

f) Análisis de la precisión de Howarth-Thompson

Este método, al igual que los gráficos de dispersión anteriores tiene por objeto establecer límites de control para rechazar aquellas observaciones (y muestras) que son inconsistentes con lo que se espera en el proceso. Estas muestras deberían ser nuevamente chequeadas en el laboratorio.

Para la construcción de este gráfico de control, la curva se obtiene a partir de datos históricos, donde el CV (Precisión de HT) se plotea en función de la concentración media.

El Control de calidad se puede efectuar en base al estadístico muestral ARD o HARD, que es representado por cada punto en el gráfico. Si El ARD o HARD, según corresponda es mayor al límite de la curva, entonces esa muestra se rechaza.

Nota. - Para más información sobre este estadístico, ver mi otro post: 

Estimación de la precisión mediante el estadístico de Howarth-Thompson

Cuantificación de la precisión

Para estimar la precisión de las diferentes etapas del proceso se deben tener en consideración las siguientes observaciones:

1. La precisión del proceso sólo tiene sentido si el proceso es estable y si está libre de observaciones anómalas que no pertenecen al proceso mismo. En otras palabras, está asociada al error aleatorio. Por lo tanto, es importante que para estimar la precisión deben eliminarse aquellos outliers, que no forman parte del proceso.
2. La precisión es función de la concentración. A medida que la concentración disminuye, el CV tiende a ser más grande. Por lo tanto, se recomienda para cuantificar y comparar la precisión a través del tiempo, hacerlo no sólo de una manera global, sino por rangos de concentración adecuados.
3. Si se quiere estimar la precisión de los duplicados de preparación, deberá entenderse que la precisión así obtenida en el laboratorio corresponde a la suma de la precisión de la preparación y del análisis. Por lo que para obtener la precisión sólo de la preparación de muestras, la precisión total deberá restarse a la precisión del análisis.
4. Si se quiere estimar la precisión de los duplicados de terreno, deberá entenderse que la precisión así obtenida en el laboratorio corresponde a la suma de la precisión del muestreo, de la preparación y del análisis. Por lo que para obtener la precisión sólo del muestreo, la precisión total deberá restarse a la precisión de la preparación y del análisis.
5. Hay dos formas de restar estas precisiones a la precisión total para obtener las precisiones de preparación y de terreno, a) haciéndolo de una manera aproximada, considerando una estimación media del análisis y preparación en el mes por ejemplo y b) considerando un modelo anidado de acuerdo con la siguiente figura. Aquí la forma de generar los duplicados de preparación es hacerlo sobre los duplicados de terreno ya existentes, y para generar los duplicados de análisis hacerlo sobre los duplicados a la vez de preparación ya existente

Para obtener una estimación de la precisión, la recomendación es hacerlo por niveles de concentración, ya que la precisión que engloba todas concentraciones del elemento de interés puede ir cambiando a través del tiempo, ya que las leyes pueden ir disminuyendo a medida que la mina va envejeciendo.

Una forma de medir esta precisión es calcular la varianza relativa por cada par de duplicados y al final estimar la precisión como coeficiente de variación promedio.

Referencias

1. Abzalov M – Applied Mining Geology-Springer International Publishing – Ed. 2016.
2. MRDI - Assay Quality Assurance Quality Control Program for drilling projects at the pre-feasibility report level – 3°Ed.2000
3. Thompson M, Howarth R. -Duplicate Analysis in Geochemical Practice. Part 1. Theoretical Approach and Estimation of Analytical Reproducibility. Ed 1976.
4. ISO 12744:2006 - Copper, lead, zinc and nickel concentrates — Experimental methods for checking the precision of sampling
5. Curso-Taller de Tratamiento de datos con Excel para Control de calidad aplicado a procesos mineros de Mauricio Arancibia G.

CARTAS DE CONTROL DE SHEWART PARA VALORES INDIVIDUALES EN EXCEL

La idea tradicional de inspeccionar el producto final y eliminar las unidades que no cumplen con las especificaciones una vez terminado el proceso, se reemplaza por una estrategia más económica de prevención antes y durante del proceso industrial con el fin de lograr que precisamente estos productos lleguen al consumidor sin defectos.

Así las variaciones de calidad producidas antes y durante el proceso pueden ser detectadas y corregidas gracias al empleo masivo de Gráficas de Control.

Según este nuevo enfoque, existen dos tipos de variabilidad. El primer tipo es una variabilidad aleatoria debido a "causas al azar" o también conocida como "causas comunes". El segundo tipo de variabilidad, en cambio, representa un cambio real en el proceso atribuible a "causas especiales", las cuales, por lo menos teóricamente, pueden ser identificadas y eliminadas.

Los gráficos de control ayudan en la detección de modelos no naturales de variación en los dato que resultan de procesos repetitivos y dan criterios para detectar una falta de control estadístico. Un proceso se encuentra bajo control estadístico cuando la variabilidad se debe sólo a "causas comunes".

Los gráficos de control de Shewart son básicamente de dos tipos; gráficos de control por variables y gráficos de control por atributos. Para cada uno de los gráficos de control, existen dos situaciones diferentes; a) cuando no existen valores especificados y b) cuando existen valores especificados.

Se denominan "por variables" cuando las medidas pueden adoptar un intervalo continuo de valores; por ejemplo, la longitud, el peso, la concentración, etc. Se denomina "por atributos" cuando las medidas adoptadas no son continuas; ejemplo, tres tornillos defectuosos cada cien, 3 paradas en un mes en la fábrica, seis personas cada 300, etc.

Antes de utilizar las cartas de control de valores individuales por variables, debe tenerse en consideración lo siguiente:

1. Los datos deben ser continuos
2. Los datos deben estar en orden cronológico
3. Los datos se deben recolectar en intervalos de tiempo igualmente espaciados
4. Los datos deben ser observaciones individuales que no se recolectan en subgrupo
5. Los datos deben incluir al menos 100 observaciones totales
6. Los datos deben ajustarse a una distribución normal o aproximadamente normal
7. Las observaciones no deben estar correlacionadas entre sí 

Las etapas que deben tomarse en cuenta para mejorar el proceso están esquematizadas en la siguiente figura:

Para construir una carta de control, se parte de la base que el proceso debe ajustarse a algún tipo de distribución y que el comportamiento de los datos a través del tiempo debe ser aleatorio. Si la distribución de los datos se puede ajustar a una normal, entonces los límites de control será la consignada en la siguiente expresión:

donde LC son los Límites de control, μ es la media poblacional, sigma la desviación estándar poblacional y 3 corresponde al número de desviaciones estándar, cuyo intervalo +/- 3 respecto de la media concentra el 99,73% de los datos.

Nota.- En estadística se sabe que s no es un buen estimador de sigma, porque es insesgado, y además para estimar sigma a partir del rango móvil promedio, para esta estimación, el rango móvil promedio cada dos observaciones consecutivas se dividide por un factor d2 que es igual a 1,128.

Cartas de control de valores individuales por variables sin especificación en Excel

Si las cartas no usan especificaciones, entonces se puede usar la media aritmética y la desviación estándar del mismo proceso.

A continuación, se presenta la forma como se pueden construir estas cartas en Excel

El siguiente ejemplo utiliza 50 datos de contenido de hierro, expresado en porcentaje, que corresponde a los valores obtenidos de un material de referencia ensayado en un laboratorio en particular:

Datos:

Cálculos en Excel:

Con estos datos, podemos construir las cartas de control respectivas.

Insertar > Gráficos > Dispersión. Luego seleccionar datos:

Para los datos, agregar serie, en el eje x colocar A2:A51. En el eje y colocar B2:B51. Aceptar

Para la media, agregar serie, en el eje x colocar H5:H6. En el eje y colocar I5:I6. Aceptar

Para el LIC, agregar serie, en el eje x colocar H5:H6. En el eje y colocar J5:J6. Aceptar

Para el LSC, agregar serie, en el eje x colocar H5:H6. En el eje y colocar K5:K6. Aceptar

Aceptar.

Hacer clic sobre el punto de la media en el gráfico, botón derecho del mouse, dar formato a serie de datos, tacho de pinturas, líneas, línea sólida, rojo. Luego sin salir de la línea, ir a marcador, opciones del marcador, colocar ninguno.

Hacer clic sobre el punto del LIC, botón derecho del mouse, dar formato a serie de datos, tacho de pinturas, líneas, línea sólida, azul. Luego sin salir de la línea, ir a marcador, opciones del marcador, colocar ninguno.

Hacer clic sobre el punto del LSC, botón derecho del mouse, dar formato a serie de datos, tacho de pinturas, líneas, línea sólida, azul. Luego sin salir de la línea, ir a marcador, opciones del marcador, colocar ninguno.

Hacer clic sobre los puntos de los datos, ir a líneas, línea sólida, en ancho colocar 0,75 pt. Ir a marcador, en borde colocar ninguno y en relleno colocar el color a elección.

Hacer clic sobre el eje x, dar formato eje, en mínimo colocar 1 y en máximo colocar 51.

Carta de rango móvil

Para la carta de Rango móvil, se parte de la base que como son valores individuales, el rango se calcula a partir de la diferencia absoluta de dos observaciones consecutivas. 

El límite superior se calcula según la siguiente expresión:

LSC = D4 x RM prom

donde D4 es un factor igual a 3,267.

Para construir la carta de control rango móvil:

Insertar > Gráficos > Dispersión. Luego seleccionar datos:

Para los datos, agregar serie, en el eje x colocar A2:A51. En el eje y colocar C2:C51. Aceptar

Para el LSC, agregar serie, en el eje x colocar H5:H6. En el eje y colocar M5:M6. Aceptar

Aceptar.

Hacer clic sobre el punto del LSC, botón derecho del mouse, dar formato a serie de datos, tacho de pinturas, líneas, línea sólida, rojo. Luego sin salir de la línea, ir a marcador, opciones del marcador, colocar ninguno.

Hacer clic sobre los puntos de los datos, ir a líneas, línea sólida, en ancho colocar 0,75 pt. Ir a marcador, en borde colocar ninguno y en relleno colocar el color a elección. Aceptar 

Hacer clic sobre el eje x, dar formato eje, en mínimo colocar 1 y en máximo colocar 51.

Test de Nelson para detectar causas especiales

La siguiente tabla muestra aquellas condiciones que dan cuenta cuando un proceso se encuentra fuera de control estadístico, en la cual se debe tomar una acción correctiva o preventiva según corresponda.

Referencias

1. ISO 7870-2:2023 Control charts - Part 2: Shewhart control charts
2. Alwan L. - Statistical Process Analysis - Ed. 2000
3. Minitab 21 referencia
4. Curso de Control de calidad con Excel de Mauricio Arancibia G. - Ed. 2023

 

NO CONFUNDAS INTERVALOS DE CONFIANZA CON INTERVALOS DE TOLERANCIA ESTADÍSTICO

Uno de los grandes errores que se comete en el mundo de la ingeniería y de las ciencias es confundir estos dos tipos de intervalos.

La mayoría de los usuarios de métodos estadísticos están familiarizados con los intervalos de confianza (comunes) para la media de la población y para la desviación estándar de la población, pero a menudo no para los cuantiles de la población o la probabilidad de exceder un valor umbral especificado. A pesar de que algunas personas, especialmente en la industria, también conocen los intervalos de tolerancia, tienden frecuentemente a confundir estos intervalos, calculando un intervalo de confianza para contener la media poblacional cuando el problema requiere un intervalo de tolerancia o un intervalo de predicción.

Este artículo tiene por objeto, mostrar cuáles son esas diferencias y como se aplican en el mundo real.

Pero primero partamos definiendo qué entendemos por intervalo de confianza y qué entendemos por intervalo de tolerancia estadístico.

Un Intervalo de confianza, IC, es un intervalo donde podemos suponer de manera razonable que se encuentra el valor verdadero. Y cuando hablamos de un IC del 95% lo que estamos diciendo es que, si el experimento se repitiera varias veces, existe la probabilidad de que el 95% de esos intervalos pueda contener el valor verdadero.

En palabras simples, la longitud de ese intervalo es una medida de la precisión de la estimación del parámetro a través del estadístico.

En cambio, un intervalo de tolerancia estadístico (o simplemente intervalo de tolerancia para muchos textos), IT, es un intervalo que contiene una proporción específica de una población con un nivel de confianza establecido.

Para entender ambos conceptos, supongamos que tenemos un contenedor que contiene un cierto tipo de mineral, cuya característica de interés se encuentra uniformemente diseminado en el medio y que este lote lo podemos ver como una población probabilística (lotes de 0-D en la teoría de Pierre Gy), y estamos interesados en saber 2 cosas respecto de él:

Pregunta a) Cual es el contenido de arsénico medio en gpt; y

Pregunta b) Cuál es su variabilidad o dispersión en ese contenedor

Supongamos que los datos se pueden ajustar a una distribución aproximadamente normal, por lo tanto, para estimar los respectivos parámetros (valores que son desconocidos para nosotros) en a) podemos usar la media aritmética muestral para estimar la media poblacional μ, y para b) podemos usar la desviación estándar muestral para estimar la desviación estándar poblacional, σ.

Pero, también podemos hacer dos preguntas adicionales acerca de los datos del contenido de arsénico del contenedor:

Pregunta c) Qué tan confiable es el valor medio de arsénico reportado y

Pregunta d) Qué tan confiable es la desviación estándar de arsénico reportada.

Para las preguntas a y b estamos ante la presencia de estimaciones puntuales. Existe una estimación puntual para la media y una estimación puntual para la desviación estándar. Pero como la estimación puntual es un solo número, el hecho de repetir varias veces este experimento, vamos a obtener diferentes estimaciones puntuales y dependiendo del tamaño de muestra elegido esas diferencias podrían ser grandes o pequeñas. Por ello, la respuesta a las preguntas c y d están relacionadas con otro tipo de estimación; la estimación por intervalos (o intervalos de confianza) de la media y la estimación por intervalos (o intervalos de confianza) de la desviación estándar.

Sin embargo, todavía podemos hacer una quinta pregunta diferente a las anteriores:

Pregunta e) Cuáles son los valores extremos de contenido de arsénico que se presentan en el contenedor, que equivale a preguntar en qué intervalo se presenta el contenido de arsénico. Pero también podríamos preguntar por una proporción específica, no necesariamente sus extremos.

Partiendo de la base que se trata de un material heterogéneo, (y que la variabilidad del sistema de medición (conformada por operador, equipos y otros factores) es despreciable. La respuesta a e) corresponde a estimar el intervalo de tolerancia estadístico. Pero como igual debemos tomar una muestra, la respuesta más precisa obedece al área de las probabilidades. Es decir, igual debemos establecer un nivel de confianza dado para entregar esa proporción.

Matemáticamente equivale a estimar en forma simultánea μ y σ, que son desconocidos. Y eso se hace a través del factor k de la siguiente expresión:

donde k es un factor que se puede obtener de tablas estadísticas y depende de alfa y del tamaño de muestra.

 

Demostración de las diferencias entre IC e IT

Para realizar una demostración de las diferencias entre ambos intervalos, vamos a partir del principio que, si el tamaño de muestra tiende a infinito, la estimación de μ con la media muestral y de σ con s coinciden respectivamente.

Matemáticamente, si queremos calcular el intervalo de tolerancia estadístico del 95% para una muestra con media = 100 y desviación estándar = 5 para un número infinito de observaciones, no importa el nivel de confianza. El resultado es:

IT = 100-1,96*5, 100 + 1,96*5 = (90.2, 109.8)

En cambio, para el intervalo de confianza de la media y de la desviación estándar (no importa el nivel de confianza escogido) el resultado es cero.

IC para la media = (100.0, 100.0) que es equivalente a 100 +/- 0

IC de la desv. estándar = (5.0, 5.0)

El siguiente ejercicio se realizó usando el software Minitab. Se tomó una muestra lo suficientemente grande para que estas estimaciones de μ y σ sean lo más confiable posible. Se generaron 10.000.000 de números aleatorios para una distribución normal con media = 100 y desviación estándar = 5.

Con estos datos se realizó una estimación por intervalos con diferentes niveles de confianza; 0,90, 0,95 y 0,99.

Como se puede apreciar con tamaños de muestra muy grandes, los límites de confianza inferior y superior son muy semejantes. Es decir, el intervalo de confianza es demasiado pequeño.

Lo mismo se realizó para la estimación por intervalo de la desviación estándar.

donde se aprecia que los límites de confianza inferior y superior son semejantes, independientes del nivel de confianza,

Ahora bien, al calcular el intervalo de tolerancia estadístico para 10.000.000 de observaciones generadas aleatoriamente con diferentes niveles de confianza encontramos que los valores no dependen del nivel de confianza porque tienden a converger a un valor específico. 

Conclusión, el intervalo de tolerancia estadístico tiende a una proporción constante cuando n tiende a infinito, no importa el nivel de confianza.

En cambio, el intervalo de confianza tiende a ser cero.

Aplicaciones en el mundo real.

El siguiente ejemplo tiene por objetivo a ayudarnos a clarificar estas diferencias.

Tema. - Un material de referencia elaborado en un laboratorio para el elemento hierro.

Descripción. - Un material que es preparado en un laboratorio como material de referencia y que ese mismo material es ensayado diferentes veces por diferentes operadores, en diferentes días para obtener una media (valor asignado al MR) y una desviación estándar para ese laboratorio.

Datos; 

Objetivos:

Pregunta a) Cuál es el contenido medio de hierro en el Material de referencia. Esto equivale a determinar la media aritmética, que corresponde al valor central de los datos.

Respuesta: X barra = 12,51% Fe

Pregunta b) Cuál es su variabilidad o dispersión. Esto equivale a determinar la reproducibilidad media a través de la desviación estándar, que corresponde a la variación debida al sistema de medición, partiendo de la base que la no homogeneidad del MR es despreciable y que toda la variabilidad se deba al sistema de medición (operadores, equipos, método, otros factores).

Respuesta:  s =0,18% Fe

Pregunta c) Qué tan confiable es el valor medio de hierro reportado. Esto equivale a realizar una estimación por intervalos de la media, que es lo mismo que determinar el intervalo de confianza de la media. 

Respuesta: (12,47 a 12,54) % Fe con un 95% de confianza

Eso equivale al semi-intervalo +/- 0,03% Fe

Pregunta d) Qué tan confiable es la desviación estándar de hierro reportado. Esto equivale a realizar una estimación por intervalos de la desviación estándar, que es lo mismo que determinar el intervalo de confianza de la desviación estándar.

Respuesta: (0,16 a 0,21) % Fe con un 95% de confianza

Pregunta e) Cuáles son los valores extremos de contenido de hierro que se obtuvieron en la estandarización (asociado al sistema de medición).  Pero también podríamos preguntarnos por una proporción específica. Esto equivale a preguntar cuál es el intervalo de tolerancia estadístico.

Respuesta: Con un 95 % de confianza (1 - α = 0,95), se puede afirmar que el 95% de los valores (p = 0,95) producto del sistema de medición cubren un intervalo que va desde 12,11 a 12,91 % Fe. 

Con un 95% de confianza, se puede afirmar que el 99% de los valores se encuentran entre 11,98 a 13,04 % Fe.

Referencias

(1) Meeker, Hans, Escobar - Statistical Intervals_ A Guide for Practitioners and Researchers - Ed. 2017

(2) Montgomery, Runger - Applied Statistics and Probability for Engineers, - 7ª Ed, 2018

(3) Walpole, Myers, Myers, Ye - Probability & Statistics for Engineers & Scientists - Ed. 2016

(4) Norma ISO 16269-6:2014 - Statistical interpretation of data — Part 6: Determination of statistical tolerance intervals - Ed 2014

(5) Curso de Estadística con Excel aplicado a procesos mineros de Mauricio Arancibia G.

Pincha aquí para saber más acerca de los cursos que se ofrecen en 2023: CURSOS ONLINE

POTENCIA Y TAMAÑO DE MUESTRA PARA LA PRUEBA Z DE 1 MUESTRA EN EXCEL

Uno de los grandes problemas que el profesional e investigador enfrenta diariamente al usar pruebas estadísticas es asegurar que su resultados y conclusiones sean confiables. En la estadística frecuentista equivale a validar los supuestos subyacentes y a determinar el tamaño de muestra mínimo para que sus resultados sean válidos (aparte de considerar otros factores).

En la prueba z de 1 muestra, lo que se desea determinar es que tan significativa es la diferencia entre la media de una muestra y un valor de referencia cuando sigma es conocido. 

(Ojo, en estadística el concepto de muestra se refiere a un conjunto de observaciones que lo asociamos a alguna característica de interés para nuestro estudio)

El contraste de hipótesis es:

Prueba bilateral: 

H₀ : μ = μ₀ vs H₁: μ ≠ μ₀

Prueba unilateral

H₀ : μ ≤ μ₀ vs H₁: μ > μ₀

H₀ : μ ≥ μ₀ vs H₁: μ < μ₀

Para el criterio de rechazo se pueden usar cualquiera de los siguientes tres métodos alternativos que son equivalentes; el método del puntaje, el método de la probabilidad o el intervalo de confianza. 

Pero, las conclusiones de esta prueba además van a depender de la interrelación de 5 factores; el tamaño de la muestra, la variabilidad de los datos, la diferencia que se quiere detectar, la potencia de la prueba (asociada al error tipo II) y el error tipo I.

Vamos por parte, que es el error tipo I y el error tipo II.

Cuando repetimos un experimento varias veces, los resultados que obtenemos (los datos), nunca van a ser iguales, estamos en el campo de las probabilidades y aquí podemos cometer dos tipos de errores;

El error tipo I, expresado como probabilidad alfa; es la probabilidad de rechazar la hipótesis nula cuando la hipótesis nula es cierta.

El error tipo II, expresado como probabilidad beta, es la probabilidad de no rechazar la hipótesis nula cuando la hipótesis nula es falsa.

La potencia de la prueba, en cambio, es la probabilidad de rechazar la hipótesis nula cuando la hipótesis nula es falsa. Esto último nos estaría dando un indicador de que tan sensible es una prueba para detectar una diferencia específica. Valores del 80% hacia arriba se considera bueno, sobre el 90% aún mejor.

Determinación de la potencia de la prueba z de 1 muestra en Excel 

En resumen, para determinar la potencia de una prueba tenemos que considerar que ésta depende de los siguientes factores:

1.- El tipo de prueba estadística

2.- Si la prueba es unilateral o bilateral

3.- la probabilidad alfa

4.- El tamaño de la muestra, n

5.- La diferencia que deseamos detectar

6.- la variabilidad de los datos

Por lo tanto, las ecuaciones que determinan la potencia son:

Para una prueba bilateral:  H₁: μ ≠ μ₀

Para una prueba unilateral:  H₁: μ > μ₀ 

Para una prueba unilateral:  H₁: μ < μ₀ 

A continuación, se presenta como puede determinarse la potencia de la prueba z de 1 muestra en Excel.

Los datos de entrada se escriben en una pestaña en Excel que denominaremos "salida" (Ver figura 2). En la segunda pestaña denominada "calculo" es donde se realizan los cálculos respectivos (Figura 1) 

Figura 1.- Hoja de cálculo para determinar la potencia de la prueb

En la pestaña salida, es donde se anotan los datos y se despliega el resultado. En la siguiente figura se muestra la potencia obtenida para una prueba bilateral

Figura 2.- Hoja donde se escriben los datos de entrada; n, alfa, sigma y diferencia a detectar.

Las hipótesis alternativas que se presentan en el cuadro verde de la Figura 2 se construye a partir de los controles de formularios de Excel, que se ubican en; programador > Insertar > controles de formulario > botón de opción (control de formulario).

Una vez colocado esos botones, con el botón derecho del mouse se debe teclear Formato de control

Figura 3.- Menú para ingresar a Formato de control

Una vez en formato de control, se debe vincular a la celda respectiva de la pestaña calculo, tal como se muestra en Figura 4.

Figura 4.- Cuadro de diálogo del Formato de control

Y con esto deberían aparecer los resultados en la hoja de salida, de la Figura 2.

Determinación del tamaño de muestra para la prueba z de 1 muestra en Excel

Para determinar el tamaño de muestra, tenemos que considerar, que ésta depende de los siguientes factores:

1.- El tipo de prueba estadística

2.- Si la prueba es unilateral o bilateral

3.- la probabilidad alfa

4.- La potencia de la prueba

5.- La diferencia que deseamos detectar

6.- la variabilidad de los datos

Por lo tanto, las ecuaciones que determinan el tamaño de muestra son:

Para las pruebas unilaterales:

donde:

Para la prueba bilateral:

Se debe usar un método iterativo para encontrar n. En Excel se puede recurrir a la función BUSCARV.

A continuación, se presenta como puede determinarse el tamaño de muestra para la prueba z de 1 muestra en Excel.

Los datos de entrada se escriben en la pestaña en Excel que se denomina "salida" (Ver figura 6). En la segunda pestaña denominada "calculo" es donde se realizan los cálculos respectivos (Figura 5)

Figura 5.- Hoja de cálculo para determinar el tamaño de muestra

En la pestaña salida, es donde se anotan los datos y se despliega el resultado. En la siguiente figura se muestra el tamaño de muestra mínimo que se requiere para una prueba bilateral.

Figura 6.- Hoja donde se escriben los datos de entrada; potencia, alfa, sigma y diferencia a detectar.

Las hipótesis alternativas que se presentan en el cuadro verde de la Figura 6 se construye a partir de los controles de formularios de Excel, que se ubican en programador > Insertar > controles de formulario > botón de opción (control de formulario).

Una vez colocado esos botones, con el botón derecho del mouse se teclea Formato de control

Figura 7.- Menú para ingresar a Formato de control

Y se vincula a la celda respectiva de la pestaña calculo, en este caso relacionada con el tamaño de muestra

Figura 8.- Cuadro de diálogo del Formato de control

Por último, en la pestaña iterativo z, se presenta el método iterativo para determinar el tamaño de muestra para una prueba bilateral.

Figura 9.- Hoja de cálculo donde se presenta el método iterativo para obtener el tamaño de muestra para una prueba bilateral

Figura 10.- Hoja de cálculo donde se presenta el método iterativo para obtener el tamaño de muestra para una prueba bilateral

Se debe tener presente, que para el resto de las pruebas como t de 1 muestra, test de 1 varianza, t de 2 muestras independientes, t de muestras pareadas, ANOVA de 1 factor, etc. cada una de ellas tiene su propio cálculo de potencia y tamaño de muestra.

Referencia

(1) Métodos y fórmulas para Potencia y tamaño de la muestra para Z de 1 muestra - Minitab

(2) Montgomery D., Runger G., “Applied Statistics and Probability for Engineers”, 7° Ed. 2018

(3) Curso-taller Estadística con Excel aplicado a procesos mineros

Pincha aquí para saber más acerca de los cursos que se ofrecen en 2023: CURSOS ONLINE

PRUEBA DE KRUSKAL-WALLIS CON EXCEL

Esta prueba es alternativa al test de ANOVA para ver si existen diferencias entre las medias cuando los datos no se ajustan a una distribución normal. Pero como corresponde a un método no paramétrico, lo que se comparan son las medianas.

Contraste de Hipótesis:

H0: las k muestras provienen de la misma población

H1: Al menos una muestra proviene de una población con una mediana diferente a las demás

Estadístico de prueba:

donde:

n: es el tamaño de la muestra

R: es el orden asignado (ranking según KW)

Criterio de rechazo:

Si p-valor < α, entonces se rechaza la hipótesis nula.

Requisitos para la prueba:

1. La muestra debe ser aleatoria simple
2. Los datos deben tener un factor categórico
3. La respuesta debe ser continua
4. Los datos de todos los grupos deben tener distribuciones con una forma similar

El siguiente ejemplo ilustra como puede construirse un estadístico de Kruskal-Wallis en Excel.

Los siguientes datos corresponden a una ronda intralaboratorio, donde 6 analistas ensayan en forma independiente un material de referencia en sextuplicado. Determinar si las medianas de los analistas son iguales o si al menos una de ellas difiere, con un nivel de confianza del 95%.

Este estadístico, lo que hace es asignar un número de orden a cada valor, ya sea en forma descendente o ascendente. Si dos o más de los valores son iguales, se dice que se registra "un empate". En este caso, se asigna a esos valores repetidos el promedio resultante.

En Excel, para realizar esa operación existe una función que se denomina jerarquia.media.

=JERARQUIA.MEDIA(número;referencia;[orden]).

Número: es el valor al que hay que asignarle un orden

referencia: es el intervalo de valores (todos)

[orden]: 0 significa descendente y 1 ascendente.

Finalmente, para obtener H, el estadístico de Kruskal-Wallis y el p-valor, se procede de acuerdo con la siguiente figura.

Conclusión.

Como el nivel de confianza es del 95%, alfa = 0,05.

Por lo tanto, como p-valor < 0,05, se rechaza la hipótesis nula. Es decir, al menos una de las medianas difiere.

Referencia: 

[1] E.L. Lehmann (1975). Nonparametrics: Statistical Methods Based on Ranks, Holden-Day.

[2] M. Hollander and D.A. Wolfe (1973). Nonparametric Statistical Methods, John Wiley & Sons, Inc.

Pincha aquí para saber más acerca de los cursos que se ofrecen en 2023: CURSOS ONLINE