PROCESO DE CONSTRUCCIÓN DE UN TEST PSICOMÉTRICO IV

PROCESO DE CONSTRUCCIÓN DE UN TEST PSICOMÉTRICO IV

En tres artículos anteriores presentados en este blog se exponen los principios que conducen el Proceso de Construcción de un Test Psicométrico (parte I, parte II y parte III). Continuando con este apasionante tema se desarrolla lo referente al  Análisis de opciones incorrectas para finalizar con la Corrección de los efectos del azar.

Análisis de opciones incorrectas de respuesta

Muy en relación con el análisis de ítems se encuentra el tema del estudio de los patrones de respuesta que se han dado a las diferentes alternativas de cada ítem. Para un ítem concreto de una prueba de rendimiento óptimo, lo ideal es que la alternativa seleccionada en mayor medida sea la correcta; cada una de las alternativas incorrectas del ítem debe también ser seleccionada por un número de personas que, aun siendo inferior al que selecciona la alternativa correcta, ratifique como adecuadas (como bien planteadas) dichas alternativas incorrectas.

Obsérvese los siguientes porcentajes de respuesta obtenidos en las diferentes opciones de tres ítems de un determinado test:

El patrón de respuestas obtenido para el ítem 1 es adecuado, pues la mayor parte de la muestra selecciona la alternativa correcta, mientras que las incorrectas son seleccionadas por un porcentaje parecido de personas. El ítem 2 seguramente no es muy adecuado, pues la muestra selecciona en mayor grado una alternativa incorrecta como la buena; al menos, habría que reformular esa alternativa incorrecta. Para el ítem 3, los problemas se refieren a dos alternativas incorrectas que apenas si son seleccionadas por la muestra; también habría que reformular esas dos opciones de respuesta.

Corrección de los efectos del azar

En los tests formados por ítems de opción múltiples de las que sólo una es correcta, podemos sobrestimar la puntuación directa de una persona dado que alguno de sus aciertos ha podido producirse por azar. El problema entonces consiste en establecer un procedimiento para descontar del número total de aciertos (A) los que se han producido por azar (A_a).

Si asumimos que, cuando no se conoce la respuesta correcta a un ítem, todas las alternativas de respuesta son equiprobables, la probabilidad de acertar al azar ese ítem se puede establecer como:

P (A_a) = 1/n

Siendo n el número de alternativas del ítem.

De la misma forma, la probabilidad de errar el ítem será:

P(E) = [1 - (1/n)] = [(n-1) / n]

Llamemos R_a el número de respuestas aleatorias que proporciona (es decir, el número de ítems que ha contestado sin saber la solución). De las R_a, algunas serán aciertos aleatorios (A_a) y otras serán errores (E). Nuestro objetivo es estimar los A_a para descontarlos del número total de aciertos que ha tenido en realidad la persona. Lo haremos de la siguiente forma: El número total de errores se puede establecer como el producto del valor R_a por la probabilidad de cometer un error:

Si se procede a despejar R_a de esta expresión, entonces puede estimarse a partir de datos conocidos (E y n).

Así: 

 

Siguiendo el mismo razonamiento, el número de aciertos aleatorios se puede estimar multiplicando el valor R_a por la probabilidad de cometer un acierto por azar (A_a):

Si realizamos las sustituciones oportunas, se puede llegar a estimar A_a:

Esta va a ser la fórmula para estimar A_a, a partir de los errores cometidos y del número de alternativas que tienen los ítems. Puede observarse que cada error se pondera por la expresión [1/(n-1)], lo que significa que por cada error hay que descontar el resultado de ese cociente: en tests de 2 alternativas de respuesta, hay que descontar 1 punto por cada error; en tests de 3 alternativas, hay que descontar 0,5 por cada error; en tests de 4 alternativas, hay que descontar 0,33 puntos por cada error; y así sucesivamente.

La puntuación directa corregida de una persona en el test se obtiene entonces haciendo:

X_c = A - A_a

Ejemplo: Un test de conocimientos del idioma inglés está formado por 140 ítems con 5 opciones de respuesta cada uno. A continuación se detallan el número de aciertos (A), errores (E) y omisiones (O) que obtuvieron 3 personas:

Atendiendo únicamente al número de aciertos obtenidos, parece claro que quien más inglés demostró saber es la persona 1, seguida de la 2 y en último lugar la persona 3. Sin embargo, corrigiendo los efectos del azar, obtenemos las puntuaciones directas corregidas siguientes:

Puede comprobarse que la corrección afecta sensiblemente al orden que se establece respecto al dominio del idioma inglés. Además, si se observa que la corrección hecha para la persona 3, se puede observar que no se le ha descontado nada; esto es debido a que no cometió ningún error.

Para una próxima entrega se estará desarrollando el tema referente al Modelo Clásico y Concepto de Fiabilidad

Para procesamiento, análisis e interpretación de test psicológicos y estudios cuantitativos puede contactarnos en el sitio http://www.plepso.com.ve

Hasta una próxima entrega.

OTROS ARTÍCULOS DE INTERÉS
PROCESO DE CONSTRUCCIÓN DE UN TEST PSICOMÉTRICO (I)	PROCESO DE CONSTRUCCIÓN DE UN TEST PSICOMÉTRICO (II)	PROCESO DE CONSTRUCCIÓN DE UN TEST PSICOMÉTRICO (III)

REFERENCIAS BIBLIOGRÁFICAS Y DOCUMENTALES

Amón J. (1984). Estadística para psicólogos. Probabilidad. Estadística Inferencial. Volumen 2. 3ª edición. Madrid: Pirámide.

Hambleton R.K, Swaminathan H. y H.J. Rogers (1991). Fundamentals of Item Response Theory. MMSS volumen 2. Londres: Sage.

Hambleton R.K. y Swaminathan H. (1985). Item Response Theory: Principles and applications. Boston: Kluwer.

Kerlinger, F. (1988). Investigación del Comportamiento. Segunda Edición. México. Editorial  McGraw-Hill.

López Pina, José Antonio (1995). Teoría de la respuesta al ítem: fundamentos. Barcelona: PPU. Barcelona.

Muñiz Fernández J. (1997). Introducción a la Teoría de Respuesta a los Items. Madrid: Pirámide.

Olea, J. y Ponsoda, V. (2003). Tests adaptativos informatizados. Madrid: UNED Ediciones.

Olea, J., Ponsoda, V. y Prieto, G. (1997). Tests informatizados. Madrid: Pirámide.

Ponsoda V., Olea J. y Revuelta J. (1994). ADTEST: A computer adaptive test based on the maximum information principle. Educational and Psychological Measurement, 57, 2, 210-221.

Reckase M.D. (1979). Unifactor latent trait models applied to multi-factor tests: Results and implications. Journal of Educational Statistics, 4, 207-230.

Renom J. (1993). Tests adaptativos computerizados. Fundamentos y aplicaciones. Barcelona: PPU.