¿Son realmente tan felices los estudiantes en Costa Rica?

En este caso el programa PISA no contribuye a tomar decisiones correctas, sino que más bien puede llevar a análisis incorrectos, no fundamentados, y sobre los cuales no es prudente realizar conclusiones.


  • Facebook (Compartir)
  • Tweetea!
  •  

En el tercero de los informes principales publicados por la OCDE con los resultados de la evaluación internacional de estudiantes PISA 2012 (Ready to Learn. Students’ Engagement, Drive and Self-Beliefs), el director del programa, los analistas y estadísticos de PISA cometen un error al publicar un gráfico titulado “Porcentaje de estudiantes que reportaron sentirse felices en sus colegios”.

Este gráfico fue creado con base en un ítem del cuestionario que completaron los estudiantes de 15 años de una muestra representativa de estudiantes de secundaria en 64 países, en el cual tenían que reportar el grado en el que se encontraban de acuerdo o no con la frase “Me siento feliz en mi colegio”, y cuyas opciones eran 1-fuertemente de acuerdo, 2-de acuerdo, 3-en desacuerdo y 4-fuertemente en desacuerdo.

Según el gráfico publicado (combinando las opciones de fuertemente de acuerdo y de acuerdo), el porcentaje de estudiantes que afirman sentirse felices varía desde un mínimo de 60% en la República de Corea y hasta un máximo de 95% en Indonesia. La mayoría de países latinoamericanos participantes se encuentran en la primera mitad del “ranking de estudiantes felices”, con altos porcentajes, como Perú (94%), Colombia (92%), Costa Rica (91%), México (90%), Uruguay (87%) y Chile (85%).

Sin embargo, los datos publicados están totalmente sesgados debido a un error básico en el cálculo de las estimaciones: no se están tomando en cuenta los valores perdidos o inválidos.

Un valor perdido o inválido (missing value) corresponde a las respuestas de los estudiantes que no son claras (marcaron más de una opción), o que del todo no respondieron (no seleccionaron ninguna opción). La no-respuesta es una característica común en todo tipo de encuestas, pero debe preverse para tratar de llevarla al mínimo, y en caso de ser muy alta no es recomendable (desde el punto de vista estadístico) realizar inferencias hacia la población en estudio.

Los propios informes de PISA recomiendan tolerar un máximo de un 5% de valores perdidos para poder realizar inferencias con un nivel tolerable de sesgo. No obstante, pasaron por alto su propia recomendación y decidieron eliminar de los cálculos a los estudiantes con valores perdidos en sus respuestas.

El error es grave, porque en casi todos los países el porcentaje de no respuesta es sumamente elevado. En Costa Rica, Chile, Uruguay y Perú, por ejemplo, el porcentaje de no respuesta en esta pregunta es de un 38%, es decir, más de la tercera parte de los estudiantes no contestaron a la pregunta.

De acuerdo con el gráfico publicado por PISA, prácticamente se está asumiendo que todos estos estudiantes que no contestaron a la pregunta habrían respondido en la misma proporción que los que sí respondieron a la pregunta, y como la mayoría de los que sí respondieron dijeron sentirse felices, por esta razón los porcentajes son sumamente altos.

Pero, ¿cuál es la realidad? ¿a cuánto disminuye el porcentaje de estudiantes felices si no se eliminan de los cálculos a los estudiantes con valores perdidos en sus respuestas?

En Costa Rica sólo el 55% de los estudiantes afirmó sentirse feliz en su colegio (y no el 91% publicado por PISA); en Chile, Uruguay y Perú el dato baja a 54%.La gravedad del error no radica en su cálculo, sino en su interpretación. Existe un debate en varios países con respecto a la relación entre felicidad o bienestar de los estudiantes y el rendimiento académico.

De acuerdo con los resultados de PISA, los estudiantes de los países con menor rendimiento tienden a ser más felices que a aquellos de países con mejores resultados académicos. Por ejemplo, algunos países con alto desempeño como la República de Corea, Estonia y Finlandia lograron puntuaciones bajas en el indicador de la felicidad, mientras que países de bajo rendimiento tales como Indonesia, Perú, Costa Rica y en general Latinoamérica, encabezaron la lista por tener a los estudiantes más felices.

En el debate se plantean algunas hipótesis interesantes: ¿el éxito académico se logra a expensas de la felicidad de los estudiantes? ¿Existe algún vínculo entre el bienestar mental de los estudiantes y su rendimiento académico?

Ciertamente las preguntas son válidas, pero en este caso el programa PISA no contribuye a tomar decisiones correctas, sino que más bien puede llevar a análisis incorrectos, no fundamentados, y sobre los cuales no es prudente realizar conclusiones.

Las siguientes gráficas muestran las diferencias en los resultados. El primero muestra los resultados como lo hace PISA. El segundo es de elaboración propia con los datos de tal programa.

infografia

img-title-blogs author-image

Dataset Alejandro Fernández S. y Andrés Fernández

Alejandro Fernández S.: Soy periodista de datos de EF. Obtuve una licenciatura en leyes de la UCR y una maestría en análisis de políticas públicas de la Universidad de Chicago. Siga las actualizaciones de este blog en mi perfil de Facebook haciendo click acá.

Andrés Fernández A.: Soy economista de la UCR. En mis investigaciones me he especializado en temas de economía de la educación y desigualdad de ingresos.

 

Post por fecha

Octubre 2017
LUN MAR MIE JUE VIE SAB DOM
            1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31