El último informe PISA, publicado el 5 de diciembre de 2023, reveló los peores resultados históricos para España. Estas preocupantes calificaciones, sumadas a la falta de explicaciones claras que las justificaran, se convirtieron en una fuente de motivación para el alumnado del CIFP Virgen de Gracia de Puertollano (Ciudad Real). En particular, los estudiantes del curso de especialización en Inteligencia Artificial y Big Data decidieron llevar a cabo un estudio exhaustivo sobre este tema.

El estudio, realizado a finales del curso 2023/2024, ha sacado a la luz conclusiones que invitan a la reflexión. Este trabajo fue llevado a cabo de manera autónoma e independiente por los alumnos, aunque siempre bajo la supervisión y el apoyo del docente.

¿Qué es PISA?, ¿qué resultados suele obtener España en PISA?

El informe PISA (Programme for International Student Assessment) es una evaluación trienal realizada por la OCDE (Organización para la Cooperación y el Desarrollo Económicos), que mide el rendimiento académico de alumnos de 14 años en matemáticas, lectura y ciencias. Su propósito es ofrecer datos comparativos internacionales sobre la eficacia de los sistemas educativos de los países participantes, con el fin de identificar buenas prácticas y áreas de mejora.

En la actualidad, España no obtiene buenos resultados en esta evaluación. ¿Por qué? Las razones son, en gran medida, difusas. La mayoría de los análisis en nuestro país tienden a enfocarse más en comparar los resultados por regiones que en buscar soluciones globales que impulsen mejoras en todo el sistema educativo. Se podría argumentar que estos análisis, paradójicamente, analizan poco.

Como respuesta a estos análisis, el alumnado del CIFP Virgen de Gracia decidió aplicar un proceso KDD (Knowledge Discovery in Databases), una técnica habitual en Big Data, para descubrir conocimiento útil a partir de grandes conjuntos de datos. Este proceso KDD se organizó en cinco etapas:

1. Etapa 1 – Selección de datos: el primer paso que llevaron a cabo los alumnos fue crear un almacén de datos, recopilando toda la información relevante. En este caso, fue fundamental utilizar como fuente principal los datos del informe PISA proporcionados por el Ministerio de Educación.
2. Etapa 2 – Preprocesamiento de datos: los datos seleccionados fueron sometidos a una serie de transformaciones para asegurarse de que estuvieran en un formato adecuado para el análisis. Dado que los datos abarcaban desde el año 2000 hasta la actualidad, a menudo presentaban inconsistencias de formato y versiones, lo que requirió la aplicación de técnicas de limpieza y corrección de errores.

Tras estos dos tediosos pasos, el alumnado se aseguró de contar con una base de datos de calidad, un requisito fundamental para cualquier análisis de Big Data.

3. Etapa 3 – Transformación de datos: en esta etapa, se crearon nuevas variables a partir de los datos existentes, con el fin de generar información que revelara tendencias en los datos analizados. Concretamente, los estudiantes desarrollaron dos indicadores clave:
   1. Diferencia respecto al promedio: este indicador permite comparar la puntuación obtenida por una comunidad autónoma con respecto a su media histórica en PISA, es decir, la media de sus resultados en todas las ediciones en las que ha participado.
   2. Diferencia respecto al estudio anterior: este indicador facilita la comparación con el último estudio, mostrando si una comunidad autónoma ha mejorado o empeorado en su desempeño.

Estos indicadores resultaron útiles desde el primer momento por varias razones. En primer lugar, permitieron identificar y eliminar “datos poco fiables”, como los de las comunidades autónomas que no participaron en todas las ediciones del informe, lo que provocaba dispersiones en los resultados. Además, el alumnado descubrió la primera tendencia significativa en los resultados de España en PISA:

Como se puede observar en la gráfica, España muestra una mejora constante en sus resultados desde el inicio del estudio hasta el año 2015, momento en que se alcanza el punto más alto, superando incluso la media de la OCDE en varios aspectos clave. Sin embargo, a partir de ese año, comienza un proceso de fuerte declive, una tendencia que se refleja de manera general en todas las comunidades autónomas.

¿Cómo explicar la caída de España en PISA a partir de 2015?

Para intentar explicar esta caída, el alumnado abordó las dos etapas restantes del proceso KDD de manera casi simultánea:

4. Etapa 4 – Minería de Datos: esta fase es el núcleo del proceso KDD, donde se aplican técnicas y algoritmos de minería de datos para descubrir patrones en la información recopilada. Estos patrones pueden incluir asociaciones, secuencias, clusters o modelos predictivos, dependiendo de los objetivos del análisis.
5. Etapa 5 – Interpretación de Patrones: una vez identificados los patrones, se procede a interpretar su significado y relevancia en el contexto del estudio, utilizando esta información para generar nuevo conocimiento.

Sin duda, esta fue la parte más creativa del estudio. Aquí, el alumnado exploró diversas hipótesis formuladas a partir de investigaciones previas realizadas por expertos en educación. Estas hipótesis llevaron a la ampliación de la base de datos inicial, incorporando nueva información que permitió desarrollar análisis más exhaustivos y enfocados en las cuestiones planteadas.

Las hipótesis fueron un total de 4:

• Hipótesis 1: los cambios de ley educativa perjudican el nivel de la Educación
• Hipótesis 2: la LOE fue un cambio positivo para la Educación, los posteriores no
• Hipótesis 3: con la tecnología se aprende menos que con los libros
• Hipótesis 4: cada vez los alumnos tienen menos nivel, es más fácil aprobar

Y pasan a detallarse a continuación.

Hipótesis 1: los cambios de ley educativa perjudican el nivel de la Educación

La primera hipótesis que el alumnado decidió investigar se basó en la frecuente afirmación de que los constantes cambios en la legislación educativa representan un problema para la educación en España. ¿Hasta qué punto es cierta esta afirmación?

Del año 2000 a la actualidad (es decir, desde que empezó a desarrollarse el informe PISA a la actualidad), se han sucedido un total de 3 cambios de ley educativa:

• LOE: 1 septiembre 2006
• LOMCE: 1 septiembre 2014
• LOMLOE: 1 septiembre 2021

Las leyes educativas se aprueban de forma general en una fecha, pero luego tienen un calendario de aplicación por cursos. Es importante tener en cuenta cuando el perfil de alumno que realiza el examen PISA le fue aplicado el cambio de ley, es decir, el alumno de 14 años (alumno de 4º de la ESO). Concretamente:

• LOE: 1 septiembre 2009
• LOMCE: 1 septiembre 2016
• LOMLOE: 1 septiembre 2023

Colocando estos datos sobre la tendencia detectada en los resultados PISA de España:

En el gráfico anterior, las estrellas grises indican el momento en que se aprueba una ley, mientras que las estrellas amarillas marcan el momento en que los estudiantes, que realizan el examen PISA en 4º de ESO (14 años), han sido educados bajo la nueva normativa. La conclusión a la que se llegó es que los cambios en la legislación educativa no tienen un impacto claro, ni positivo ni negativo, en los resultados de PISA. Esto se evidencia en los resultados mixtos obtenidos tras la implementación de nuevas leyes. Esta conclusión fue una pista fundamental para formular la hipótesis 2, la cual se aborda a continuación.

Hipótesis 2: la LOE fue un cambio positivo para la Educación, los posteriores no

El alumnado analizó los textos legales de las tres leyes educativas, encontrando más similitudes que diferencias en lo que respecta al aprendizaje de los tres ámbitos que evalúa PISA (ciencias, matemáticas y comprensión lectora). Sin embargo, un dato especialmente llamativo distingue a la LOE de las otras dos leyes: los materiales educativos de apoyo.

Cuando se implementa una nueva ley educativa, es necesario actualizar todos los materiales educativos para que estén alineados con las nuevas directrices. En España, hablar de materiales educativos es casi sinónimo de hablar de libros de texto. De hecho, según el “Estudio del papel y valor de los contenidos educativos en las aulas” realizado por la empresa experta “Estudio Comunicación” a principios de 2020, solamente el 8,7% de los docentes en España nunca utiliza el libro de texto en sus clases.

En otras palabras, una nueva ley educativa implica la creación de nuevos libros de texto. Para este propósito, tanto el Ministerio de Educación como las comunidades autónomas, además de los textos de la propia ley educativa, publican a continuación legislaciones adicionales que detallan lo que estos libros deben incluir. El alumnado analizó las fechas de publicación de estas legislaciones adicionales para el perfil de alumno que realiza PISA (14 años, 4º ESO), obteniendo los siguientes datos para cada comunidad autónoma:

A simple vista, se observa una diferencia significativa en los tiempos de implementación entre la LOE y las demás leyes, la LOE ofrecía a los creadores de libros de texto casi 800 días, mientras que las otras 2 no llegaban ni a la mitad. Sea como fuere, ¿son estos plazos suficientes para desarrollar los libros de texto necesarios?, ¿qué tiempo es necesario para crear un libro de texto?

Investigando sobre este tema, el alumnado descubrió que la creación de un libro de texto es un proceso extenso y complejo que requiere el análisis exhaustivo de la ley por parte de diversos expertos pedagógicos, tal como lo detalla la Asociación Nacional de Editores de Libros y Material de Enseñanza (ANELE) en el siguiente vídeo: https://youtu.be/s8PqQAgJmoQ

Por otro lado, según el estudio «How a Textbook is Made?» de Oxford University Press, la creación de un libro de texto suele llevar entre 18 y 36 meses (entre 540 y 960 días aproximadamente) dependiendo de varios factores como la complejidad del contenido y la eficiencia del equipo de trabajo. Este proceso incluye etapas como planificación y diseño, investigación y redacción, revisión y edición, diseño gráfico y maquetación, revisión final y corrección de pruebas, e impresión y distribución.

En conclusión, la mayor diferencia observable entre la aplicación de la LOE y las demás leyes radica en el tiempo disponible para la elaboración de materiales educativos. Esta observación apunta a una conclusión más amplia: los plazos para garantizar un cambio educativo adecuado no están siendo los idóneos en leyes como la LOMCE o la LOMLOE, resultando en tiempos de implementación demasiado reducidos.

Hipótesis 3: con la tecnología se aprende menos que con los libros

Esta hipótesis es un comentario ampliamente repetido, pero que carece de estudios profundos que la respalden o refuten de manera concluyente. Sin embargo, el alumnado del CIFP Virgen de Gracia logró encontrar información relevante que arroja algo de luz sobre esta cuestión:

1. Cada vez hay menos libros de texto en las aulas:

Según diversos informes publicados por ANELE, el año 2015 fue cuando se adquirió la mayor cantidad de libros de texto. A partir de ese momento, las ventas comenzaron a disminuir, a pesar de que el número de alumnos ha ido en aumento. Como se mencionó, es precisamente a partir de 2015 cuando los resultados de España en PISA empezaron a deteriorarse.

2. Cada vez más alumnos utilizan tecnología, se ha universalizado:

Según datos del INE (Instituto Nacional de Estadística), se observa que el año 2015 fue clave para tres indicadores: el uso de internet, disponer de ordenador familiar y disponer de teléfonos móviles. De hecho, la universalización de estas tecnologías (alcanzar un porcentaje de utilización superior al 70%) se produce en el año 2015.

En conclusión, resulta particularmente llamativo el paralelismo entre la disminución en el uso de libros de texto y el aumento en el uso de internet y teléfonos móviles, coincidiendo con la caída en los resultados de PISA.

Hipótesis 4: cada vez los alumnos tienen menos nivel, es más fácil aprobar

Esta hipótesis es, sin duda, compleja de abordar. El alumnado del CIFP Virgen de Gracia decidió centrarse en el análisis de las promociones de curso con materias pendientes, un tema controvertido que reveló datos significativos:

Como se observa, el número de alumnos que supera 4 ESO respecto a los que lo empiezan ha ido en aumento. Concretamente algo más de un 7% en los últimos 14 años.

Otro dato especialmente llamativo es el de alumnos que tienen materias pendientes del curso anterior que empiezan 4 ESO, es decir, alumnos que han pasado con suspensos:

En menos de una década, ha pasado de un 15,2% a un 23,3%.

A su vez, cabe comentar la excepción del curso 2019-2020, un período atípico marcado por la pandemia de COVID-19, donde los números presentan grandes anomalías.

Estos datos sugieren que las políticas de promoción con materias pendientes podría estar impactando negativamente en el rendimiento global de los estudiantes en evaluaciones internacionales. La posibilidad de que alumnos sin la preparación adecuada afronten un examen tan exigente como PISA, puede sin duda ser causa de la caída en resultados.

Conclusiones

Un estudio de Big Data no ofrece conclusiones absolutas, sino que proporciona información valiosa que puede guiar la toma de decisiones. Este tipo de estudios es común en el ámbito empresarial, donde se utiliza para ofrecer a los directivos que deben tomar las decisiones un conjunto de datos útiles que les permitan hacer elecciones más informadas y acertadas.

De manera similar, los resultados de este estudio deben interpretarse como una herramienta para la reflexión y la acción, simplificándose en las siguientes conclusiones clave:

• Hipótesis 1: en general, los cambios en la legislación educativa no tienen un impacto negativo directo en los resultados de PISA.
• Hipótesis 2: sin embargo, es crucial que estos cambios legislativos de gran envergadura se implementen con plazos adecuados, especialmente aquellos que afectan los materiales educativos (libros de texto) a utilizar en las aulas.
• Hipótesis 3: se ha observado que el aumento en el uso de la tecnología ha coincidido con una disminución en el uso de libros de texto, una tendencia que se correlaciona con la parte más débil de los resultados de PISA.
• Hipótesis 4: el incremento en el número de alumnos que promocionan con materias suspensas sugiere que muchos de ellos se enfrentan a evaluaciones como PISA para las cuales no están completamente preparados.

Estos hallazgos están a disposición de quienes puedan y deseen utilizarlos para mejorar el sistema educativo, ofreciendo una base de información que puede ser clave para futuros desarrollos y ajustes en la política educativa.

Por último, cabe comentar que si te ha parecido interesante este estudio y te gustaría conocer más en detalle sobre lo que es el Big Data y cómo aplicarlo, la matrícula del CIFP Virgen de Gracia de Puertollano está abierta para que seas parte del curso de especialización del próximo curso: https://cifpvirgendegracia.com/matricula-cursos-de-especializacion/