PISA 2018: UNA PRUEBA PARA GOBERNAR A TODOS

OTRAS OPCIONES. PERÚ DEBE BUSCAR OTRA FORMA DE MEDIRSE.

Ayer se publicaron los resultados de la rona 2018 del Programa Internacional para la Evaluación de Estudiantes (PISA) del que participa el Perú (rondas del 2000, 2001, y las del 2009, 2012, 2015 y 2018).

Lectura: seguimos mejorando al mismo ritmo que hemos observado desde el 2001. Parecía que entre el 2015 y el 2018 habría un estancamiento, pero dados los atributos de PISA (solo se enfocó en lectura en el 2000/ 2001, 2009 y 2018; los datos del 2015 no son muy sólidos a los que habría que agregar la intervención hecha por el Ministerio que podría haber "inflado" esos resultados un poquito).

Así, si en el 2001 nos encontrábamos dos deviaciones estándar por debajo de la media de la OCDE, ahora hemos reducido esa distancia a la mitad. Es decir, si seguimos a ese ritmo (que es tímido y, sin embargo, somos de los pocos países que mostramos algo así y sobre todo de una forma sostenida) alcanzaríamos la medida de la OCDE en unos 20 años más. Nótese, que la media de la OCDE está en caída (leve, pero caída, al fin).

Asimismo, si antes de la medida del Perú se encontraba debajo del nivel de desempeño más bajo que se había identificado entonces, ahora empezamos a llegar al segundo nivel de desempeño que podría ser considerado un mínimo aceptable.

Matemáticas: Al igual que en lectura, vemos un progreso sostenido en el tiempo (aunque aquí solo se puede tomar los datos peruanos desde el 2009 y los de OCDE desde el 2003). Si en el 2009 estábamos a pocos menos de 1.5 desviaciones estándar de la media de la OCDE, ahora estamos a 1 desviación estándar de distancia (con un promedio de la OCDE también a la baja). Sin embargo, en este caso seguimos debajo del segundo nivel de desempeño que la OCDE considera como mínimo aceptable.

Ciencia: Al igual que en matemáticas, vemos un progreso sostenido en el tiempo (solo se puede tomar los datos peruanos desde el 2009 y de la OCDE desde el 2006).

Si en el 2009 estábamos a poco menos de 1.5 desviaciones estándar de la media de la OCDE, ahora estamos a 1 desviación estándar de distancia (con un promedio de la OCDE también a la baja).

En este caso nuestra media empieza a alcanzar el segundo nivel de desempeño.

Equidad: Nuevamente, el Perú aprece como uno de los países con mayores niveles de segregación escolar (las escuelas son homogéneas en términos socioeconómicos, lo que impide fomentar el encuentro entre diversos, y con ello, mayor cohesión social) y donde la desventaja económica va a unidad a un menor desempeño en la prueba. Es decir, tenemos escuela para pobres que logran pobres resultados. Nuestro sistema educativo no funciona para crear oportunidades para todos y asegurar algún nivel de movilidad social.

Más bien, reproduce desigualdades.

Jóvenes y adultos: Una novedad del informe es que ahora se cuenta con información del Programa Internacional para le Evaluación de Competencias de los Adultos (PIAC en inglés). Así, la OCDE presenta información que relaciona los resultados de los jóvenes de 15 años, con los resultados de la generación de 35 a 55 años en el mismo país (presumiblemente, sus padres). Como cabe esperar, los resultados de los padres se asocian al resultado de los hijos.

Lo triste en el caso peruano (datos del 2017 cuando se aplicó la prueba) es que para este grupo de personas nos encontramos muy lejos del promedio de la OCDE.

Una mirada a PISA

PISA se inició como una prueba que quería medir las habilidades básicas de aquellos que estaban a punto de ingresar a la fuerza laboral (por eso, personas de 15 años) independientemente de su nivel educativo. Así, PISA debía complementar la información sobre habilidades de la fuerza laboral, que en los años 90 generó la Encuesta Internacional de Alfabetismo Adulto (IALS en inglés, hoy llamado PIAAC).

Dado el nivel de cobertura de los sistemas educativos de la OCDE, se decidió que la mejor forma de aproximarse a la población de 15 años (la más eficiente) era ir a las instituciones educativas. Esto funcionaban bien para la mayor parte de los países de la OCDE (excepto, entonces, México), pero se traduce en una gran dificultad para decir algo sobre los sistemas educativos, ya que no se toman en cuenta las diferentes trayectorias de los estudiantes.

Por ejemplo, en sistemas con altos niveles de atraso escolar (como el nuestro) la muestra toma estudiantes matriculados en todos los grados de la educación secundaria y que, por lo tanto, han tenido muy diversas oportunidades de desarrollar las habilidades medidas por la prueba.

Tan pronto PISA inició sus operaciones, muchas personas observamos que tenía profundos problemas y limitaciones de cara a decir algo relevante sobre sistemas educativos.

Sin embargo, el tremento éxito comunicacional de PISA tornó a esta prueba en la estrella educativa de la OCDE y en un "producto" que les permitía posicionarse como los que fijan el estándar internacional en estos menesteres. Es en ese marco, en el que la OCDE no solo lanza su estudio, sino que busca deslegitimar alternativas, presentando PISA como la única forma de lograr una adecuada compatibilidad internacional. Esto, por supuesto, es asburdo, ya que la invalidez de un enfoque se mide contra los propósitos que busca servir, y dado que los propósitos son diferentes se necesita enfoques diferentes.

Esta forma de proceder da cuenta de un propósito político detrás de PISA y que, crecientemente, ha adquirido más importancia dejando de lado la propia robustez del estudio. La búsqueda de hegemonía e influencia es, hoy, más importante que la rigurosidad en PISA y eso debe quedarnos muy claro. PISA no es un estudio, es un instrumento público.

Desde el 2015 se sumaron algunos problemas que comprometen la utilidad del estudio. Por si esto fuera poco, en el 2018 se introdujeron cambios adicionales: se modificó la definición de "lectura", además, se ha incluido en la medición algo que no puede ser usado para comparaciones internacionales: una medida de fluidez, que es dependiente de las características del idioma. Además, se usa una administración adpatativa de la prueba basada en computadoras habiéndose abandonado la aplicación en papel.

Es decir, en un sentido estricto de las cosas, los datos de PISA del 2000 al 2012 son una cosa, los del 2015 otra, y los del 2018 una tercera. Es decir, la serie histórica de datos, es básicamente, inutilizable.

Creo que estos son los puntos básicos que todos deberíamos conocer sobre esta nueva entrega de PISA.

Debo insistir en que ya es tiempo de salirnos de esta prueba, que no nos dice gran cosa, y buscar alternativas (que existen) que son más ricas en cuanto a la información que nos pueden dar y que, sobre todo, no tienen la carga política ni los efectos perversos sobre la política y prácticas educativas que tiene PISA.

Publicado en Gestión, 4 de diciembre del 2019.