PISA introdujo en 2015 ciertos cambios en el escalamiento de los resultados con el objetivo de mejorar la precisión de las mediciones y reducir los factores de incertidumbre. Un cambio de metodología siempre genera un impacto en la comparabilidad de los resultados, que puede ser de magnitud pequeña y no afectar las tendencias, o puede ser significativo.

Los cambios introducidos en 2015 son de diferente tipo, y afectaron con distinta intensidad a los países. Si bien se mantuvieron las escalas y los ítems de anclaje que garantizan la comparabilidad, fueron introducidos cuatro conjuntos diferentes de cambios que podrían incidir en la comparación:

• Cambios en el modo de implementación: la generalización de la aplicación de PISA por computadora a casi todos los países participantes en 2015 (sólo 15 países mantuvieron la evaluación en papel) obligó a la revisión de las equivalencias entre las evaluaciones en soporte papel y las informatizadas, tanto para las comparaciones entre países como para los análisis de tendencia en el tiempo. Durante la implementación de la prueba piloto en 2014 se realizó un testeo de ítems en ambos formatos, garantizando la comparabilidad entre evaluaciones de diferente soporte.
• Cambio en el modelo de escalamiento: al escalar los parámetros del ítem, se adoptó un modelo estadístico más flexible, de dos parámetros, distinto al utilizado en las evaluaciones anteriores, que escalaban los ítems bajo modelos de un parámetro. Este cambio permite calcular con mayor precisión la contribución de cada ítem a la estimación total del desempeño.
• Cambio en el tratamiento del modo de funcionamiento diferencial de ciertos ítems entre países. En algunos países, los ítems pueden manifestar un funcionamiento diferente al parámetro de dificultad observado en la mayoría, debido a ciertas características del idioma o del contexto cultural. En los ciclos anteriores de PISA, se utilizaban parámetros comunes y se eliminaban los ítems que mostraban variaciones significativas que podían asociarse al contexto. En 2015, la calibración permitió incorporar ítems cuyos parámetros manifestaban en ciertos contextos un funcionamiento diferente.
• Cambios en el tratamiento de los ítems incompletos al final de la evaluación: en las aplicaciones PISA anteriores a 2015, el conjunto de ítems que quedaba en blanco al final de una evaluación se consideraban como erróneos al momento de estimar el resultado del estudiante. En esta última aplicación, se optó por considerarlos como no administrados.

Este cambio metodológico tuvo un impacto decisivo en América Latina. PISA estudió el efecto del conjunto de estas modificaciones, y estableció ciertas estimaciones de impacto en los países. Por un lado, calculó las correlaciones entre los resultados originales de cada aplicación de PISA y los obtenidos mediante esta nueva metodología. Todas son superiores a 0,993 (a excepción del área de lectura en 2006, donde es de 0,985), lo que indica una alta correspondencia entre ambas formas de estimar los desempeños.

Por otro lado, calculó el error de enlace entre todas las áreas y años respecto del 2015, que se estima en torno a los 5 puntos. Se concluyó que estas modificaciones, en su conjunto, inciden levemente en la comparabilidad entre países, y se asumió un margen de incerteza en la comparación entre resultados de aproximadamente 10 puntos. Sin embargo, al analizar en detalle el impacto de estos cambios en los países de América Latina, la incidencia parece ser mayor.