Capítulo 3 Definiciones básicas del muestreo

El muestreo en la investigación educativa se realiza generalmente con el fin de permitir el estudio detallado de un subconjunto representativo de la población. La información derivada de la muestra resultante se emplea habitualmente para desarrollar generalizaciones útiles sobre la población. Estas generalizaciones pueden ser estimaciones de una o más características asociadas con la población o pueden estar relacionadas con estimaciones de la fuerza de las relaciones entre las características dentro de la población.

Siempre que se utilicen procedimientos científicos de muestreo, la selección de una muestra a menudo ofrece muchas ventajas en comparación con una cobertura completa de la población. Por ejemplo, la reducción de los costos asociados con la recolección y el análisis de los datos, la reducción de los requisitos para el personal capacitado para llevar a cabo el trabajo de campo, la velocidad mejorada con mayor precisión debido a la posibilidad de una supervisión más intensa del trabajo de campo y las operaciones de preparación de datos.

3.1 Descripción de la población de interés

Para XXXXXXX las poblaciones de interés son los estudiantes que se encuentren en los grados terceroo y sexto. La base de comparación entre los países participantes será el número de años de educación formal que los estudiantes hayan recibido. De acuerdo a la Clasificación Internacional Normalizada de la Educación (CINE), el nivel CINE 1 corresponde a la educación primaria y el primer año escolar en este nivel marca el comienzo de la educación básica. Así, los grados objetivo de XXXXXXX se encuentran tres y seis años después de este año escolar, los cuales corresponden a los grados terceroo y sexto en la mayoría de países.

De esta manera, se espera que todos los estudiantes en los grados terceroo y sexto tengan tres y seis años de escolaridad, respectivamente; además, la edad promedio de los estudiantes debería ser 8,5 años en terceroo y 11,5 años en sexto. Sin embargo, existen diferencias entre los países en cuanto a la definición de los grados escolares y la edad promedio de los estudiantes. Por esta razón, es muy importante que los países participantes brinden información clara y completa sobre estas variables al momento de comenzar con las tareas de muestreo.

Una vez definidos los grados de interés, es importante considerar las características que debe tener una escuela para ser parte del estudio:

• Ser reconocida por una autoridad competente en el país e impartir educación en los grados de interés.
• Tener una ubicación física y un sistema de administración únicos.
• Tener un número definido e identificable de estudiantes y profesores.
• Tener un espacio social identificable.

Cabe resaltar que en algunas ocasiones las escuelas no cumplen todos los criterios, por lo que es necesario analizar todos los casos que se presenten. Por ejemplo, si dos escuelas comparten una misma ubicación física, pero tienen horarios, estudiantes y personal educativo distinto, se consideran como escuelas diferentes. De igual forma, dos sedes de una misma escuela que tengan ubicaciones físicas distintas y que tengan, por lo tanto, estudiantes y personal educativo distinto, son consideradas como escuelas diferentes. Finalmente, en el caso de las escuelas multigrado, se considerará únicamente a los estudiantes que, dentro del aula multigrado, se encuentren en grados terceroo o sexto⁷.

Dentro de las escuelas que cumplan estos criterios serán seleccionados los estudiantes que harán parte del estudio. Estos estudiantes deben estar matriculados en el sistema educativo formal (en los grados de interés, sin importar su edad) y considerarse aptos para responder las pruebas. Para ser considerado apto, un estudiante debe estar en la capacidad física y cognitiva de contestar una prueba de logro de aprendizaje en el idioma oficial del país participante.

En línea con lo anterior, no harán parte de la población de interés de XXXXXXX: escuelas donde se imparta educación no formal, estudiantes fuera del sistema educativo formal (aquellos que toman clases de tiempo completo en su hogar, por ejemplo), estudiantes con necesidades especiales y escuelas especializadas en este tipo de estudiantes, escuelas para adultos, y escuelas donde se enseñe solo un idioma y este sea diferente al oficial del país participante.

Será responsabilidad de cada país brindar información precisa sobre las escuelas y estudiantes elegibles para XXXXXXX. Cada país participante deberá identificar las escuelas que tengan estudiantes en los grados de interés y que cumplan con los demás criterios mencionados, las cuales deben incluirse en un listado sin datos incorrectos o duplicados. Además, es importante que el país informe sobre los posibles inconvenientes que se puedan presentar con la población objetivo.

Las fechas de aplicación de la prueba tienen que ser apropiadas para la población objetivo: no pueden estar dentro de las primeras seis semanas del año escolar, debido a la preocupación de que el desempeño de los estudiantes pueda ser más bajo en este periodo (incluso después de controlar por la edad); no debe cubrir un periodo mayor a 42 días (a menos que eso sea acordado con el país participante); y deben considerarse los calendarios escolares (norte y sur).

3.2 Descripción de las subpoblaciones de interés

Las subpoblaciones de interés o estratos son divisiones de la población objetivo en grupos que comparten una característica común y que son importantes para el país. Por esta razón, estas agrupaciones se definen en conjunto con el país participante y, al hacerlo, se tienen en cuenta variables de estratificación explícita e implícita.

La estratificación explícita consiste en agrupar las escuelas en estratos que serán tratados de forma independiente (como si se tuvieran marcos de muestreo separados para cada subpoblación), de acuerdo a una variable específica. Mientras que la estratificación implícita consiste en clasificar las escuelas dentro de cada estrato explícito haciendo uso de un conjunto de variables definidas⁸. A continuación se ofrecen algunos ejemplos para cada una de estas técnicas.

3.2.1 Estratificación explícita

Los estratos explícitos son útiles para reducir la varianza de muestreo y asegurar la representatividad de los estudiantes en cada uno de los grupos de escuelas que comparten una característica común⁹. Algunas variables que se consideran en el proceso de estratificación explícita son:

• Estados o regiones de un país.
• Zona en la que está ubicada la escuela: urbana o rural. Aquí cada país brinda su definición de ruralidad.
• Dependencia administrativa: gestión pública o privada.
• Grado escolar: solo terceroo, solo sexto, ambos grados.

Los países participantes pueden proponer otras variables de interés para considerar como variables de estratificación explícita, las cuales serán analizadas cuidadosamente entre cada Coordinador Nacional, el Comité de Datos y la Coordinación en UNESCO-OREALC.

3.2.2 Estratificación implícita

Este tipo de estratificación es una forma de garantizar una asignación estrictamente proporcional de las escuelas en todos los estratos implícitos. También puede conducir a una mayor confiabilidad de las estimaciones del estudio, siempre que las variables de estratificación implícita que se consideran estén correlacionadas con el logro de aprendizaje evaluado en el nivel de la escuela . Algunas variables de estratificación implícita son:

• Género: si un país tiene escuelas solo para hombres o solo para mujeres, es importante incluir esta variable para evitar desequilibrios por género.
• Composición de las minorías: escuelas con grupos minoritarios (grupos étnicos, por ejemplo).
• Jornada de la escuela: en caso de que la escuela tenga jornada diurna, nocturna, completa, etc.
• Tamaño de la escuela: medida con el número de estudiantes en los grados de interés, es la última variable de estratificación que se aplica en el marco de muestreo (medida de tamaño).

Al igual que con las variables de estratificación explícita, los países participantes pueden proponer otras variables de interés para considerar como variables de estratificación implícita, las cuales serán analizadas cuidadosamente. Por ejemplo, un país puede estar interesado en particionar las escuelas pertenecientes a su sistema educativo con respecto al número de estudiantes adscritos (matrícula) en las municipalidades (o divisiones administrativas), de la siguiente manera:

• Municipios capitales: que son las ciudades capitales de departamentos o estados (mayor desagregación geográfica).
• Municipios grandes: referentes a municipios con matrícula mayor a 10.000 estudiantes.
• Municipios intermedios: que son municipios con matrícula entre 5.001 y 10.000 estudiantes.
• Municipios medianos: que representan a los municipios con matrícula entre 2.501 y 5.000 estudiantes.
• Municipios pequeños: con matrícula menor a 2.500 estudiantes.

3.2.3 Dominios poblacionales

Definidos por aquellos subgrupos de interés que se conocen una vez se haya aplicado el instrumento. Los dominios poblacionales son subgrupos de interés que cumplen las siguientes características:

• Ningún elemento de la población pertenece a dos dominios.
• Todo elemento de la población pertenece a un único dominio.
• La población del estudio puede representarse como la unión de todos los dominios¹⁰.

Por ejemplo, entre los dominios poblacionales podemos encontrar subgrupos de la población divididos según género, calendario escolar, entidades territoriales de cada país, jornadas escolares o programas de mejora de la calidad educativa focalizados.

Cabe resaltar que la identificación de las unidades de la población (escuelas y estudiantes) y su posterior clasificación en un dominio, solo se puede realizar cuando los países participantes han entregado toda la información requerida y el proceso de medición ha comenzado.

3.2.4 Post-estratos

Para calibrar los pesos de muestreo y que las estimaciones sean más precisas, es decir, que tengan un menor margen de error, se hace uso de post-estratos para escuelas y estudiantes. Los post-estratos son subgrupos poblacionales de los que se conoce su tamaño, pero no se sabe cuál será su número real de individuos en la muestra realizada. Esto sucede en dos casos:

1. Todas las unidades poblacionales (escuelas y estudiantes) están clasificadas en los subgrupos según el marco de muestreo; sin embargo, por facilidad logística se decide no usar esta información. Esta característica se vuelve a observar solo después de haber seleccionado la muestra.
2. Los tamaños de los subgrupos poblacionales se conocen, pero no es posible clasificar las unidades poblacionales en ellos debido a falencias en el marco de muestreo. Esto se soluciona después de haber seleccionado la muestra.

En los dos casos anteriores, la información sobre la clasificación de escuelas y estudiantes en los post-estratos que se obtiene después de tener la muestra, se utiliza para mejorar la eficiencia de los estimadores. En general, el uso de los post-estratos es útil para calibrar los pesos de muestreo de las escuelas (por número de establecimientos, establecimientos por zona/sector) y para calibrar los pesos de muestreo de los estudiantes (número total de estudiantes a nivel nacional, estudiantes por género o estudiantes por zona/sector).

3.2.5 Sobremuestras de interés

Una sobremuestra es una muestra adicional de la población objetivo para un subgrupo particular como una ciudad o una región. Cada país participante puede decidir si tener una o varias sobremuestras, dependiendo del interés que tenga en una subpoblación específica.

Sin embargo, es importante resaltar que esta es una negociación que deben tener los coordinadores nacionales con el socio implementador, puesto que, si bien contar con una sobremuestra brinda mayor información sobre un subgrupo de interés, esta opción incrementa el tamaño de muestra y los costos asociados al estudio. Cada país puede manifestar su interés en tener una o más sobremuestras y el socio implementador entregará diferentes escenarios de muestreo de acuerdo a estos requerimientos.

TXXXXXXX¹¹ consideró tres casos en los que tener una sobremuestra puede ser recomendable para un país:

1. Si estaba participando en los Módulos Nacionales del TXXXXXXX, puesto que los módulos podían contener factores asociados al aprendizaje específicos para el país, especialmente relacionados con algún subgrupo poblacional.
2. Cuando el error muestral de los estratos o subpoblaciones de interés supera un valor significativo (más de 10 puntos de la prueba), es decir, cuando el tamaño de algún estrato explícito es muy pequeño y no permite realizar análisis estadísticos precisos.
3. Cuando existe un interés por parte del país para realizar análisis precisos sobre un subgrupo poblacional particular.

En evaluaciones internacionales como PISA la selección de sobremuestras se realiza porque el país está interesado en algún subgrupo poblacional. En este caso, se agrega una nueva variable de estratificación explícita y se generan los estratos explícitos correspondientes. En general, los países pueden considerar tener una sobremuestra si están participando en los Módulos Nacionales del XXXXXXX, el error muestral de los estratos o subpoblaciones de interés supera un porcentaje significativo, o desea realizar un análisis sobre un subgrupo de la población.

3.2.6 Medidas de tamaño

Definir una medida adecuada de tamaño (MOS) es un aspecto crítico en el desarrollo del plan de muestreo para cada país, puesto que el tamaño de la escuela determina su probabilidad de selección. La medida de tamaño escolar más adecuada es un recuento actualizado del número de estudiantes en los grados objetivo. Si el número de estudiantes en estos grados no está disponible, la matrícula total de la escuela ofrece el mejor valor aproximado¹².

El número de estudiantes en los grados objetivo es la medida de tamaño por excelencia utilizada en distintas evaluaciones internacionales. Por ejemplo, PISA solicita el conteo de estudiantes de 15 años en cada escuela, TIMSS el conteo de estudiantes en los grados cuarto y octavo, PIRLS el conteo de estudiantes en cuarto grado, e ICCS el conteo de estudiantes de 14 años.

Para XXXXXXX los grados de interés son terceroo y sexto, por lo que la medida de tamaño será la matrícula en estos grados para cada escuela. En TXXXXXXX¹³ se utilizaron tres variables para calcular la medida de tamaño: la matrícula en terceroo, la matrícula en sexto, y la suma de ambas matrículas, según el estrato al que pertenecía la escuela.

3.3 Marco de muestreo

El marco de muestreo es una lista de todas las escuelas del país que cumplen las condiciones para ser parte del estudio y que tienen estudiantes matriculados en los grados objetivo. Esta es la lista de la cual se seleccionará la muestra de escuelas que participarán en el estudio. Se espera que este marco incluya cualquier escuela que pueda tener estudiantes matriculados en terceroo y sexto, incluso aquellas escuelas que podrían ser excluidas o consideradas inelegibles (porque en el momento de la aplicación no tienen estudiantes que cumplan todos los requisitos, por ejemplo).

El marco muestral es, por lo general, una hoja de cálculo que contiene una sola entrada para cada escuela. Esta entrada incluye un número de identificación único, los valores de las variables de estratificación para la escuela y la medida de tamaño escolar previamente definida. Si no existieran estimaciones razonables para la medida de tamaño escolar o si los datos disponibles estuvieran desactualizados, las escuelas tendrían que ser seleccionadas con probabilidades iguales, lo que podría requerir un aumento en el tamaño de la muestra¹⁴. Cabe mencionar que si el plan de muestreo requiere una estratificación explícita, debería existir un marco de muestreo separado para cada estrato explícito, o equivalentemente una variable que indique el estrato al que pertenece cada escuela.

Una vez los países envían el marco de muestreo, es necesario realizar una serie de validaciones. Por ejemplo, verificar que los datos estén actualizados, que la información coincida con cualquier reporte que el país haya realizado previamente y con los datos de las aplicaciones anteriores del estudio, revisión de escuelas excluidas, de valores duplicados y datos faltantes.

Esta tarea es muy importante, puesto que un marco de muestreo bien construido y que no esté contaminado con datos incorrectos o duplicados, proporciona una cobertura completa de la población objetivo, lo cual afecta directamente las probabilidades de selección de las escuelas, sus pesos, las estimaciones finales y, en general, los resultados del estudio.

Por último, una vez que las escuelas sean seleccionadas y accedan a participar en el estudio, deben enviar un listado actualizado con todos los estudiantes elegibles (todos los estudiantes en grados terceroo y sexto). Este listado debe tener un número de identificación para cada estudiante y especificar para cada uno el género, la edad, el grado al que pertenece y si tiene algún tipo de discapacidad que le impida presentar la prueba.

3.3.1 Unidades de muestreo

En esta propuesta se consider que la unidad primaria de muestreo (UPM) son las escuelas (en la primera etapa del muestreo). Las unidades secundarias de muestreo (USM) son los estudiantes (en la segunda etapa del muestreo). Estas serán las unidades de selección establecidas para todos los países, para efectos de comparabilidad. Sin embargo, en algunos casos esta unidad puede cambiar teniendo en cuenta la estructura particular del sistema educativo, al estructura de las escuelas y de los programas escolares.

3.3.2 Unidades de observación

La unidad de observación para XXXXXXX son los estudiantes, aquellos que son seleccionados para presentar la prueba. De estas unidades de observación se desprenderá el análisis de ítems que permitirá establecer la viabilidad de los mismos en el estudio principal. Nótese que no sólo se trata de validar los instrumentos cognitivos. Por ejemplo, el TXXXXXXX contó con cuestionarios para estudiantes, familias, profesores y directores. La información consultada mediante estos instrumentos hizo posible realizar análisis de factores asociados respecto de las características principales de los sistemas educativos participantes.

3.3.3 Unidades de análisis

Corresponden a los diferentes niveles de desagregación establecidos por los países para consolidar el diseño probabilístico y sobre los que se presentan los resultados de interés. Adicional a esto, es necesario tener en cuenta que la unidad principal de análisis es el país.

3.3.4 Periodo de referencia

Según la necesidad establecida en el pliego de condiciones donde se afirma que:

“De acuerdo con el cronograma técnico del XXXXXXX-2019, durante los años 2017 y 2018 se encuentran previstos dos grandes procesos para la consecución del estudio. Durante el primer año, se considera la preparación de los marcos de referencia y el diseño de los instrumentos de evaluación, para las pruebas de logros de aprendizaje y de factores asociados. El proceso de pilotaje de instrumentos se realizará en el año 2018, todo como preparación para la aplicación definitiva prevista para el año 2019, y la respectiva entrega de resultados en 2020.”

Luego, el periodo de referencia del estudio piloto está dado para el año 2018.

3.4 Exclusiones

Al aplicar un estudio como XXXXXXX es necesario considerar algunos escenarios en los que un grupo de escuelas o estudiantes es excluido. Por ejemplo, puede ser que un país requiera excluir una región geográfica pequeña por los problemas logísticos que una aplicación en esa zona pueda generar (zonas de difícil acceso), o que deba excluir un grupo étnico por razones políticas o porque sus miembros no hablan el idioma oficial en el que se aplicará la prueba.

Todos estos casos en los que es posible realizar algún tipo de exclusión deben ser definidos para todos los países participantes, teniendo en cuenta que las tasas de exclusión deben ser limitadas. En otras palabras, se debe evitar excluir una proporción significativa de escuelas o estudiantes, puesto que afectaría los resultados del estudio y no serían representativos de todo el sistema escolar del país. En conjunto, se espera que las exclusiones a nivel de escuelas y estudiantes no superen el 5% de la población objetivo.

Todas las exclusiones presentadas por el país deben ser analizadas para garantizar que no superan las proporciones establecidas, que no afectan la representatividad, que se trata de cifras actuales y reales (se sugiere que el país comparta, en la medida de lo posible, sus fuentes de información), que estuvieran dentro de las exclusiones definidas, y que sean coherentes con los datos de las aplicaciones anteriores del estudio.

Las exclusiones adicionales propuestas por el país pueden ser negociadas, siempre y cuando no superen el porcentaje de exclusiones permitido. Por ejemplo, en PISA es posible considerar excluir las escuelas con menos de tres estudiantes elegibles, si el país no ha superado la tasa de exclusión escolar del 2,5%; además, si estas escuelas representan menos del 0,5% de estudiantes, si estas exclusiones se han realizado en aplicaciones anteriores y si no ocasionan la pérdida de estratos enteros, se pueden excluir¹⁵.

3.4.1 Exclusión a nivel de escuela

La propuesta para las categorías de exclusión a nivel de escuela a ser consideradas en XXXXXXX son:

• Escuelas de difícil acceso debido a su ubicación geográfica remota. Estas no deben superar el 0,5% del número total de estudiantes.
• Escuelas pequeñas con menos de cuatro estudiantes en los grados de interés. Estas no deben superar el 2% del número total de estudiantes. Cabe resaltar que en ese 2% se deben excluir las escuelas más pequeñas entre las que tengan menos de cuatro estudiantes.
• Escuelas que imparten educación únicamente a estudiantes con necesidades educativas especiales, con discapacidades intelectuales o funcionales, o con experiencia limitada en el lenguaje de evaluación. Estas no deben superar el 2% del número total de estudiantes.
• Escuelas con una estructura o currículo radicalmente diferente al sistema educativo convencional, identificadas a priori por los Coordinadores Nacionales del XXXXXXX en cada país.

Con respecto a las escuelas pequeñas, es importante mencionar que esta es una característica que puede relacionarse con otras variables como ruralidad o escuelas multigrado. Al excluirlas, se debe tener cuidado de no reducir considerablemente el tamaño de estas subpoblaciones de interés. De igual forma, en países caracterizados por escuelas pequeñas, excluirlas causaría una pérdida de representatividad¹⁶.

3.4.2 Exclusión a nivel de estudiante

La propuesta de categorías de exclusión a nivel de estudiante a ser consideradas en XXXXXXX son estudiantes con discapacidades o con insuficiencia en el idioma de la prueba. Estas son las categorías utilizadas en evaluaciones internacionales como PISA, TIMSS y PIRLS .

• Estudiantes con discapacidades funcionales: estudiantes con discapacidades físicas permanentes que les impiden presentar la prueba. Aquellos estudiantes con algún tipo de discapacidad física que no represente un impedimento para ser evaluados deben presentarla.
• Estudiantes con discapacidad intelectual: estudiantes que han sido evaluados por personal médico y cuyo diagnóstico haya sido discapacidad intelectual, o que, según la opinión profesional del director de la escuela o de otros miembros calificados de la escuela tienen un retraso cognitivo tal que no pueden ser evaluados válidamente. Esto incluye a los estudiantes que son emocional o mentalmente incapaces de seguir incluso las instrucciones generales de la prueba. Cabe resaltar que los estudiantes no deben ser excluidos únicamente por mal desempeño académico o por problemas disciplinarios.
• Estudiantes con experiencia insuficiente en el idioma de la prueba: estudiantes con una experiencia lingüística insuficiente que no pueden leer o hablar el idioma de la prueba. Estos estudiantes no son hablantes nativos del idioma de evaluación, tienen una competencia limitada en el mismo y han recibido menos de un año de instrucción en dicho lenguaje.

Debido a que los criterios de discapacidad varían de un país a otro, es importante que los países consideren las normas internacionales que rigen la inclusión escolar de las personas en condición de discapacidad mental o física. En caso de que sea necesario excluir un grupo de estudiantes que no se haya definido previamente (por ejemplo, estudiantes con otro tipo de trastornos de aprendizaje como dislexia), debe analizarse la posibilidad de agregar una categoría de exclusión adicional.

Todas estas exclusiones deben ser debidamente documentadas, indicando el número de estudiantes en la población objetivo y el número de estudiantes excluidos a nivel de escuela.

3.5 Tasas de participación y cobertura

Las tasas de participación aceptables deben definirse tanto para escuelas como estudiantes, a continuación presentamos una revisión de las tasas definidas para algunos estudios internacionales.

Tasa de respuesta para las escuelas

Por ejemplo, en PISA la tasa de respuesta requerida para las escuelas originalmente muestreadas es del 85%, la cual podía estar entre 65% y 85% al considerar los reemplazos. Aquí es importante tener en cuenta que una escuela es considerada participante si por lo menos el 50% de los estudiantes que debían presentar la prueba, efectivamente la presentan. Mientras que en TXXXXXXX, la tasa de respuesta requerida fue del 80%, donde por lo menos el 70% de las escuelas debieron ser las originalmente muestreadas.

Tasa de respuesta para los estudiantes

En PISA, la tasa de respuesta ponderada global requerida para los estudiantes es 80%. Si la tasa de participación de los estudiantes dentro de una escuela está entre el 25 y el 50%, entonces esa escuela no es considerada para calcular las tasas de respuesta, pero si hace parte de la base de datos completa del estudio. Si la tasa de participación de estudiantes no alcanza el 25% entonces esa escuela no es considerada ni para los cálculos, ni en la base de datos. Por su parte, TXXXXXXX requirió de una tasa de participación de estudiantes igual o mayor al 80%.

Tasa de respuesta conjunta

Evaluaciones internacionales como TIMSS e ICCS proponen tasas de participación en las que el criterio de validez se debe cumplir para escuelas y estudiantes para que sean aceptables. Por ejemplo, en TIMSS para que la muestra sea aceptable debe cumplir una de las siguientes condiciones:

1. Tener una tasa de participación escolar mínima del 85% para escuelas originalmente muestreadas; una tasa mínima de participación en el aula del 95% para las escuelas originalmente muestreadas y las escuelas de reemplazo; y una tasa de participación mínima de estudiantes del 85% para las escuelas originalmente muestreadas y las escuelas de reemplazo.

2. Tener un mínimo combinado de escuela, aula y tasa de participación de estudiantes del 75%, para escuelas originalmente muestreadas (aunque las tasas de participación en el salón de clases pueden incluir escuelas de reemplazo).

Por otro lado, en ICCS se han establecido las siguientes tres categorías, teniendo en cuenta que una escuela es considerada participante si al menos el 50% de sus estudiantes contesta la prueba.

1. Categoría 1: Tasa de participación satisfactoria sin el uso de escuelas de reemplazo. Es aceptable si se cumple uno de los siguientes criterios:

• 85% de participación en la escuela y 85% de la tasa de respuesta de los estudiantes (los porcentajes se redondean al número entero más cercano, ponderado o no ponderado)
• 75% combinando escuela y estudiantes

2. Categoría 2: Tasa de participación muestral satisfactoria con el uso de escuelas de reemplazo:

• Sigue los mismos criterios de la categoría 1, pero incluidas las escuelas de reemplazo y dado que al menos el 50% de las escuelas originalmente muestreadas participaron.
• El reporte incluye anotaciones de sesgo potencial

3. Categoría 3: No se cumplieron los requisitos anteriores, pero cumplen con los procedimientos de muestreo

• Los resultados aparecerán en una sección separada de las tablas para publicación.

Propuesta para el XXXXXXX

La propuesta para XXXXXXX incluye cuatro categorías para las dos clasificaciones establecidas: escuela y estudiantes.

1. Tasa de respuesta satisfactoria: más del 85% de respuesta antes de reemplazos.
2. Tasa de respuesta aceptable: entre el 70% y 85% de respuesta antes de reemplazos y más del 85% de respuesta después de reemplazos.
3. Tasa de respuesta intermedia: entre el 70% y 85% de respuesta antes de reemplazos y entre el 70% y 85% de respuesta después de reemplazos.
4. Tasa de respuesta no aceptable: Menos del 70% de respuesta antes de reemplazos y menos del 70% de respuesta después de reemplazos.

La siguiente figura muestra la distribución sugerida para la categorización del levantamiento de la información, según las tasas de participación en cada país.

Categorización propuesta según las tasas de participación para XXXXXXX

3.6 Parámetros de interés

Al aplicar pruebas estandarizadas para medir el logro de aprendizaje de los estudiantes se obtiene un conjunto de respuestas a los ítems evaluados. Con esta información, los parámetros de interés en el estudio piloto del XXXXXXX deben relacionarse con la dificultad de los ítems y su adecuación al constructo que se intenta medir. Con base en lo anterior, también se busca estimar la habilidad de los estudiantes de cada país participante, puesto que se trata de características no observadas. Este proceso de estimación puede realizarse a través de distintos métodos, entre ellos el uso de valores plausibles, definidos como una imputación aleatoria para cada estudiante, la cual indica el nivel probable de desarrollo de las competencias evaluadas. Estos valores surgen de la distribución de las puntuaciones de los estudiantes y contienen un error aleatorio. Los valores plausibles son adecuados para describir el desempeño de la población en su conjunto, puesto que producen estimadores consistentes de los parámetros poblacionales¹⁷.

En general, este documento considera los siguientes parámetros poblacionales de interés como estructura de la estrategia de estimación:

• Total poblacional: se define como la suma de las observaciones de la variable de interés en la población. Se calcula mediante la siguiente ecuación:

\[t_y = \sum_U y_k\] En donde \(U\) hace referencia al universo de estudio e \(y_k\) hacer referencia a la variable de interés en el \(k\)-ésimo individuo.

• Promedio poblacional: se define como la suma de las observaciones de la variable de interés en la población dividida por el tamaño poblacional \(N\). Se calcula mediante la siguiente ecuación:

\[\bar{y}_U = \frac{t_y}{N}\]

• Proporción poblacional: es un promedio sobre una variable dicotómica \(z_k\) que toma el valor de 1 si el \(k\)-ésimo individuo tiene el atributo de interés y de 0 en otro caso. Se calcula mediante la siguiente ecuación:

\[P_U=\frac{\sum_U z_k}{N}\]

• Razón poblacional: se calcula como el cociente de dos totales, el primer total asociado a una variable de interés \(y\), el segundo total asociado a una variable de interés \(\mathbf{Z}\). Se calcula mediante la siguiente ecuación:

\[R_U=\frac{t_y}{t_z}\]

en donde \(t_y\) es el total poblacional asociado a la variable \(y\), \(t_z\) es el total asociado a la variable \(\mathbf{Z}\).

3.6.1 Parámetros con información de estudiantes

La información de los estudiantes permite identificar las diferencias que existen entre los países en cuanto a la relación que tienen algunos factores de contexto (a nivel de estudiantes, escuelas, etc.) con el logro académico. De igual forma, con esta información es posible estimar la medida en que las escuelas refuerzan o disminuyen los efectos de los factores que, a nivel de estudiantes, están asociados con el desempeño. Finalmente, es posible hacer seguimiento a los cambios que estas variables tienen a través del tiempo, realizando comparaciones con las versiones anteriores del estudio.

Algunos ejemplos de estos parámetros son:

1. Desempeño medio nacional en matemáticas, ciencias, lectura y escritura (puntaje promedio).
2. Desempeño medio por subpoblación de interés en matemáticas, ciencias, lectura y escritura (puntaje promedio).
3. Porcentaje de estudiantes por país categorizados en un nivel de desempeño particular.
4. Porcentaje de estudiantes por subpoblación de interés categorizados en un nivel de desempeño particular.
5. Diferencias en los resultados entre los países .
6. Porcentaje de estudiantes en una categoría del nivel socioeconómico del XXXXXXX.

Es importante mencionar que los resultados más importantes acerca de los logros de aprendizaje de los estudiantes son el puntaje promedio y los niveles de desempeño. El puntaje promedio es una medida cuantitativa del desempeño de los estudiantes y tiene una escala con una media centrada en 700 y desviación estándar 100. Los niveles de desempeño, por otro lado, son una medida cualitativa que indica lo que los estudiantes saben o son capaces de hacer de acuerdo al nivel en que son ubicados.

3.6.2 Parámetros con información de docentes y escuelas

La información de docentes y escuelas permite identificar las diferencias que existen entre los países en cuanto a la relación que tienen los factores a nivel de escuela y aula con el logro académico. Asimismo, es posible analizar el porcentaje de la varianza que es explicada por diferencias entre o dentro de las escuelas y cómo esa proporción cambia entre países. Finalmente, al igual que con la información por estudiante, es posible hacer seguimiento a los cambios que estas variables tienen a través del tiempo.

---

7. ver UNESCO – OREALC (2016), Reporte Técnico TXXXXXXX pg. 200↩

8. ver PISA (2012), Technical Report. pg. 71↩

9. ver PISA (2012), Technical Report. pg. 81↩

10. ver Gutiérrez, A. (2015), pg. 83↩

11. ver UNESCO – OREALC (2016), Reporte Técnico TXXXXXXX, págs. 211 y 212↩

12. ver Joncas, M. & Foy, P. (2013), pg. 10↩

13. ver UNESCO – OREALC (2016), Reporte Técnico TXXXXXXX, pg. 214↩

14. ver Joncas, M. & Foy, P. (2013), págs. 10 y 11↩

15. ver PISA (2012), Technical Report, pg. 82↩

16. ver UNESCO – OREALC (2016), Reporte Técnico TXXXXXXX, pg. 204↩

17. ver PISA (2012), Technical Report, págs. 146 – 147↩