RESUMEN

A partir de los resultados de los exámenes de Estado de la educación media en Colombia (ICFES) en el periodo 1980–2009, el estudio estima dentro de un análisis multinivel, el efecto colegio por sector educativo y para tres pruebas (total, lenguaje y matemáticas). Los resultados sugieren que independientemente de la prueba, el efecto colegio público siempre ha sido menor que el privado y que la incidencia en la prueba de matemáticas es siempre mínima. Igualmente, que a partir del 2000 se registra una caída considerable en el coeficiente, lo cual puede estar relacionado con el cambio de las pruebas en dicho año. Finalmente, con un análisis intertemporal de los percentiles de los puntajes, se encuentra que los colegios privados tradicionalmente han estado mejor posicionados en las pruebas que los públicos.

Palabras clave. ICFES; efecto colegio; sector educativo; análisis multinivel; pruebas Saber

Estimating the school effect in Colombia: 1980–2009

ABSTRACT

Based on the results from ICFES tests (Colombian equivalent of the American SATs) from 1980 to 2009, the study uses a hierarchical/multi-level analysis to provide an estimate of the school effect in each educational sector for three different tests. The results suggest that the public school effect has always been smaller than that of private schools in the last thirty years and that the effect on the mathematics section of the test is always smaller, regardless of the educational sector. They also indicate that since 2000 there has been a considerable drop in the coefficient, which could be related to the change in the tests that year. Lastly, an intertemporal analysis of score percentiles reveals that private schools have traditionally ranked higher than their public counterparts.

Keywords. ICFES test; school effect; educational sector; hierarchical analysis; pruebas Saber

Estimativa do "efeito colégio" na Colômbia: 1980–2009

RESUMO

A partir dos resultados das provas de ingresso na educação superior na Colômbia (ICFES) no período entre 1980 e 2009, o estudo estima, dentro de uma análise multinível, o "efeito colégio" em cada setor educativo e para três provas distintas. Os resultados sugerem que independentemente da prova, o "efeito colégio" público sempre foi menor que o privado e que a incidência na prova de matemática é sempre a mínima. Também a partir de 2000, se registra uma queda considerável no coeficiente a qual pode estar relacionada com a alteração das provas no dito ano. Finalmente, com uma análise intertemporal dos percentis das pontuações, se conclui que os colégios privados tradicionalmente se posicionaram melhor que os colégios públicos nas provas.

Palavras-chave. ICFES; efeito colégio; setor educativo; análise multinível; pruebas Saber

Introducción

El creciente interés y necesidad de diseñar reformas educativas en el país que mejoren los resultados de la educación, entre ellas la calidad, a la par de la cobertura, ha generado un sinnúmero de investigaciones que buscan identificar el posible espacio y alcance de las políticas educativas así como aquellos factores sobre los cuales las autoridades educativas deberían focalizar su inversión social y sus esfuerzos para que estos realmente sean factores estratégicos de movilización social y desarrollo económico.

Estos trabajos, en su mayoría, han utilizando como principal insumo de información los resultados de los estudiantes en pruebas estandarizadas. El presente estudio sigue dicha línea de trabajo. Con base en los resultados nacionales de las últimas tres décadas de los exámenes de ingreso a la educación superior en el país, más conocidos como pruebas ICFES (ahora pruebas de Estado de la educación media o pruebas icfes Saber 11), y tradicionalmente utilizados como indicadores de calidad de la educación inicial, el estudio tiene dos objetivos. El primero es analizar el comportamiento de la incidencia del colegio en la variabilidad del puntaje, discriminando por sector educativo, a través de la estimación intertemporal del efecto colegio entre 1980 y 2009, buscando verificar adicionalmente si los cambios efectuados a las pruebas a inicios de esta última década produjeron cambios significativos en dicho efecto. El segundo objetivo es verificar cómo se ha comportado la brecha en términos de logro académico agregado o promedio entre los colegios privados y públicos en el periodo de análisis.

Considerando que el proceso educativo presenta una estructura jerárquica donde los estudiantes están agrupados en unidades de nivel más alto, en este caso colegios, el efecto colegio o efecto escuela es estimado dentro de un análisis multinivel. Este coeficiente corresponde al porcentaje de la variabilidad del puntaje atribuible al colegio y se estima para tres pruebas distintas (total, lenguaje y matemáticas) y discriminando por la naturaleza (público-privada) de los colegios con el objetivo de identificar si existen y persisten diferencias sectoriales y/o por área de conocimiento. Por su parte, las diferencias en el logro medio entre colegios públicos y privados se analizan a partir de los percentiles de los puntajes.

El trabajo se divide en cuatro capítulos esenciales. El primero hace un repaso de cómo se ha abordado en Colombia el tema de la evaluación y medición de la calidad de la educación. El segundo describe el análisis multinivel o jerárquico aplicado al proceso educativo. En el siguiente se muestran los resultados. El último capítulo concluye.

1 Educación en Colombia: calidad y rendimiento

Dentro de la Reforma Constitucional colombiana de 1968 se creó, además de Colciencias, Proexpo (ahora Proexport) y Colcultura, entre otras entidades, el Instituto Colombiano para el Fomento de la Educación Superior (ICFES) como ente adscrito al Ministerio de Educación Nacional (MEN). El ICFES sustituyó al Fondo Universitario Nacional y adquirió la responsabilidad de evaluar la educación básica así como la de expandir la educación superior en el país (Caballero, 2009).

Una de las primeras dependencias establecidas en el Instituto fue el Servicio Nacional de Pruebas (SNP), a quien se le encargó la realización de los primeros exámenes nacionales a estudiantes de undécimo grado en agosto de 1968, exámenes que tomaron el nombre de pruebas ICFES o pruebas de Estado. Estas constituyen un conjunto de pruebas estándar para todos los estudiantes colombianos, que se vienen realizando sin interrupciones desde su creación y cuyo objetivo básicamente es verificar lo aprendido por los alumnos en sus colegios.

A excepción de los años 1986, 1988 y 1991 donde se realizaron las pruebas sólo una vez en el año en el mes de agosto y en 1994 (año en el cual se efectuó sólo en el primer semestre en el mes de marzo), los exámenes se realizan semestralmente; aunque en promedio entre el 60% y 70% de los estudiantes lo presentan en la segunda parte del año pues los colegios en el país pertenecen en su mayoría al calendario A.²

A pesar que las pruebas existen desde hace más de cuatro décadas, sólo hasta inicio de los años noventa, durante el gobierno del presidente César Gaviria Trujillo (1990– 1994), la calidad de la educación básica tomó relevancia como objeto de política y tema de estudio. Esto se logró a través del Plan de Apertura Educativa y del Sistema Nacional de Evaluación de la Calidad de la Educación (SINECE)³ (para detalles véase MEN, 2010).

Como resultado de estos programas se crearon otras pruebas Saber, cuyos evaluados inicialmente eran los estudiantes de los grados tercero, quinto, séptimo y noveno escogidos aleatoriamente de instituciones oficiales y no oficiales, que a su vez eran seleccionados de forma aleatoria por la entidad. A partir de la Ley 715 (Congreso de la República de Colombia, 2001), estas pruebas adquirieron el carácter obligatorio y censal a alumnos de grado quinto y noveno en todos los colegios, sin importar su naturaleza, y están siendo aplicadas cada tres años.⁴

Igualmente, se introdujo la Ley 30 (Congreso de la República de Colombia, 1992) que desde ese momento hace obligatorio la presentación de las pruebas de Estado para ingresar a la educación superior, ya sea universitaria, técnica o tecnológica, a la par que los conceptos de calidad y vigilancia de la educación tomaron importancia. Con esta normativa los exámenes de Estado se convirtieron en un conjunto de pruebas aplicadas no sólo por estudiantes que se encuentran cursando el último grado de secundaria media (generalmente grado once), sino también por aquellas personas que, teniendo el título de bachiller, requieren aplicar a la prueba para tramitar su ingreso a la educación superior. Es por esto que las pruebas Saber 11 se conocen también con el nombre de exámenes de ingreso a la educación superior.⁵

Las pruebas realizadas entre 1980 y 1999 tenían una duración de dos días (sábado y domingo) y cada día se dividía en dos secciones de al menos cuatro horas. El puntaje oscilaba entre 0 y 400, siendo 400 una calificación "muy superior". A partir del 2000 las pruebas han sido objeto de varios cambios en cuanto a metodología y forma se refiere, con el objetivo de hacerlas más útiles para los actores educativos, para la sociedad en general, y para el seguimiento y evaluación de la calidad de la educación en el país. Se fue reduciendo la duración de la prueba así como el número de preguntas, aunque el puntaje por pregunta aumentó y se han modificado los componentes evaluados así como la metodología de evaluación y puntuación (ICFES, 2005). Esta nueva metodología del examen, al informarle al estudiante sobre el nivel de sus competencias y al brindarle la posibilidad de profundizar en ciertas áreas de interés, le aporta elementos importantes para la orientación de su opción o carrera profesional.

Por otra parte y como resultado de la búsqueda del mejoramiento de la calidad, de todo el sistema educativo del país, se creó en el 2004 las pruebas ECAES (Exámenes de Calidad de la Educación Superior) dirigidas a los estudiantes universitarios y cuyo objetivo es medir la calidad de la educación superior y así tener una guía adicional para el diseño de las políticas educativas. Con la Ley 1321 (Congreso de la República de Colombia, 2009) la presentación del ECAES, ahora pruebas Saber Pro, es requisito para obtener el título profesional.

La actual prueba de Estado de la educación media, conocida como prueba Saber 11, comprende la mayoría de temas estudiados durante toda la vida estudiantil. Se divide en al menos ocho áreas fundamentales, contiene un componente flexible de profundización entre lenguaje, matemáticas, biología e historia y una prueba interdisciplinaria en donde se escoge uno de los siguientes temas: medio ambiente, violencia o sociedad.

Todas estas modificaciones, efectuadas por el ICFES en conjunto con el MEN, tienen como finalidad que los alumnos demuestren su potencial y competencia académica a partir de los conocimientos adquiridos en su vida escolar. En este orden de ideas, las nuevas pruebas evalúan competencias más que conocimientos y memoria, que era en lo que se centraban las anteriores pruebas.

En otros términos, las actuales pruebas, específicamente las pruebas Saber 11, tienen como fin comprobar el grado de desarrollo de las competencias de los estudiantes de secundaria media

Esto ha derivado en que los exámenes del icfes sean utilizados de manera creciente como proxies de desempeño de los alumnos y de los establecimientos educativos, apoyando de esta manera los procesos de mejoramiento de la calidad de las instituciones educativas públicas y privadas de educación básica, media y superior en el país.

La importancia de los exámenes del icfes radica en su uso potencial como insumo para la construcción de indicadores de calidad del servicio educativo impartido por el sistema. Desde la aparición de los estudios seminales sobre educación de Coleman, Campbell, Hobson, Mcpartland, Mood, Weinfeld y York (1966) y Jencks (1972), una de las técnicas tradicionales, aunque aún discutidas, para medir la calidad de la educación básica, utiliza los resultados de pruebas estándares externas como el SAT⁶ en los Estados Unidos, los TIMSS⁷ a nivel internacional, el SIMCE⁸ en Chile, el ENEM⁹ en Brasil, el EXANI¹⁰ en México, el SweSAT¹¹ en Suecia y las pruebas del ICFES en Colombia (ICFES, 2005). Otros indicadores utilizados para ampliar el análisis de la cobertura y calidad de la educación son los de eficiencia interna (tasa de reprobación, repitencia, supervivencia, continuidad, promoción y deserción) y la tasa de asistencia escolar, cobertura neta y bruta. Para más detalles sobre la teoría de la eficacia escolar y medición de la calidad véase López (2010).

A través de este tipo de pruebas, puede medirse el desempeño o logro de los estudiantes y así evaluar la calidad de la educación que estos han recibido a lo largo de su vida escolar. El uso de los puntajes de exámenes estandarizados supone que éstos son indicadores de éxito futuro en estudios post-secundarios y/o en el mercado laboral. En este contexto, el estudio utiliza las pruebas Saber 11 y sus puntajes entre 1980 y 2009, para aproximarse a la cuantificación de la calidad de la educación básica colombiana y así determinar qué tanto tienen que ver los colegios en el desempeño o rendimiento de los estudiantes de secundaria del país y si existen brechas de logro entre los sectores de la educación.

Adicional al puntaje en la prueba total, se utiliza también el puntaje en el componente de matemáticas y en el de lenguaje. Esta discriminación permite verificar posibles diferencias en el efecto colegio y, en las investigaciones que estudian los determinantes de la calidad educativa, permite identificar y comparar la dirección y la magnitud de los determinantes del logro en distintas áreas del conocimiento.

Finalmente, dado que las pruebas Saber no son iguales año a año, es necesario homogeneizar las pruebas si se quiere hacer un análisis a través del tiempo y por sector de los puntajes de las mismas. Esta homogenización es necesaria dado que la prueba de un determinado año no tiene las mismas preguntas ni necesariamente el mismo énfasis o componente que la prueba de otro año y las pruebas de 1980 a 1999 tenían una metodología de evaluación distinta a las del periodo posterior al 2000.

Una forma de hacer esta homogenización es calculando los percentiles de los puntajes. El percentil divide el conjunto ordenado de los puntajes de cada uno de los alumnos de forma que un porcentaje de tales datos sea inferior a dicho valor. Así por ejemplo, un alumno ubicado en el percentil 0,8 está por encima del 80% de alumnos que presentaron las pruebas. En este sentido, posición, lugar, ubicación o ranking son sinónimos de percentil.

Cabe aclarar que esta transformación —por cierto novedosa en el país— sigue teniendo las mismas desventajas que los puntajes sin transformación a la hora de medir la calidad de la educación, aunque sí permiten utilizar series de corte transversal independientes de estudiantes (time series of cross-section, TSCS) y realizar un análisis intertemporal, lo que no es posible si se toman los puntajes tal cual.

2 Análisis multinivel

El proceso educativo presenta una estructura jerárquica o multinivel, ya que los estudiantes de un mismo colegio comparten ciertas características y experiencias educativas que inciden en el desempeño de estos en actividades curriculares y extracurriculares y los hace similares.

Otros casos en ciencias sociales donde se presenta este tipo de estructuras son personas en hogares, empleados en empresas, hogares en manzanas, agentes en organizaciones y pacientes en hospitales, entre otros.

En estas condiciones, si una regresión tradicional es realizada, la estimación conducirá a resultados significativamente espurios debido a que los errores estándar estimados serán bajos (estarán inadecuadamente estimados) y por tanto, los ratios t serán altos. Esto se debe a que uno de los supuestos de Mínimos Cuadrados Ordinarios (MCO) es precisamente la independencia de todas las observaciones bajo análisis y que los datos recogidos sigan los principios del muestreo aleatorio simple, lo que no sucede completamente en los casos donde existen jerarquías en las observaciones.

Nótese que en presencia de jerarquías o niveles, la correlación promedio existente entre las variables medidas en los estudiantes del mismo colegio (correlación intra-clase, intra-grupo o intra-colegio) es mayor que la correlación entre variables medidas en estudiantes de otros colegios (correlación inter-clase o inter-grupo).¹²

Ahora bien, si para evitar violar el supuesto de independencia se opta por agregar la información de estudiantes a nivel de colegios obteniendo valores promedios por colegio (un panel de colegios), la pérdida de información puede estar entre un 80% y 90% de la variación total del logro (Castaño, 1998). Es por ello que en la literatura, el número de estudios con paneles de colegios es relativamente menor en comparación con aquellos estudios que utilizan bases de datos a nivel de individuo (estudiantes).

El análisis que modela tal jerarquía, desarrollado a mitad de los años ochenta, trata la falta de independencia de las unidades no como un problema de los datos sino como una estructura jerárquica inherente del proceso educativo y evita la necesidad de agregar y la posterior pérdida de información. Los modelos utilizados en este análisis son conocidos como modelos multinivel, modelos de componentes de varianza, mixtos o jerárquicos, últimamente muy utilizados en estudios sobre eficacia escolar y de economía de la salud.

El punto de partida en el análisis multinivel es la estimación de los modelos vacíos, también conocidos como modelos de efectos fijos, modelos nulos, modelos de análisis de varianza de una vía con efectos aleatorios & o Intercept Only Models (IOM), los cuales no contienen ningún tipo de variable explicativa ni del primer ni del segundo nivel.

Dado que en este caso se tienen dos niveles: el nivel 1 o micro definido por los estudiantes y el nivel 2 o macro definido por los colegios, los IOM de dos niveles asumen que:

Donde Υ₀₀ que equivale al intercepto es la gran media de la variable respuesta Y, en este caso puntaje, μ_0s es el efecto del colegio (nivel macro o nivel 2) y el efecto del individuo (nivel micro o nivel 1) es r_is.

La Ecuación 1 del nivel 1 indica que el logro del alumno i del colegio s está en función del logro medio del colegio s (β_0s ) más un término de error (r_is). La Ecuación 2 por su parte, correspondiente al nivel 2, indica que el logro medio del colegio s (β_0s) es función de la gran media del logro (Υ₀₀) más un término de error (μ_0s). Uniendo las Ecuaciones 1 y 2 se obtiene el modelo IOM combinado o mixto:

La Ecuación 3 muestra que el puntaje del estudiante se puede descomponer en una gran media de puntaje, un efecto individual y un efecto a nivel de colegio. La estimación de este modelo es por máxima verosimilitud y puede realizarse con la ayuda de distintos software, entre los que se encuentran principalmente MLwiN, HLM y Stata. Este último es el que se utiliza en este estudio. De acuerdo con la Ecuación 3 la varianza del logro sería:¹³

La Ecuación 4 indica que la variabilidad total del puntaje se descompone en variabilidades del nivel micro y macro; σ² es la variabilidad entre los colegios, mientras que τ₀₀ es la variabilidad dentro de colegios. Finalmente, de la Ecuación 4 puede estimarse el coeficiente de correlación intra-clase o intra-colegio que no es otra cosa que el efecto colegio:

El coeficiente ρ mide el porcentaje de la varianza del puntaje atribuible al nivel 2 (colegios); es decir, ρ mide la potencial incidencia de las características propias del colegio como su ubicación, dotación, infraestructura, entorno, tamaño, etc., que no tienen ningún otro colegio y que son relativamente constantes.

Una segunda alternativa para estimar el efecto colegio que puede desarrollarse para efectos de comparación y validación, es la metodología K-M planteada por Kremer y Maskin (1996) —poco empleada en el país—, en la cual se estima un modelo ANOVA donde se controla el logro del estudiante con variables binarias (dummys) por cada colegio para finalmente obtener el r² ajustado. Es precisamente este el efecto colegio porque este muestra el porcentaje de la variabilidad en el puntaje debido a las covariables, en este caso, debido a los efectos fijos de colegio¹⁴ (S), que capturan todas aquellas características propias y constantes de cada colegio. El modelo a estimar sería el siguiente:

3 Resultados

En el análisis únicamente se toman en cuenta los colegios y sus estudiantes que presentaron las pruebas del ICFES en el segundo semestre de cada año y aquellos estudiantes que se lograron parear con el directorio nacional de colegios. Esta segunda mención obedece a que para parear cada estudiante con su respectivo colegio, es necesario tener el directorio de colegios que tiene como variable llave el código de la institución, y no a todos los estudiantes se le logra identificar su colegio.¹⁵ Se excluyen además aquellos estudiantes de colegios con menos de siete alumnos en prueba para así obtener estimaciones de mayor confiabilidad.

La evidencia internacional muestra que, para los países de la Organización para la Cooperación y el Desarrollo Económico (OCDE), el efecto colegio no supera el 15%, mientras que para las economías de bajo ingreso éste se sitúa entre el 30% y 40% según el sector considerado (Casas, Gamboa y Piñeros, 2002).

Dichas diferencias se apoyan en la heterogeneidad de los colegios que se presenta en los países emergentes. Las economías desarrolladas destinan un porcentaje relativamente alto del producto a la educación, por lo que la mayoría de los colegios tienen características muy similares; es decir, las diferencias de la calidad y cantidad de los recursos entre las escuelas de estas economías son relativamente bajas, haciendo que los colegios sean altamente homogéneos (López, 2010).

En contraste, en las economías emergentes o subdesarrolladas, los recursos públicos son multipropósito y tienen altos costos de oportunidad, por lo que en conjunto con otros factores, hacen que el gasto en educación sea bajo. Esto implica que las diferencias en cuanto a cantidad y calidad de los recursos entre los colegios sean altas, haciendo que las escuelas sean más heterogéneas o desiguales. Esta mayor heterogeneidad entre los colegios de países en vía de desarrollo hace que el efecto colegio sea mayor, independientemente del sector educativo analizado.

Ahora bien, la evidencia nacional sobre qué tanto tiene que ver los colegios colombianos en el logro de sus estudiantes de bachillerato en las pruebas de ingreso a la educación superior se muestra en la Tabla 1.

Como se puede apreciar, el efecto colegio depende en gran medida del sector analizado y de la prueba considerada y no tanto de la metodología empleada ni del área de estudio. En resumen, se observa que el efecto colegio público es siempre menor que el efecto colegio privado y que el efecto sobre el logro en matemáticas, independientemente del sector considerado, es siempre mínimo.

En este orden de ideas, la evidencia nacional sugiere, por un lado, que las características propias de los colegios públicos no tienen mayor efecto o incidencia en el desempeño de los estudiantes en pruebas estándar. Sin embargo, esto no significa que aquellas características variantes en el tiempo y que no son exclusivas a determinado plantel educativo, como por ejemplo, la relación alumno docente, el tamaño de la planta docente, las características del plantel docente (como la escolaridad, escalafón, composición y experiencia), el porcentaje de docentes del actual Estatuto Docente (Decreto 1278, Ministerio de Educación Nacional de la República de Colombia, 2002),¹⁶ entre otras variables escolares, no tengan mayor incidencia en el logro estudiantil y, mucho menos, que estudiar la teoría de la eficacia escolar en estas circunstancias no tenga importancia alguna. Por su parte, para los colegios privados y en el agregado, el efecto colegio es relativamente alto, aunque para el logro en matemáticas también el efecto es mínimo.

La baja proporción de la variabilidad en el logro académico explicada por los colegios públicos puede explicarse debido a que estos establecimientos y sus alumnos son más homogéneos que sus similares privados. Esta homogeneidad se debe, entre otras cosas, a que en general las instituciones educativas de naturaleza pública:

Se rigen por la misma norma, están gestionados por la misma administración [Secretarías de Educación], están ubicados (por lo general) en los estratos bajos, están autónomamente limitados [discrecionalidad mínima], están restringidos y/o influenciados por los sindicatos de maestros y la burocracia en el gobierno, y comparten la misma fuente de recursos, entre otras características comunes. (López, 2010, p. 25)

Los siguientes gráficos muestran los resultados del efecto colegio de este estudio. El Gráfico 1 muestra los resultados del IOM para la prueba total¹⁷ por año y según la naturaleza del colegio (público, privado y agregado). El Gráfico 2 muestra los resultados para la prueba de lenguaje mientras que el Gráfico 3 muestra los resultados para la prueba de matemáticas. En los Anexos (Tabla A1) se exhibe la información que sirvió para la elaboración de los gráficos. Aunque no se muestran, similares resultados se obtienen con la metodología de Kremer-Maskin y con los percentiles de los puntajes.

Los resultados son consistentes con la evidencia nacional de la Tabla 1 y hay varios hechos para destacar. En general, se observa que la mayor participación del colegio (sea público o privado) en la variabilidad de los puntajes, ocurre en la prueba total, le sigue sobre la prueba de lenguaje y finalmente sobre la prueba de matemáticas.

Esto sugiere que el colegio, independientemente de su naturaleza, tiene menos que ver en el rendimiento de los estudiantes en matemáticas. La literatura¹⁸ ha demostrado empíricamente que en este tipo de pruebas importa más las habilidades innatas que el colegio y las condiciones socioeconómicas de los alumnos. Por el contrario, en las pruebas de lenguaje, la mayor importancia la tienen las características sociales y económicas del estudiante, seguida por las características del hogar y finalmente, el colegio, por lo que el efecto colegio sobre la prueba de lenguaje es mayor. Finalmente, en la prueba total se requieren todas las herramientas mencionadas.

Por otro lado, los resultados sugieren que el efecto colegio privado en las últimas tres décadas es en todos los casos mayor al efecto colegio ciudad, considerando todos los colegios, y este último a su vez es superior al efecto colegio público; es decir, la participación de los colegios de naturaleza privada en la variabilidad del puntaje total, en lenguaje y en matemáticas, siempre ha sido superior a la participación que tienen los colegios públicos en dichas variabilidades en el logro, aunque dicha diferencia es menor en la década de los ochenta (5–11 puntos porcentuales) pero relativamente alta en la siguiente década (10–24 puntos). Esto significa que las características propias y relativamente constantes de los colegios juegan un mayor papel si el colegio es privado, lo que indica que los colegios públicos y sus alumnos son más homogéneos.

En cuanto a la evolución del efecto colegio se puede afirmar que el porcentaje de variabilidad de los puntajes en la década de los ochenta, especialmente en la prueba total y en lenguaje, presentó una tendencia creciente lo que puede atribuirse o a un crecimiento en la importancia del colegio en el logro o a que los cambios en las pruebas Saber 11 (cambios en las preguntas) ocasionaron que se incrementara la importancia del colegio en la predicción del logro académico.

Por su parte, en la década del noventa se presentó un comportamiento irregular, pero con valores, en general, superiores a los registrados en la década anterior para el agregado y par los colegios privados. Hay una caída importante en el efecto colegio en todas las pruebas y en todos los sectores en 1991, un año antes de entrar en vigencia la Ley 30 de 1992. Dicho declive solo puede ser explicado por la misma prueba en su conjunto, esto es, la prueba de este año afectó de manera considerable la importancia del colegio en la predicción de los tres puntajes de interés pues se llegó a niveles del 7%. Ya en el siguiente año, los porcentajes se acercaron a los registrados a finales de los años ochenta. En 1994 se presentó un pico para los colegios privados y el total, mas no para los planteles públicos. En este año, el efecto colegio privado para la prueba total llegó al 56%, mientras que para el otro sector fue sólo del 27%. Finalizando esta segunda década, los porcentajes son similares a los registrados a final de la primera década de estudio en las tres pruebas y para los sectores analizados.

En síntesis, los promedios por sector (público, privado y total) del efecto colegio en la prueba total para la década del ochenta son de 28,7%, 38,8% y 34,2%, respectivamente; para la prueba de lenguaje son 24,3%, 32,7% y 29,1%, respectivamente; y para la prueba de matemáticas son en su orden, 22,4%, 32,2% y 27,4%. Para la década del noventa los promedios para la prueba total son 26,9%, 42,8% y 36,3%; para lenguaje so 23,3%, 37,2% y 31,6% y finalmente para matemáticas son 22%, 36,4% y 30,2%.

Para el 2000 dichos promedios bajaron drásticamente para todos los sectores y pruebas. Tal y como se puede observar en los gráficos, las líneas y tendencias del tercer cuadrante se encuentran todas por debajo de las líneas de los dos primeros cuadrantes. En otros términos, se evidencia una reducción considerable en el efecto colegio, independientemente del sector y de la prueba, en comparación con los datos históricos desde 1980, aunque dicha reducción es más evidente sobre el logro en la prueba de matemáticas. En el 2009 todos los porcentajes en esta última prueba están por debajo de los datos históricos disponibles, aunque cerca a los promedios de esta última década. El efecto colegio público es de un dígito.

Este fenómeno puede ser explicado por la siguiente razón de peso: los cambios de forma y fondo a las pruebas Saber 11 efectuados a inicio del nuevo siglo modificaron en gran medida la participación del colegio en la variabilidad de los puntajes en toda la década del 2000 o, en otros términos, las últimas diez pruebas no están captando las diferencias entre los colegios, especialmente los públicos. Tal y como lo plantea Casas et al. (2002): "el cambio en el examen [en el 2000] afectó de manera considerable la importancia de la escuela en la predicción del logro del estudiante" (p. 35).

En este contexto es recomendable pensar en el rediseño de las pruebas de Estado, al menos en los componentes del núcleo común del examen, para que estas puedan realmente captar el impacto de los distintos insumos escolares en el desempeño de los estudiantes y capturar por tanto, las diferencias entre colegios. De otra manera, sería difícil el diseño y aplicación de políticas educativas sin tener claridad sobre las diferencias en términos de calidad de la educación entre colegios públicos y privados.

Al respecto, conviene mencionar que el MEN y el ICFES han decidido introducir en el 2010 algunos cambios a las mismas y a la propia entidad —el ICFES — como resultado de la necesidad. Entre estos cambios se destacan los siguientes: 1) los exámenes ya no se llamarán pruebas ICFES sino pruebas Saber; así las cosas, las pruebas para estudiantes de básica primara y secundaria y secundaria media, e incluso el ECAES, tomarán un nombre común: Pruebas Saber; 2) el ICFES ya no denotará Instituto Colombiano para el Fomento de la Educación Superior sino Instituto Colombiano para la Evaluación de la Educación; 3) esta entidad tendrá la competencia exclusiva sobre los exámenes de Estado de educación básica y superior; y 4) esta entidad está habilitada para diseñar y/o aplicar otro tipo de evaluaciones que soliciten organismos públicos o privados, tanto nacionales como internacionales.

Todos estos cambios buscarán por un lado, fortalecer y convertir al ICFES en una institución más independiente y objetiva y en un instrumento y guía de las políticas públicas educativas y, por otro, llevar a que las pruebas Saber permitan una medición del estado de la educación con estándares internacionales.

Por último, los Gráficos 4, 5 y 6 ilustran la evolución inter-temporal de la posición media en las tres pruebas de interés para las escuelas colombianas públicas y privadas. Dicha posición media, como se mencionó anteriormente, se estima con el percentil promedio de los puntajes de los colegios de cada sector. La información utilizada en la realización de los gráficos se encuentra en los anexos (Tabla A2).

Nótese que si no se transformaran los puntajes en percentiles, un análisis intertemporal, y menos para una extensión de tiempo como la que cuenta este estudio, no se podría realizar ya que no se podrían comparar pruebas ICFES distintas (preguntas distintas, énfasis diferente, puntuación, evaluación, competencias y componentes evaluados en forma diferente).

Tal y como se observa en los gráficos, la posición media en el ICFES tanto en la prueba total como en la prueba de lenguaje y de matemáticas, en estas últimas tres décadas siempre ha sido a favor del sector privado. En promedio los colegios privados de Colombia han obtenido en el periodo 1980–2009 una mejor posición, ranking o percentil en las pruebas de Estado. Esto representa una notable desventaja para los estudiantes que se gradúan de instituciones públicas, pues en muchas ocasiones los resultados en las pruebas ICFES son utilizadas como criterios de selección para el ingreso a la educación superior, especialmente en universidades públicas y, en otros casos, el mercado laboral (y/o educativo) preferirá egresados de instituciones privadas por su status y reconocimiento académico.

No obstante, es importante tener en cuenta las diferencias socioeconómicas de los estudiantes de los colegios de un sector con el otro, lo cual afecta el logro académico. Como es sabido, en la mayoría de los colegios privados gran parte de los estudiantes tienen un mejor y mayor status socioeconómico (padres con niveles más altos de escolaridad, mayores ingresos familiares, mejor estrato y ubicación espacial, mejor acceso a bibliotecas, mejor entorno, etc.) que hacen que la institución en términos generales o agregados, tenga una mejor condición socioeconómica de los estudiantes. Dado que la evidencia empírica¹⁹ ha demostrado que las características socioeconómicas de los alumnos son determinantes para el desempeño académico, los estudiantes de colegios públicos están en desventaja.

Dicha brecha en desempeño promedio es mayor entre la mitad de la década de los noventa y la mitad de la década de 2000–2009 y menor en la década de los ochenta, sugiriendo pues que entre 1980 y 1989 la brecha en rendimiento en las pruebas de Estado entre los colegios privados y públicos no era muy alta.

Si se observa el Gráfico 4 en particular, se evidencia que los colegios del sector privado registran un percentil medio en el puntaje total en las tres décadas superior a 52, obteniendo en la última década el dato máximo de 58. Igualmente, se observa una tendencia creciente, lo que sugiere que los colegios del sector cada vez están mejor calificados en la prueba total, en particular, obtienen la mejor posición en el 2005. Los colegios públicos, por el contrario, registran una tendencia decreciente aunque menos volátil y el percentil oscila entre 45 y 49.

Para la prueba de lenguaje y de matemáticas (ver Gráficos 5 y 6, respectivamente), se observa similar comportamiento: una tendencia creciente para el sector privado y decreciente para el público aunque más suavizada.

En este orden de ideas, los colegios privados se encuentran en general, en un lugar más alto en el ranking del ICFES en las tres pruebas de interés.

4 Conclusiones

Los resultados del modelo vacío dentro del análisis multinivel sugieren que el porcentaje de la variabilidad del logro en las pruebas nacionales del ICFES, explicado por las características propias y relativamente constantes del colegio, ha sido en el periodo 1980–2009 siempre menor para los colegios públicos en comparación con los colegios privados y para el total de colegios colombianos.

Dicho efecto es además, independientemente del sector al que pertenezca el establecimiento educativo, mayor para la prueba total y mínimo para la prueba de matemáticas, sugiriendo que el colegio tiene menos espacio en el rendimiento de los estudiantes en pruebas de matemáticas, siendo las condiciones innatas de los mismos el mayor determinante en el rendimiento.

Así mismo, se observa que en la última década los coeficientes bajan y los promedios lo hacen drásticamente, especialmente para el sector público. Esto último sugiere que el cambio de forma y fondo realizado a las pruebas del icfes Saber 11, incidió de manera importante en la estimación del porcentaje de variabilidad del logro atribuible a los colegios. La recomendación aquí es pensar en rediseñar las pruebas del icfes Saber 11 porque los resultados de los estudiantes (y los colegios) son insumo importante para la definición y focalización de políticas públicas en educación. Las pruebas deberían ser capaces de capturar diferencias entre estudiantes e implícitamente entre colegios.

Finalmente, un análisis inter-temporal de los percentiles de los puntajes indica que los colegios privados han venido aumentando su posición media en las pruebas del ICFES desde 1980, mientras que los colegios del sector público han visto disminuida su posición. Más importante, los colegios privados han estado siempre mejor posicionados que los colegios públicos del país.

Sin embargo, esto no significa necesariamente que las escuelas privadas sean de mayor calidad, puesto que las condiciones sociales, económicas, familiares y culturales de los estudiantes de los colegios públicos son en su mayoría, al menos en el país, muy distintas (inferiores o vulnerables) a la de los alumnos de colegios privados, lo que produce una desventaja en la presentación de las pruebas del ICFES, pues la teoría de la eficacia escolar reconoce que las condiciones propias de los estudiantes, su hogar y su entorno, afectan en gran medida el rendimiento de los alumnos.

Por el contrario, la literatura nacional reconoce que los colegios públicos del país son los que tienen en su nómina docentes y directivos docentes con mayor escolaridad y experiencia, siendo el plantel docente un insumo escolar sumamente determinante en la calidad de la educación. En este orden de ideas, si se ha de premiar la calidad de la educación vía logro en pruebas estandarizadas (como ocurre en la ciudad de Medellín con las Olimpiadas del Conocimiento), es importante considerar las condiciones socioeconómicas de los estudiantes.

Finalmente, conviene mencionar que el campo de estudio en este tema es aún amplio, a pesar de la vasta literatura en economía de la educación. Las pruebas Saber se continúan realizando en el país por lo que hay insumos de información importantes. Así mismo, se requieren nuevas evidencias sobre las cuales se puedan basar las políticas públicas educativas que busquen mejorar la calidad de la educación, ya que en el tema de cobertura (acceso) en el país se ha avanzado considerablemente. De igual manera, si las pruebas del ICFES se comienzan a diseñar de tal manera que pueda hacerse un seguimiento académico de los estudiantes a lo largo de su vida escolar, resulta importante desarrollar los respectivos estudios que midan la calidad (y su evolución) de la educación colombiana.

NOTAS AL PIE DE PÁGINA

1. Este artículo está inspirado en el estudio "El papel de los incentivos y los docentes en la calidad de la educación oficial de Medellín" del autor.

2. Argumentos y cifras basadas en el análisis realizado a las bases de datos suministradas por el ICFES. El sistema educativo colombiano cuenta con dos tipos de calendario en el año escolar (A y B). Su diferencia principalmente radica en la fecha de inicio y terminación del año lectivo.

3. El Decreto 61 (Ministerio de Hacienda y Crédito Público de la República de Colombia, 1992) es con el cual se institucionaliza el "Plan de Universalización de la Educación Básica Primaria".

4. Actualmente, estas se conocen como Pruebas icfes Saber 5 y 9, respectivamente para cada uno de los grados.

5. Para más información sobre la entidad y las pruebas ICFES remítase a la página web oficial: http://www.icfes.gov.co.

6. Que denota Scholastic Aptitude Test.

7. Que denota Trends in International Mathematics and Science Study.

8. Que denota Sistema Integral de Medición de la Calidad de la Educación.

9. Que denota Exame Nacional do Ensino Medio.

10. Que denota Examen Nacional de Ingreso a la Educación Media Superior.

11. Que denota Swedish Scholastic Aptitude Test.

12. Más detalle en el trabajo de Hox (1995) y en Bryk y Raudenbush (1986). Para aplicación de este análisis por medio del software Stata se recomienda revisar el texto de Cameron y Trivedi (2009).

13. Aquí Υ₀₀ corresponde a una constante por lo que la varianza de una constante es cero; es decir, var(Υ₀₀) = 0

14. Véanse los trabajos de López (2010), Restrepo y Alviar (2004) y Gaviria y Barrientos (2001) que aplican dicha metodología.

15. En el apareamiento de las bases ICFES con el directorio de colegios se pierden solamente entre el 2% y 4% de las observaciones (estudiantes).

16. Para más detalles sobre el decreto véase el trabajo de López (2010).

17. El cálculo del puntaje total considera las pruebas del núcleo común (las que se consideran fundamentales y por ello deben ser presentadas por todos los estudiantes evaluados), excluyendo idiomas y pruebas flexibles.

18. Véase por ejemplo Barrientos (2008) y Moreno y Piñeros (1998).

19. Desde el trabajo de Coleman et al. (1966) hasta trabajos en el país como el de López (2010), Tobón et al. (2009) y Restrepo y Alviar (2004), se evidencia la importancia de las variables socioeconómicas en el desempeño académico.

Referencias bibliográficas

Barrientos, J. (2008). Calidad de la educación pública y logro académico en Medellín: 2004–2006. Una aproximación por regresión intercuartil. Lecturas de Economía, 68.

Bryk, A. y Raudenbush, S. (1986). A herarquical model for studying school effects. Sociology of Education, 59(1), 1–17.

Caballero, C. (2009). La impronta de Carlos Lleras Restrepo en la economía colombiana de los años sesenta del siglo XX. Recuperado el 1 de mayo de 2011, de http://res.uniandes.edu.co/view.php/599/index.php?id=599

Cameron, A. y Trivedi, P. (2009). Microeconometrics using Stata. College Station, TX: Stata Press.

Casas, A., Gamboa, L. y Piñeros, L. (2002). El efecto escuela en Colombia: 1999–2000. Borradores de Investigación, 27.

Castaño, E. (1998). El efecto colegio sobre la variabilidad del rendimiento en matemáticas. Lecturas de Economía, 49.

Coleman, J.S., Campbell, E., Hobson, C., Mcpartland, J., Mood, A., Weinfeld, F. y York, R. (1966). Equality of educational opportunity. Cambridge: Harvard University Press.

Correa, J. (2004). Determinantes del rendimiento educativo de los estudiantes de secundaria en Cali: Un Análisis multinivel. Revista Sociedad y Economía, 6, 81–105.

Decreto 61, Por el cual se institucionaliza el "Plan Universalización de la Educación Básica Primara", Ministerio de Hacienda y Crédito Público de la República de Colombia. (1992). Recuperado de http://www.presidencia.gov.co/prensa_new/decretoslinea/1992/enero/14/dec0061141992.pdf

Decreto 1278, Por el cual se expide el Estatuto de Profesionalización Docente, Ministerio de Educación Nacional de la República de Colombia. (2002). Recuperado de http://www.mineducacion.gov.co/1621/articles-86102_archivo_pdf.pdf.

Determinantes de la calidad de la educación en Colombia. Archivos de Economía, 159.

Hox, J. (1995). Applied multilevel analysis. Amsterdam: TT-Publikaties.

ICFES. (2005). Nueva estructura de los examines de estado de ingreso a la educación superior y validación del bachillerato académico en un solo examen. Bogotá: Autor.

Jencks, C. (1972). Inequality: A reassessment of the effect of family and schooling in America, New York, NY: Basic Books.

Kremer, M. y Maskin, E. (1996). Wage inequality and segregation by skill. National Bureau of Economic Research working paper, 5718. Recuperado de http://www.nber.org/papers/w5718

Ley 30, Por la cual se organiza el servicio público de la Educación Superior, Congreso de la Republica de Colombia. (1992). Recuperado de http://www.secretariasenado.gov.co/senado/basedoc/ley/1992/ley_0030_1992.html

Ley 715, Por la cual se dictan normas orgánicas en materia de recursos y competencias de conformidad con los artículos 151, 288, 356 y 357 (Acto Legislativo 01 de 2001) de la Constitución Política y se dictan otras disposiciones para organizar la prestación de los servicios de educación y salud, entre otros, Congreso de la Republica de Colombia. (2001). Recuperado de http://www.secretariasenado.gov.co/senado/basedoc/ley/2001/ley_0715_2001.html

Ley 1321, Por medio de la cual se modifican los artículos 2o y 10 de la Ley 122 de 1994, Congreso de la Republica de Colombia. (2009). Recuperado de http://www.secretariasenado.gov.co/senado/basedoc/ley/2009/ley_1321_2009.html

López, S.F. (2010). El papel de los incentivos y los docentes en la calidad de la educación oficial de Medellín. Trabajo de grado no publicado de maestría (meritoria), Universidad de Antioquia, Medellín, Colombia.

Ministerio de Educación Nacional – MEN. (2010). Malas notas en calidad, es tiempo de saber. Recuperado el 10 de agosto de 2010, de http://www.mineducacion.gov.co/1621/article-87176.html

Moreno, H. y Piñeros, L. (1998). Factores asociados al logro en matemáticas en el examen del ICFES: Una comparación entre colegios oficiales y no oficiales. Bogotá: Ministerio de Educación Nacional.

Restrepo, P. y Alviar, M. (2004). El logro académico y el efecto colegio en las pruebas ICFES en Antioquia. Lecturas de Economía, 60.

Sarmiento, A., Becerra, L. y González, J. (2000). La incidencia del plantel en el logro educativo del alumno y su relación con el nivel socioeconómico. Coyuntura Social, 22.

Tobón, D., Posada, H. y Gallego, P. (2009). Determinants of the performance of the schools in Medellin in the High-School Graduation-Year Test (ICFES). Cuadernos de Administración, 22(38), 311–333.