Marzo 2024
BOLETÍN “VOCES DEL CEP” – N°3
En esta tercera edición del boletín “Voces del CEP”, dedicado al análisis de temáticas relevantes para Chile, publicamos una columna de nuestros investigadores Sebastián Izquierdo y Gabriel Ugarte, acerca de los resultados del SIMCE en los Servicios Locales de Educación y la importancia de una comunicación precisa de estos datos.
SLEP y SIMCE: hacia una correcta -y necesaria- lectura de los datos
Sebastian Izquierdo y Gabriel Ugarte, investigadores CEP
«Hemos […] mejorado los resultados en la educación pública», anunció hace algunos días el presidente Gabriel Boric. Cumplidos dos años de mandato urge mostrar avances, sobre todo, en áreas tan sensibles como la educación. Sin embargo, por eso mismo, una afirmación de esa envergadura merece y debe ser respaldada con evidencia concreta.
Los recientes resultados del SIMCE fueron, sin duda, positivos. Por fin comenzamos a movernos hacia niveles comparables a los previos a la pandemia. Algo no menor, considerando que Chile fue uno de los países que más tiempo estuvo sin presencialidad. Pero por muy alentadoras que sean las cifras, no podemos caer en la ceguera del optimismo infundado; estos resultados, en el mejor de los casos, nos dejan en la precaria situación de hace cinco años, con un alto porcentaje de alumnos en niveles insuficientes, es decir que no cumplen con el estándar esperado para su grado escolar. Además, tampoco sabemos si esta tendencia se mantendrá en la próxima evaluación, por lo que la prudencia es aún más necesaria. Así se entienden las declaraciones de nuestras autoridades sobre los «primeros síntomas de recuperación de aprendizajes post-pandemia».
Pero si en términos generales hay que ser cautos, es todavía más importante cuando se hacen lecturas del desempeño de áreas tan sensibles como los establecimientos públicos desmunicipalizados que pasaron a manos de los nuevos Servicios Locales de Educación Pública. Es decir, los ya famosos SLEP que han marcado amargamente la agenda del sector en los últimos meses, por sus dificultades de implementación.
¿Qué nos dicen los resultados del SIMCE respecto del país y de la educación pública?
Los recientes resultados del SIMCE 2023 evidencian mejoras en los desempeños en matemáticas a nivel nacional, tanto en cuarto básico como en segundo medio, en comparación con el año anterior. Sin embargo, mientras que en cuarto básico se han logrado recuperar completamente las pérdidas anteriores, en segundo medio solo se ha alcanzado la mitad de dicho objetivo. En cambio, no se observan mejoras significativas en lectura en ninguno de los dos niveles, lo que preocupa especialmente en el segundo medio, que en 2022 había caído significativamente en puntaje, con más de la mitad de los estudiantes en nivel insuficiente. Estos avances sugieren un indicio de recuperación académica del sistema escolar tras el prolongado cierre de escuelas debido a la pandemia, pero también son un signo de que todavía queda mucho por hacer.
Otro aspecto relevante es que no ha habido un aumento en las disparidades educativas según el nivel socioeconómico; de hecho, se ha observado una reducción de estas disparidades en cuarto básico. Sin embargo, es necesario mencionar que, en segundo medio, aunque las brechas se han mantenido relativamente constantes, en su composición se evidencia que, mientras los niveles socioeconómicos más altos han experimentado mejoras significativas en sus puntajes, esto no se ha reflejado en similar magnitud en los niveles más vulnerables, incluyendo los establecimientos en los grupos socioeconómicos bajo y medio bajo.
Los SLEP, por su parte, mostraron algunas mejoras consistentes con la tendencia nacional. Aunque la educación municipal tiende a mostrar progresos levemente inferiores a los obtenidos a nivel nacional, los SLEP muestran mejoras de magnitud similar o ligeramente superior a nivel nacional. Pero es necesario advertir que estas diferencias se encuentran dentro del margen de error de la prueba SIMCE.
El Gráfico 1 ilustra el incremento en los puntajes en los diferentes niveles y asignaturas para distintos grados de agregación, con sus respectivos intervalos de confianza (los intervalos son estimaciones que indican donde se espera que se encuentre el incremento del puntaje, considerando un margen de error). Como se observa, las mejoras son similares en magnitud entre los niveles nacional, municipal y SLEP (puesto que los intervalos de confianza se traslapan entre ellos). Por ejemplo, en cuarto básico, el rendimiento de los SLEP en matemáticas mejoró 11 puntos que, aunque es superior al incremento del promedio nacional y al obtenido por el sector municipal, no es posible afirmar que la diferencia sea estadísticamente significativa. Por lo tanto, como se advirtió anteriormente, el rendimiento de los SLEP no superó al promedio municipal y nacional. Dicho de otra forma: estadísticamente no se observan diferencias entre los distintos incrementos.
(Puedes ver el gráfico en mayor detalle haciendo clic aquí)
Pero hay otro punto no menor: lo ocurrido en el SLEP de Atacama. (ver destacado).
El año pasado, una prolongada huelga de profesores provocó la suspensión de clases por más de 80 días y la cancelación del SIMCE 2023, impactando a miles de estudiantes. Por tanto, no sería prematuro suponer que esto haya tenido un efecto negativo en el aprendizaje de los estudiantes. Considerando que Atacama representa cerca del 17% de la matrícula de todos los SLEP, este incidente podría haber influido en la evaluación de las mejoras generales observada en la educación estatal. Como este SLEP no se consideró en el promedio SIMCE de 2023 (excepto algunas escuelas en cuarto básico), la mejora en la educación estatal podría estar sobrestimada.
Para obtener una mejor comprensión al respecto, se ha complementado la evaluación del rendimiento de las escuelas del SLEP de Atacama con la Prueba de Acceso a la Educación Superior (PAES) 2024. De este análisis, se observa que las escuelas del SLEP de Atacama tuvieron un desempeño inferior al promedio nacional en comparación con el año anterior. Si se asume que esta baja observada es un reflejo de la pérdida educacional que sufrieron los alumnos de este SLEP, entonces la mejora que se observó en la educación pública estaría sobrestimada, al menos en segundo medio. Esto es así, ya que el potencial desempeño inferior del SLEP de Atacama no estaría reflejado en los promedios de mejora de la educación pública presentados en la última entrega del SIMCE 2023.
(Puedes ver el gráfico en mayor detalle haciendo clic aquí)
Lamentablemente, muchos de los problemas que están en la razón del caso del Atacama son transversales (aunque en diferentes magnitudes) a los once SLEP en funcionamiento en Chile. Esto quedó reflejado en los 24 informes de Contraloría revisados (CEP 2023), donde se identificaron seis deficiencias importantes: problemas en el diseño y coordinación de la nueva institucionalidad, dificultades en la gestión técnico-pedagógica, desafíos en la conservación y adecuación de la infraestructura escolar, ineficiencias en la administración financiera, retrasos y dificultades en la gestión y selección de personal, y desafíos en la integración y participación de la comunidad.
El mensaje político
A pesar de estos resultados, nada más conocerse los puntajes SIMCE, el Ejecutivo se congratuló por lo logrado por los SLEP. Desde luego habría sido una estimulante noticia. El problema es que el comunicado emitido no se apoya en evidencia que así lo sustente. No se trata sólo de ser meticuloso en un tema tan relevante. Se trata también de qué señales se envían al sistema en su totalidad. Es preocupante cuando éstas se basan en imprecisiones relevantes. Y es que la falta de exactitud en un ámbito tan crucial como la educación tiene consecuencias imprevisibles y difíciles de corregir.
Pero desmenucemos lo informado:
“(a) los Servicios Locales de Educación Pública, en promedio, suben sus resultados en todas las asignaturas y niveles. (b) En 3 de los 4 resultados, los SLEP traspasados durante los años 2018, 2019 y 2020, superan las alzas del sector municipal” (Ministerio de Educación 2023)
Primero: Actualmente hay tres cohortes de SLEP, aquellos que se iniciaron en 2018, 2019 y 2020. Al desglosar los promedios según el año de instalación, las mejoras están lejos de ser uniformes como se indica. Por ejemplo, en lectura de cuarto básico, los establecimientos administrados por los SLEP desde 2018 no muestran mejoras significativas, lo mismo ocurre en enseñanza media en matemáticas para las cohortes del 2019 y 2020. Por lo tanto, si bien se han observado avances, estos son irregulares. Decir que «los Servicios Locales de Educación Pública, en promedio, mejoran sus resultados en todas las asignaturas y niveles» es equivoca y no permite poner el acento allí donde aún no hay mejoras.
Segundo: Donde claramente hubo un error es en la segunda parte de la declaración: «En 3 de los 4 resultados, los SLEP traspasados durante los años 2018, 2019 y 2020, superan las alzas del sector municipal». Como vimos, los incrementos de ambos tipos de escuela, según los datos disponibles del SIMCE 2023, no permiten llegar a esa conclusión, ya que las diferencias son tan pequeñas que dejan de ser significativas estadísticamente. No es prudente una afirmación tan categórica en ese escenario. Para afirmar que los aumentos de los SLEPS superan las alzas del sector municipal, habría sido necesario observar aumentos mucho más elevados de los que indican los datos 2023.
Afortunadamente, el fortalecimiento de la Nueva Educación Pública (NEP) es uno de los pilares centrales del programa de gobierno. Actualmente, en el Congreso se debate un proyecto de ley que avanza tímidamente en mejorar esta normativa. Según el actual ministro de Educación, este marzo 2024 se presentarán indicaciones para introducir cambios más sustanciales a dicha ley (La Tercera 2023). Será entonces cuando podremos evaluar si estamos cayendo en la autocomplacencia sugerida en las últimas declaraciones públicas, o si estamos ante una ambiciosa y necesaria reforma integral de la Ley N° 21.040, así como de otras normativas que no han logrado establecer un equilibrio entre la autonomía necesaria de los diferentes proyectos educativos y la gestión burocrática del Estado. Es importante recordar que mejorar la educación estatal es crucial para erradicar la inequidad que afecta a más de dos tercios de los estudiantes vulnerables.
1. Señales de alerta en el Servicio Local de Atacama
La situación del Servicio Local de Educación Pública (SLEP) de Atacama ha sufrido complejos desafíos, como la reciente huelga de hambre de cuatro docentes al inicio del año escolar 2024.
Como se abordó en la primera edición del boletín “Voces del CEP” y se profundizó en el Puntos de Referencia ‘El futuro del traspaso a los Servicios Locales de Educación Pública’ el SLEP de Atacama evidencia serias dificultades en gestión pedagógica, infraestructura, gestión de recursos financieros, así como desafíos de conectividad.
El SLEP de Atacama ha enfrentado advertencias significativas, recientes como no tanto, sea de entidades pertenecientes al sistema como externas al mismo. A continuación, resumimos algunas de las instancias de control a las que se ha sometido la gestión del SLEP de Atacama y cuáles fueron sus principales resultados.
(1) Evaluación del Plan Estratégico Local y Planes Anuales Locales
La ley N° 21.040, que establece el traspaso paulatino de la educación municipal a la Nueva Educación Pública, introduce dos herramientas fundamentales para la gestión efectiva de los SLEP: el Plan Estratégico Local de Educación Pública (PEL) y los Planes Anuales Locales (PAL).
El PEL proporciona un marco estratégico para la gestión educativa dentro de los SLEP, estableciendo objetivos, prioridades y acciones. Este plan actúa como una hoja de ruta de seis años para el desarrollo educativo en el territorio. Los PAL especifican estas metas y acciones en objetivos operativos anuales, para asegurar la implementación efectiva de la estrategia a largo plazo del PEL.
En el caso del SLEP de Atacama, el PEL 2021-2027 delineó cinco grandes objetivos:
- Fortalecer el liderazgo de los actores del sistema en los diferentes niveles, con foco en lo pedagógico.
- Implementar una eficaz gestión pedagógica para mejorar niveles de aprendizaje y asegurar trayectorias educativas.
- Desarrollar una convivencia escolar favorable para el aprendizaje.
- Realizar una gestión eficaz de los recursos disponibles.
- Mejorar las capacidades técnicas y humanas de todos los actores del servicio (SLEP, establecimientos educacionales, aula).
Para asegurar el cumplimiento de estos objetivos y la consecución de las metas establecidas, la ley prevé tres instancias de revisión anual. En primer lugar, (a) el Comité Directivo Local tiene la responsabilidad de evaluar el grado de cumplimiento de las metas establecidas en el PAL. Posteriormente, (b) la ley prevé una evaluación de la DEP, la que debe considerar lo informado por el Comité. Adicionalmente, (c) el propio SLEP debe realizar una autoevaluación del progreso de las metas establecidas en el PAL del año anterior.
(a) Informe del Comité Directivo Local de Atacama
A comienzos de 2022, tras concluir el primer año de servicio educativo traspasado al SLEP, el Comité Directivo Local de Atacama presentó un informe de evaluación de las acciones estipuladas en el PAL en el que examinó los indicadores establecidos en el PAL 2021, los cuales se vinculaban a las metas anuales del PEL.
¿Qué preocupación señaló el Comité Directivo Local?
La evaluación realizada por el Comité Directivo Local reveló una situación preocupante: la imposibilidad de determinar el grado de avance hacia los objetivos propuestos, debido a la inadecuación de los indicadores utilizados y la falta de medios de verificación.
El grado de cumplimiento de las metas anuales fue calificado como «indeterminado». De las 28 metas evaluadas, solo en dos ocasiones el Comité no encontró motivos para realizar observaciones al cumplimiento reportado por el SLEP de Atacama. Consideró que en los otros casos la información no permitía evaluar la superación de las brechas detectadas en el diagnóstico. En ese sentido, el Comité señaló en seis ocasiones que los indicadores elegidos no lograban evidenciar adecuadamente el impacto real de las acciones llevadas a cabo, y en trece resaltó la falta de medios de verificación.
Este análisis concluyó con una crítica hacia la incapacidad técnica de planificación, resaltando que esta deficiencia reflejaba una falta de visión estratégica y una gestión de recursos ineficaz. El informe advierte que, “si no se subsana, no permitirá una gestión basada en resultados de mejora de acuerdo con el diagnóstico efectuado para la elaboración del PEL y los objetivos declarados en la Estrategia Nacional de Educación Pública”.
Además, en los comentarios finales, el organismo señaló deficiencias en varios aspectos, entre ellas, malas las condiciones de infraestructura e incumplimientos a la normativa educativa.
El informe culmina señalando “no se observan a través de este documento mejoras en los niveles de aprendizaje de nuestros estudiantes ni se observa una completa ejecución de los recursos públicos.”
(b) Evaluación realizada por la Dirección de Educación Pública
Dentro de las funciones encomendadas por la ley a la DEP se encuentra la de hacer recomendaciones a los PAL de los SLEP, debiendo evaluar el cumplimiento de las metas anuales del PAL (artículos 46 inciso final y 61 letra f de la ley N° 21.040).
De acuerdo con lo informado por la dirección de la DEP, la institución no realiza un informe sobre el cumplimiento del PAL, sino que su valoración está contenida en la evaluación que la institución hace a los directores ejecutivos a través de su Convenio de Gestión Educacional, que en el caso de Atacama no sucedió producto de la suspensión director ejecutivo desde marzo de 2022. Lo anterior, luego que se iniciara un sumario conducente a su destitución por los problemas de gestión y manejo financiero conocidos, procedimiento que sigue aún en curso.
¿En qué se ha traducido esto en la práctica?
La DEP no ha evaluado el cumplimiento de las metas del SLEP de Atacama desde la suspensión del director. En la última evaluación realizada por la DEP sobre la gestión de los directores en relación con los PAL 2022, de los 11 SLEP con servicio educacional traspasado, tres de ellos, Chinchorro, Atacama y Valparaíso, no habrían sido evaluados bajo este mecanismo.
La ley no restringe los métodos que la DEP debe utilizar para evaluar y proponer mejoras a los PAL, ni establece que estas evaluaciones deban llevarse a cabo únicamente a través de los convenios de gestión educativa con los directores de los SLEP. Por lo tanto, es necesario explorar otras vías para asegurar que esta función crucial de la DEP no quede sin ejecución.
(c) Autoevaluación del cumplimiento de metas
El sistema también contempla la autoevaluación de las metas anuales del PEL contenidas en el Plan Anual. La normativa exige que los PAL contengan un reporte del estado de avance de las metas del año anterior, así como del convenio de gestión educacional y los proyectos educativos institucionales de cada establecimiento de su dependencia.
El PAL para el año 2024 presenta un seguimiento de los avances de los objetivos estratégicos alcanzados en 2023, a través del análisis de 34 indicadores. Esta evaluación comprende tanto el cálculo de porcentajes de progreso como un examen cualitativo de brechas.
Sin embargo, resulta alarmante señalar que 14 de estos 34 indicadores quedaron sin evaluación por parte del servicio. En particular, cuatro indicadores críticos para la evaluación de la gestión pedagógica —fundamentales para determinar tanto el rendimiento como la calidad educativa de los establecimientos bajo la supervisión del SLEP Atacama— no se evaluaron debido a su dependencia de los resultados del SIMCE. Esta circunstancia restringe significativamente la posibilidad de realizar un monitoreo efectivo y evaluar el impacto real sobre los niveles de aprendizaje en estos centros educativos.
(2) Auditorías de Contraloría
Desde 2019, la Contraloría ha realizado más de 20 auditorías enfocadas en aspectos cruciales de la gestión de los SLEP en funcionamiento, identificando más de 80 hallazgos transversales en áreas críticas de la administración, coordinación y diseño del sistema en los diferentes SLEP auditados. En muchos casos, estos problemas derivan principalmente de deficiencias en el diseño legal (véase ‘El futuro del traspaso a los Servicios Locales de Educación Pública’).
En el último año, la Contraloría ha auditado en tres ocasiones el SLEP de Atacama, examinando (a) el cumplimiento de sus funciones Institucionales (Informe Final N° 530/2022 de 13 de junio de 2023), (b) los ingresos por concepto de recuperación de licencias médicas (Informe Final N° 281/2023 de 26 de octubre de 2023) y (c) los contratos de infraestructura establecimientos educacionales (Informe Final N° 769/2023).
¿Cuáles fueron los hallazgos de Contraloría?
Los informes de Contraloría demuestran las siguientes dificultades relevantes en la gestión de recursos humanos, financieros y de infraestructura.
(Puedes ver la figura en mayor detalle haciendo clic aquí)
(3) Auditoría del Ministerio de Educación
En 2023, la Unidad de Auditoría de la Subsecretaría de Educación evaluó los mecanismos de control instaurados por el SLEP de Atacama para asegurar que los procesos financieros, contables, de infraestructura, y otros cumplieran con la normativa vigente. El resultado fue claro: el servicio presentaba un “Sistema de Control Interno Insatisfactorio” debido a las grandes debilidades detectadas.
(a) Gestión de recursos financieros
La auditoría reveló graves deficiencias en la gestión financiera del SLEP Atacama, especialmente en el manejo de transferencias entre cuentas corrientes y la rendición de cuentas. Por ejemplo, la auditoría constató que hubo transferencias entre cuentas por un total de M$100.233.499 entre los años 2022 y marzo de 2023 sin el debido control. De igual forma, demostró diferencias significativas en las rendiciones de cuentas. En el Programa de Integración Escolar (PIE), se observó una discrepancia entre el monto de ingresos rendidos y los abonos en cuenta corriente por M$595.816, así como una diferencia de M$3.062.772 entre gastos rendidos y los egresos registrados.
Estas deficiencias no solo implican un riesgo significativo de desviación de fondos públicos destinados a programas específicos, sino también una falta de transparencia y eficacia en el uso de los recursos que compromete directamente la calidad y la gestión de la educación pública.
(b) Gestión de recursos humanos
La auditoría dio cuenta además de irregularidades significativas en la administración de personal. Entre ellas, pagos de remuneraciones sin contratos vigentes, así como la realización de contrataciones y aumentos de grados sin la debida autorización de la Dirección de Presupuesto. Hasta marzo de 2023, se identificaron 21 empleados trabajando sin contratos vigentes, situación que generó una investigación por parte del Ministerio Público.
(c) Gestión de infraestructura
De igual forma, los resultados de la auditoría demuestran falta de evaluación y planificación en materia de infraestructura. Por ejemplo, solo se levantaron fichas de infraestructura para el 19% de los establecimientos, sin valorización ni compromisos de inversión a futuro. Adicionalmente, la unidad determinó que la tardanza interna en los procesos del servicio como una de las causas que ocasionaba los retrasos en los procesos de esta índole.
La auditoría resaltó otras deficiencias importantes, como la realización de pagos por servicios sin contratos vigentes y un bajo cumplimiento en algunos de los indicadores de gestión. Estos hallazgos subrayan la necesidad crítica de abordar estas falencias y mejorar la administración de los recursos en el SLEP.
2. Brechas de género en resultados SIMCE 2023 dentro de los SLEP
El análisis de las tendencias en las brechas de género en los resultados del SIMCE 2023 pone de relieve el desempeño superior de las mujeres en competencias lectoras frente a los hombres, quienes, por su parte, exhiben mejores resultados en matemáticas. Sin embargo, es importante señalar que en la última evaluación se exhibe una tendencia decreciente en la disparidad de género en lectura, tanto en cuarto básico como en segundo medio, pero un alza en las brechas de los resultados en las pruebas de matemáticas en segundo medio.
Respecto a las brechas de género en los resultados de los SLEP, se aprecia una tendencia similar a la que se observa a nivel general. En las pruebas de matemática, los hombres muestran un rendimiento superior al de las mujeres. En cuarto básico, se tiene una brecha de 11 puntos, que muestra una tendencia al alza respecto de mediciones anteriores. En segundo medio, la brecha es la misma que en cuarto básico y también muestra un crecimiento significativo desde 2018.
En las pruebas de lectura, las mujeres superan consistentemente a los hombres en los resultados. Para cuarto básico, se tiene una brecha de 4 puntos, y de 10 puntos en segundo medio. En ambos casos se aprecia una tendencia decreciente en el tiempo.
(Puedes ver el gráfico en mayor detalle haciendo clic aquí)
En esta edición de nuestro boletín, te recomendamos disfrutar de dos actividades que marcaron la primera quincena de marzo con gran éxito de público:
- “Los desafíos de la economía argentina”, con el economista argentino, Miguel Kiguel, director de Econviews.
- “Disparidad bajo la lupa: Cómo entender el voto femenino en Chile”, las alcaldesas Carolina Leitao (Peñalolén) y Evelyn Matthei (Providencia), además de la investigadora senior del CEP, Sylvia Eyzaguirre.
Y desde ya los dejamos invitados a nuestra próxima actividad:
Inscripciones aquí
Si quieres recibir este boletín en tu mail, escríbenos a [email protected].
