Saber Pro Research Articles

Factores externos en el desempeño de pruebas genéricas de Estado (SaberPro) de inglés en estudiantes de administración y afines en Colombia

Existe una política para fortalecer el bilingüismo en Colombia, cuyos resultados en las pruebas estatales no son los mejores. Se requiere investigar los factores que puedan influir en esa dinámica. Esta investigación busca explicar y clasificar los resultados de las pruebas genéricas de Estado en las instituciones de educación superior (Saber Pro), en el módulo de inglés, en los programas de administración y afines en Colombia. Se utilizó un conjunto de variables independientes extrínsecas (económicas, familiares e institucionales), a las cuales se llegó mediante un proceso iterativo. El método usado fue el de regresión logística binaria, donde el éxito radica en obtener una puntuación menor o igual a la media en el módulo de inglés. Las variables seleccionadas tienen relación con el resultado de las pruebas de inglés, pero se recomienda estudios adicionales involucrando variables intrínsecas.

Analysis of Colombia’s Saber Pro results 2019 for natural science and environmental teachers training: Reflections and challenges in a higher education based in competences

University students from all academic programs and institutions of higher education in Colombia are evaluated through standardized tests that measure general and specific competencies according to the academic level (professional, technical). One of these tests corresponds to the called Saber Pro, where undergraduate students from all disciplinary areas are evaluated in two modules: generic (or basic) and specific competencies, which are related to evaluation, learning and teaching. The objective of this study is to carry out an analysis of the characterization of the population and the results that took the exam in 2019. The group correspond to teachers training in academic undergraduate programs in natural sciences and environmental education. The methodology carried out was the documentary analysis of the databases where we can find the results of this test for the study of population, the analysis of the results was carried out by qualitative and quantitative approach. Seventeen universities in the country of official and private origin were found with distance and face-toface modalities; characteristics of those evaluated students were established and there was also an analysis based on the individual averages per university for the test components. The analysis of the results allowed identifying the characteristics of socio-demographics, all most of them are in vulnerable situations, the women have major access to internet and computer tools and the educational levels completed is major in the students´ mother. As for the module of generic and specific competences, the highest and lowest individual weights per university and gender were identified.

Efficiency of university education: A partial frontier analysis

This article investigates the efficiency of the university education using two linked databases (Saber Pro and Saber 11) from the Colombian Institute for Evaluation of Education (ICFES) corresponding to 2014. We use a non-parametric frontier approach that combines the “order m” technique with the concept of a meta-frontier to disaggregate students’ total efficiency in generic skills in quantitative reasoning, critical reading, and written communication, into the parts attributable to the students themselves and the university. The analysis is performed by academic programme and by education sector (public vs. private). Results indicate that most of the inefficiency of students in the assessment of generic skills in higher education is attributable to the students themselves and a significant number of students could improve their performance in the assessment in each of the academic programmes if they performed as efficiently as those located on the frontier. Furthermore, the inefficiency share of students varies between academic programmes and university sectors, with students in the private sector more inefficient than those in the public sector in some and less inefficient in others. This research constitutes the first application of the technique of “order m” with the approach of the meta-frontier for the analysis of educational efficiency using data at the student and university levels.

Use of Factorial Analysis of Mixed Data (FAMD) and Hierarchical Cluster Analysis on Principal Component (HCPC) for Multivariate Analysis of Academic Performance of Industrial Engineering Programs

The article describes a new idea about using Factor Analysis, Mixed Data, and Hierarchical Cluster Analysis on Principal Components to study the academic performance in 82 Industrial Engineering Programs in Colombia. For this, we used the data from the results of the standardized test of the Saber Pro.). The authors find that the first three components explain 89.12% of the original data set variability. The quantitative variables associated with the Factor Analysis are the first dimension, while the two qualitative variables are related to the second dimension. The first factor explains 95.83% of the dispersion of the scores in Critical Reading, 94.72% of the variability in Quantitative Reasoning, 94.51% of the variation in Mathematics and Statistics, among others. This study shows a strong positive correlation between the quantitative variables and the first factorial axis. It assumes that the Industrial Engineering Programs of public higher education institutions perform better than private ones. The article stipulates that the higher education institutions belonging to the Andean Region present a better performance, followed by the higher education institutions located in the Pacific Region. In general terms, the results confirm that the best performing universities usually appear in the first places in the different rankings and are located in the big cities.

Evaluación del nivel de inglés en los programas de enfermería en Colombia: 2011-2016

Objetivo: evaluar si se cumplió la meta del Gobierno de Colombia para el 2014 de que el 20 % de los graduandos de programas de enfermería de las instituciones colombianas de educación superior se clasifiquen en nivel intermedio o superior en inglés. Metodología: se emplearon los resultados del módulo de inglés de la base de datos de las pruebas Saber Pro del Instituto Colombiano para la Evaluación de la Educación (2011-2016). Los niveles de calificación de este módulo son adaptados del Marco Común Europeo de Referencia. Para inferir respecto al logro de la meta de la política se realizaron pruebas de proporciones paramétricas y no paramétricas. Adicionalmente, se hicieron ajustes sobre el valor p. Resultados: ningún programa cumplió estadísticamente con la meta. Sin embargo, cuando solo se realizó la prueba de comparación de proporciones paramétrica y no paramétrica (sin corrección por hacer múltiples comparaciones), el programa de la Universidad del Valle, sede Cali, sí la cumplió. Conclusión: la meta propuesta por el Programa de Fortalecimiento al Desarrollo de Competencias en Lenguas Extranjeras para el 2014 no se cumplió en el caso de los estudiantes de enfermería evaluados; solo el 2,36 % alcanzó el nivel B+ ese año. Además, se encuentran rezagados respecto a los programas de medicina, economía y administración de empresas.

Sistemas de evaluación y metodologías docentes y su incidencia en las competencias genéricas (EMICOG – PROFESORES)

La proliferación de las herramientas y aplicaciones web sincrónicas, los sistemas de gestión de contenido, los cursos de enseñanza masivos y abiertos y los cambios constantes propios de la denominada sociedad de la información (SI), han conllevado que el principal reto del personal docente universitario sea su capacidad de adaptación e innovación. En este sentido, en la presente comunicación se describe el diseño de un instrumento ad hoc online, EMICOG – versión docente, diseñado a través de la herramienta SurveyMonkey. Con él, se pretenden estudiar las metodologías docentes aplicadas en las diversas asignaturas que imparte el profesorado de la Universidad de la Costa (Colombia), las formas de valoración o evaluación de las actividades transversales efectuadas así como sus prácticas docentes a través del análisis de seis secciones: i) datos de carácter general, ii) técnicas y estrategias instruccionales, iii) recursos utilizados en la evaluación y enseñanza de la asignatura, iv) variables psicoeducativas, v) necesidades formativas, y vi) procesos de enseñanza. Ha sido aplicado a 182 profesores universitarios, con el propósito de estudiar en qué medida estas actuaciones docentes pueden incidir en mejores resultados de competencias genéricas en las pruebas nacionales Saber Pro y en las variables psicoeducativas de los discentes, convirtiéndose pues en un instrumento de potenciación y mejora de la calidad docente y por consiguiente de los resultados académicos, mediante el esclarecimiento y la delimitación de las necesidades formativas, que serán la base de futuros programas/cursos instruccionales de estrategias eficientes para la mejora de la enseñanza y que repercutirán en la obtención de mayores logros académicos. Se trata de un Proyecto de Investigación Competitivo CONV-ÍNDEX Núm. 13-2018, Código Proyecto INV. 150-01-007-13 Universidad de la Costa (Colombia) – Universidad de León (España). Evaluado por la ACAC (MEN Colombia).

Pruebas estandarizadas y sus resultados en una licenciatura

Fecha de recepción: 08 de febrero de 2019Fecha de revisión: 08 de abril de 2019Fecha de aprobación: 10 de mayo de 2019
 Introducción: en la investigación se analiza las diferencias en los resultados de los Exámenes de Calidad de Educación Superior Saber Pro de los estudiantes de la Licenciatura en Educación Básica con énfasis en Matemáticas, Humanidades y Lengua Castellana. Metodología: fueron descargadas bases de datos de los resultados de las pruebas del programa, desde el sistema FTP-ICFES y se operó con los puntajes numéricos, el nombre de la carrera, la modalidad de educación a distancia con apoyo virtual de los estudiantes de la Licenciatura en Educación Básica, dando paso a una investigación de tipo descriptivo. Resultados: en la investigación se presenta que no existen brechas significativas en los resultados de los módulos de Componentes Genéricos, puesto que en la mayoría de ellos se está por encima del promedio del grupo de referencia en Educación, y por debajo del promedio nacional. Conclusiones: se puede constatar las diferencias entre los resultados de los estudiantes del programa según los módulos establecidos, y se hace necesario reformular, a través de estrategias pedagógicas, metodológicas y didácticas, la formación de los Licenciados en Educación Básica, con miras a fortalecer las competencias relacionadas con el enseñar, evaluar y formar, propias de los licenciados.
 Palabras clave: Pruebas Estandarizadas, Saber Pro.
 Standardized tests and their results in a degree
 Introduction: the research analyzes the differences in the results of the Examinations on Quality of Higher Education, now called Saber Pro, of the students of the Bachelor of Science degree in Basic Education with emphasis in Mathematics, Humanities and Spanish Language. Methodology: Databases of the results of the program tests were downloaded, from the FTP-ICFES system and operated with the numerical scores, the name of the career, and the modality of distance education with virtual support of the students of the degree in Basic Education. Results: it is evident that there are no significant gaps in the results of the Generic Components modules since in most of them it is above the average of the Education reference group and below the national average. Conclusions: the differences between the results of the students of the program according to the established modules were verified, as it is necessary to reformulate, through pedagogical, methodological and didactic strategies, the formation of the Basic Education graduates, for the sake of strengthening the competences related to the teaching, evaluating and forming, inherent of the graduates.
 Key words: Standardized Tests, Saber Pro.
 Testes padronizados e seus resultados em uma licenciatura
 Introdução: a pesquisa analisa as diferenças nos resultados dos Exames de Qualidade do Ensino Superior, agora denominados Saber Pro, dos alunos do grau de Bacharel em Ciências da Educação Básica com ênfase em Matemática, Humanidades e Língua Espanhola. Metodologia: bancos de dados dos resultados dos testes do programa foram descarregados do sistema FTP-ICFES e operados com os escores numéricos, o nome da carreira e a modalidade de educação a distância com apoio virtual dos alunos do grau de Educação Básica. Resultados: é evidente que não há vazios significativos nos resultados dos módulos de Componentes Genéricos, pois na maioria dos módulos está acima da média do grupo de referência em Educação e abaixo da média nacional. Conclusões: verificaram-se as diferenças entre os resultados dos alunos do programa de acordo com os módulos estabelecidos, pois é necessário reformular, por meio de estratégias pedagógicas, metodológicas e didáticas, a formação dos alunos do grau de Bacharel em Ciências da Educação Básica, a fim de fortalecer as competências relacionadas ao ensino, avaliação e formação, próprias dos licenciados.
 Palavras-chave: Testes Padronizados, Saber Pro.
 .

Classification Trees vs. Logistic Regression in the Generic Skill Development in Engineering

From an experimental approach, the performance of Logistic Regression vs Classification Trees is evaluated in the context of two generic engineering skills (quantitative reasoning and reading comprehension). These methods incorporate two separate predictor scenarios (indicators only, and only constructs derived from Principal Component Analysis: ACP). The sample is 7,395 instances of Saber Pro 2015-3, 2014-3 (Colombia). The study considers: training (70% of the sample), prediction (30% remaining) and experimentation (176 original observations, design of three factors: method, type of predictor and competence). The response variable is a new metric (Underlying Asset Ratio obtained by ACP). Both methods present similar performance in the scenario of only indicators, but not in the scenario of constructs (Regression Logistics, better performance).

Análisis de los resultados de las pruebas estandarizadas Saber Pro en profesionales de la educación

This paper analyses the results obtained by students of a bachelor’s degree in primary education in Saber Pro standardized tests in Colombia, which were taken as a graduation requirement. The data bases containing the results of the tests were downloaded from the website www.icfesinteractivo.gov.co and scores obtained by students of the bachelor’s degree in primary education (distance mode) were used. The students who took the Saber Pro tests in 2013 were homogeneously and standardly assessed in the following: citizen competences, written communication, English, critical reading, quantitative reasoning. The results show that for some competences the students’ scores are below the national group. Generally, undergraduate students are not seriously committed to Saber Pro tests, as these are considered as a mere graduation requirement rather than a possibility to improve the quality of higher education. The test is considered to go on one direction while students and education move to another direction, without the slightest possibility of reaching a point of convergence.

Nivel de inglés en los programas de Administración de Empresas en Colombia: la meta está lejos

El documento analiza si los graduandos de los programas de Administración, bajo cada tipo de modalidad (presencial, a distancia y virtual), cumplieron con la meta de bilingüismo propuesta por el Gobierno colombiano para el 2014. Para esto se emplea una aproximación descriptiva y estadística (pruebas de proporciones paramétricas y no paramétricas) para analizar los resultados del módulo de inglés de la prueba de Estado Saber Pro (2011 - 2017). A partir de lo anterior, se encuentra que sólo 11 de 198 programas de la modalidad presencial a nivel nacional cumplieron la meta en 2014, mientras que sólo 9 de los 41 programas acreditados de la modalidad presencial cumplieron la meta. Estos resultados evidencian la necesidad de que Gobierno revise los alcances de la política pública de bilingüismo.

Nivel de inglés en los programas de Economía de Colombia: ¿se cumple la meta?

This paper assesses whether college graduates from bachelor programs in Economics in Colombia have achieved the bilingualism goal proposed by the government for 2014. To this end, we use a descriptive approach and inferential statistics (parametric and non-parametric proportions tests) using data from the English module of the standardized test Saber Pro (2011-2015). We find that, at the national level, 54 out of 61 bachelor programs did not meet the goal and that only 7 out of the 21 accredited programs in the country have reached it. These results suggest the need to rethink the public policy of bilingualism in the education of Colombia’s future economists.

English proficiency level in Colombian undergraduate students of medical programs

Introducción. El gobierno propuso posicionar a Colombia como un destino turístico de salud y bienestar, siendo uno de los objetivos aumentar los niveles de competencia del inglés en los profesionales de la salud. Esto se relaciona con la meta, para 2014, del Ministerio de Educación Nacional (MEN) de que 20% de los graduados deberían clasificar en nivel intermedio o superior en inglés.Objetivos. Analizar el cumplimiento de la meta establecida por el MEN para los graduandos de los programas de medicina.Materiales y métodos. Aproximación descriptiva y estadística (pruebas de proporciones paramétricas y no paramétricas) que empleó datos de la prueba Saber Pro (2011-2015) para los programas de medicina de las instituciones de educación superior de carácter académico universitario.Resultados. El porcentaje global de estudiantes que cumplió la meta (28.6%) fue satisfactorio; sin embargo, solo 18 de 43 (37.2%) programas de medicina la cumplieron.Conclusiones. El nivel de inglés de los potenciales graduados de los programas de medicina está alineado con la meta del gobierno. No obstante, hay mucho por mejorar si se tiene en cuenta que cerca del 70% de los futuros graduados de los programas de medicina no alcanza un nivel intermedio o superior en esta competencia.

Reading comprehension and its influence on Saber Pro test results in Colombia

Reading comprehension and its influence on Saber Pro test results in Colombia

Methodological guide to develop a plan for improving the performance of Saber Pro tests by brainstorming and problem tree

Methodological guide to develop a plan for improving the performance of Saber Pro tests by brainstorming and problem tree

Value-added in higher education: ordinary least squares and quantile regression for a Colombian case

Colombia applies two mandatory National State tests every year. The first, known as Saber 11, is applied to students who finish the high school cycle, whereas the second, called Saber Pro, is applied to students who finish the higher education cycle. The result obtained by a student on the Saber 11 exam along with his/her gender, and socioeconomic stratum are our independent variables while the Saber Pro outcome is our dependent variable.We compare the results of two statistical models for the Saber Pro exam. The first model, multi-lineal regression or ordinary least squares (OLS), produces an overall well fitted result but is highly inaccurate for some students. The second model, quantile regression (QR), weight the population according to their quantile groups. OLS minimizes the errors for the students whose Saber Pro result is close to the mean (a process known as estimation in the mean) while QR can estimate in the -quantile for every . We show that QR is more accurate than OLS and reveal the unknown behavior of the socioeconomic stratum, the gender, and the initial academic endowments (estimated by the Saber 11 exam) for each quantile group.

Valor agregado como indicador de calidad en programas académicos universitarios utilizando resultados de pruebas censales

El estudio consistió en determinar el valor agregado como indicador de calidad de un programa académico teniendo en cuenta dos momentos de la vida académica de los estudiantes de una cohorte y la construcción de una explicación razonada de esta valoración considerando el aporte que le hace la universidad. Con ello, se pretende una evaluación más justa del logro académico y se compara la magnitud del mismo con el de otras universidades que ofertan el mismo programa académico en la misma modalidad. La metodología implementada en el estudio tiene un enfoque cuantitativo y es de tipo correlacionar. Involucró a estudiantes de la cohorte 2013-2 de un programa académico universitario utilizando la información colectada por el ICFES a través de las pruebas censales Saber 11 y Saber PRO. Del análisis de esta información, se priorizó la determinación del logro académico de la universidad. Seguidamente la determinación de los componentes principales de las variables socioeconómica y sociocultural. Se realizó la correlación de variables con el logro académico y se calcularon sus interacciones, determinando la correlación lineal entre las variables y la fortaleza de las mismas. Con esta información se explica la contribución de cada uno de los factores en el logro académico.

Estudio del valor agregado aportado por la Corporación Universitaria del Caribe—CECAR a los estudiantes de Licenciatura en Educación Básica con énfasis en Ciencias Naturales y Educación Ambiental de la cohorte 2013

<p>Este texto es producto de una investigación realizada en el contexto de la Corporación Universitaria del Caribe—CECAR, con la intención de determinar el valor agregado aportado por la Universidad a sus estudiantes, calculado a partir del logro previo que obtuvieron los estudiantes en las pruebas Saber 11 y el logro bruto alcanzado en la prueba Saber PRO al finalizar el pregrado en Licenciatura en Educación Básica con énfasis en Ciencias Naturales y Educación Ambiental de la Corporación Universitaria del Caribe—CECAR de la cohorte 2013. El estudio que se llevó a cabo, se define como una investigación con enfoque mixto. El enfoque cuantitativo se ajusta al trabajo con las variables niveles socioeconómico y sociocultural, logro previo y el logro académico. El diseño es de tipo correlacional porque permite determinar el efecto de una variable sobre otra. El enfoque cualitativo se ajusta a la variable organización y las características de la universidad y es de carácter descriptivo. Se encontró que el factor que más le aporta al logro alcanzado por los estudiantes es el logro previo y, en una proporción mínima, la organización y características de la universidad. La contribución de los demás factores no es determinante, porque tienden a tener un comportamiento homogéneo.</p>

Caracterización del perfil por competencias Orientadas al desarrollo humano en los docentes

With regard to current obtained results from the PISA tests and the internal scholar assessment named Saber Pro, it has demonstrated that is needed to enhance aca-demic skills from a comprehensive development not only for teachers but also for students. The present article is aimed to determine trends that characterize skills, which are addressed to develop personal development of teachers. The methodological design of this research was carried out under a descriptive scope out based on an extensive literature review process as well primary as secondary sources were used. The obtained results have demonstrated that skills focused on not only social construction, metacognitive development, motivation in meaningful learning, fostered values, but also transfer-able skills taking into account contexts from real life to professional development are significant required skills for teachers. To sum up, it can be said that by developing the above-mentioned skills the academic performance of the students in Colombia, related to the above-mentioned assessments, can be reflected through actual outcomes.

Examen de calidad de la educación superior saber pro: Factores sociodemográficos en el desempeño académico en instrumentación quirúrgica

Los examenes de calidad de la educación superior Saber Pro en Colombia hacen parte de la estrategia gubernamental para garantizar la alta calidad de la educación. El programa de instrumentación quirúrgica lo ha presentado desde 2010; se desarrolla en 16 instituciones de educación superior (IES) del país. Objetivo: determinar los factores sociodemográficos asociados con el desempeño entre 2010 y 2011. Métodos: análisis multinivel para determinar la correlación de las variables sociodemográficas e institucionales con las académicas mediante la información de la base de datos FTP del ICFES. El análisis se hizo con medida de tendencia central, dispersión y frecuencias absolutas. Se construyó una base de datos en excel y se utilizó el programa stata 12. Resultados: el principal factor asociado con el desempeño en los componentes genéricos del examen Saber Pro 2010 y 2011 es la edad más joven del estudiante, en los demás componentes existen diferentes factores de acuerdo con la competencia evaluada. Abreviaturas: IES, institución de educación superior.

Relationship between measures of academic quality and undergraduate student attrition: the case of higher education institutions in the Colombian Caribbean region

Undergraduate student attrition is a major concern in higher education. It is usually explained by the impact of student attributes; however, recent developments in student success literature point to the need of exploring institutional practices that may impact a student's decision to abandon their studies. The current weight of academic quality assurance for Colombian higher education institutions (HEI) and what such measures may mean for how HEI fulfill their missions indicates the need to consider a possible relation between such quality measures and undergraduate student attrition. Using official databases from the Colombian Ministry of Education for the year 2009, this study explores through analysis of variance the relationship between attrition and three measures of academic quality: accreditation status, professional test scores required to graduate (Saber Pro Exam) and the number of research groups at HEI. The scope of the study is the Colombian Caribbean region and the sample includes 19 HEI. Study results demonstrate that the percentage of accredited undergraduate programs at HEI was the only measure of quality assurance, out of the three explored, that showed a statistically significant relationship with undergraduate student attrition rates.