El valor predictivo de los exámenes de Estado
frente al rendimiento académico universitario

The Value of State Exams in Predicting
College Academic Performance

O valor preditivo dos testes de Estado
frente ao desempenho acadêmico na universidade

Catherine Pereira^a, Giovanni Hernández^b, Ignacio Gómez^c

^a Ph. D. en Finanzas Internacionales. Profesora Asistente, Universidad de La Sabana, Escuela Internacional de Ciencias Económicas y Administrativas, Chía, Colombia. catherine.pereira@unisabana.edu.co

^b M. A. en Economía. Profesor Asistente, Universidad de La Sabana, Escuela Internacional de Ciencias Económicas y Administrativas, giovannihs@unisabana.edu.co

^c M. A. en Economía. Profesor Asociado, Universidad de La Sabana, Escuela Internacional de Ciencias Económicas y Administrativas, ignacio.gomez@unisabana.edu.co

Resumen

Se presenta una medición y un análisis correlacional entre los resultados del examen para el ingreso a la educación superior y el examen de calidad de la misma. Este es un estudio piloto, que utiliza una base de datos con 2.888 estudiantes de programas de Administración, entre el 2000 y el 2005.

Utilizando modelos multivariados, se encontraron correlaciones predictivas débiles entre los dos exámenes obligatorios asociados a la educación superior en Colombia. Se encontró una relación lineal débil entre todos los componentes de conocimiento evaluados y el promedio general de la Universidad.

Palabras clave

Calidad de la educación, rendimiento académico, educación superior, evaluación de la educación, Colombia (Fuente: Tesauro de la Unesco).

Abstract

The article offers a measurement and correlational analysis of the results of the State College Entrance Exam and the Higher Education Quality Exam. It is a pilot study that employs a database with 2,888 students who were majoring in business administration between 2000 and 2005. Using multivariate models, the study found weak predictive correlations between the two mandatory exams associated with higher education in Colombia. It also found a weak linear relationship between all the evaluated components of knowledge and the general grade point average in college.

Key words

Quality of education, academic performance, higher education, assessment of education, Colombia (Source: Unesco Thesaurus).

Resumo

O artigo apresenta la medição e a análise de correlação entre os resultados do exame de admissão para o ensino superior e o exame de qualidade do ensino superior.

Este estudo piloto utiliza um banco de dados de 2.888 estudantes de programas de administração entre 2000 e 2005.

Usando modelos multivariados, uma fraca houve correlação preditiva entre os dois exames obrigatórios relativos ao ensino superior na Colômbia. Além disso, houve uma fraca relação linear entre os componentes do conhecimento avaliados e a média da universidade.

Palavras-chave

Qualidade da educação, desempenho acadêmico, ensino superior, avaliação da educação, Colômbia (Fonte: Tesauro da Unesco).

Por lo general, los criterios de admisión a la educación superior en Colombia incluyen el desempeño académico del aspirante durante la educación media, el resultado del examen para el ingreso a la educación superior (Icfes) y exámenes de admisión, y eventualmente se realizan entrevistas. Los criterios mencionados los valoran y utilizan de distinta forma las universidades, tanto las públicas como las privadas. A manera de ejemplo, algunas privadas basan sus criterios de ingreso, de manera exclusiva, en el resultado del examen del Icfes; otras combinan este con entrevistas, y unas más, entre las cuales encontramos las públicas, hacen además exámenes de admisión, todo en aras de seleccionar a los mejores candidatos. Pero todas las universidades, en su evaluación, anticipan el futuro éxito del estudiante.

¿En qué medida el Icfes, efectivamente, anticipa resultados académicos exitosos en la universidad?, y ¿de qué manera el Icfes y el rendimiento académico en la universidad explican los resultados del Examen para la Calidad de la Educación Superior (Ecaes) para administradores?¹. Estas son las preguntas que aborda el presente artículo.

Con tal propósito, se analiza el caso de una universidad privada acreditada como de alta calidad en Colombia, que toma en cuenta los resultados del aspirante durante la educación media, el resultado del Icfes y una entrevista al que aspira ingresar, con un docente del programa de pregrado. A partir de una base de datos que construyó este estudio piloto, se correlacionan y analizan los resultados del Icfes, Ecaes y un examen aplicado sistemáticamente por la universidad, que hace parte del estudio para medir el desarrollo de ocho competencias en los estudiantes de Administración (EOC).

El presente artículo incluye varias secciones: definición de términos, debates teóricos, metodología y resultados, discusión de resultados y conclusiones.

El Icfes es una prueba aplicada en el último año de la educación secundaria, requisito para el ingreso a la educación superior de los graduandos de colegios en Colombia, y por ello es un criterio que necesariamente se toma en cuenta en las universidades. Consiste en una prueba de tipo normativo, que se hace desde 1978, y permite comparar los resultados de un estudiante con otros que hacen parte de la misma cohorte; el examen comprende los componentes comunes de matemáticas, física, biología, química, lenguaje, historia, geografía e idiomas, y también incluye una prueba interdisciplinar. A partir del año 2000 el examen introdujo varias modificaciones: se volvió más corto, su duración pasó de hacerse en dos días a ocho horas en un solo día, e introdujo la evaluación de tres competencias básicas, la interpretativa, la argumentativa y la propositiva, clasificadas en las categorías alta, media o baja para cada estudiante.

Las instituciones de educación superior en Colombia toman en cuenta diferentes parámetros de selección y admisión de estudiantes, y en estos el resultado del examen del Icfes es un criterio fundamental para la admisión a la educación superior en el país, aunque muchas de ellas también hacen pruebas de admisión y/o entrevistas, entre otros; así lo practica la universidad que hace parte del presente estudio.

Para ser admitido en esta universidad se requieren altos resultados en el examen del Icfes, usualmente un puntaje equivalente al mejor 15% del resultado de la prueba para la cohorte y un alto nivel de inglés, entre otros requisitos. Dado que algunos estudiantes de los programas de Administración no obtuvieron los promedios requeridos para garantizar su permanencia en la universidad, esta investigación, por una parte, contrasta los resultados en el Icfes con los obtenidos en la universidad, medidos por el promedio acumulado y ponderado por créditos (GPA), y, por otra, compara los resultados del Icfes con un examen basado en las competencias básicas (EOC) que, según la universidad que hace parte del estudio, debe haber desarrollado un estudiante de Administración. El EOC se realiza de forma obligatoria cuando el estudiante ha cursado la mitad de los créditos del programa del que hace parte.

En Colombia la educación superior, entiéndase universitaria, tiene cuatro estrategias para promover la calidad: el registro calificado y la acreditación de calidad de los programas ofrecidos por las universidades, el Observatorio Laboral del Ministerio de Educación Nacional y el Ecaes.

Estos últimos se definen como "pruebas académicas de carácter oficial y obligatorio y forman parte, con otros procesos y acciones, de un conjunto de instrumentos que el Gobierno Nacional dispone para evaluar la calidad del servicio público educativo... [Estas pruebas persiguen] comprobar el grado de desarrollo de las competencias de los estudiantes que cursan el último año de los programas académicos de pregrado que ofrecen las instituciones de educación superior. [y] servir como fuente de información para la construcción de indicadores de evaluación del servicio público educativo, que fomenten la cualificación de los procesos institucionales, la formulación de políticas y faciliten el proceso de toma de decisiones en todos los órdenes y componentes del sistema educativo"². El Ecaes usualmente se presenta en el último año del pregrado: evalúa áreas y componentes fundamentales del saber que identifica a cada profesión, disciplina u ocupación, y el Instituto Colombiano para el Fomento de la Educación es la entidad que dirige y coordina el diseño, la aplicación, la obtención y el análisis de los resultados, para lo cual se puede apoyar en las comunidades académicas³. La gráfica 1 presenta el número de estudiantes evaluados en el Ecaes, tanto en universidades oficiales o públicas como en instituciones no oficiales o privadas, en los años 2004-2008.

En promedio, más de medio millón de estudiantes de educación media presentan el examen del Icfes cada año, y el Ecaes se ha aplicado a 417.012 estudiantes de establecimientos de educación superior, cobertura⁴ equivalente al 65% de los egresados de las universidades entre el 2004 y el 2008⁵. En el 2008, Colombia tuvo n'110.783 personas en educación básica y media⁶, de las cuales V444.544 accedieron a la educación superior, es decir, el 13% aproximadamente, y en ese mismo año se graduaron de instituciones de educación superior 162.868 personas, 67.031 de universidades públicas y 95.837 de las privadas⁷.

En este estudio se tomaron en cuenta cada uno de los componentes que integran el Ecaes en Administración, los puntajes, por área, de cada uno de los estudiantes que integran la base de datos, y su desempeño cualitativo como: (A) alto, (M) medio y (B) bajo, según los resultados obtenidos y divulgados por el Icfes.

El EOC es un examen obligatorio, que se creó en el 2002 en la universidad que hizo parte de este estudio, y que a partir de un caso hipotético del ámbito de la Administración, planteado por el cuerpo profesoral, pretende que el estudiante, de forma escrita, utilice el caso para demostrar su comprensión de lectura, su selección de información relevante, su identificación de problemas, su capacidad para priorizar, su manejo gráfico y matemático, su capacidad para proponer soluciones, su capacidad para hacer un resumen ejecutivo y su capacidad para identificar implicaciones éticas (si aplican). Los resultados son numéricos, entre 0 y 100, y a su vez se traducen a seis categorías, que con base en un puntaje se convierten en una calificación cualitativa (tabla 1).

Al observar con detenimiento los tres exámenes, Icfes, EOC y Ecaes, podemos identificar que todos afirman que su evaluación se concentra en la medición de competencias del estudiante. Esto está relacionado con la pregunta de investigación, porque en este estudio se relacionan estadísticamente los tres exámenes.

El concepto de competencia hace parte del lenguaje moderno de la educación, comenzando con Noam Chomsky (1969) y sus aportes a la teoría de la lingüística; sin embargo, podríamos afirmar que desde Aristóteles existen nociones elaboradas sobre el pensamiento, los conocimientos y la lógica. También podríamos decir que en el siglo pasado, a través de sus investigaciones y desde los campos de la biología, la filosofía y la sociología, académicos como Jean Piaget (1980) y Karl Popper (1959) anticiparían el concepto de las competencias y el de la creatividad, los cuales estudiamos en la actualidad en el sector educativo.

Para los autores de este artículo es claro que el uso del concepto de competencia surge de la necesidad de describir los conocimientos, habilidades, destrezas y actitudes necesarias para solucionar problemas complejos de la sociedad moderna. Así, las múltiples discusiones sobre lo que el concepto abarca parten de la necesidad que tiene la sociedad de capacitar individuos para responder de forma efectiva a los retos de nuestro tiempo.

Durante los años setenta la realidad económica, particularmente en la de Gran Bretaña, motivó diversos intentos por sistematizar la formación académica a nivel de secundaria o bachillerato (Barnett, 2001: 108). En este sentido, y a través de lo que hoy se conoce como el Consejo Nacional para las Calificaciones Profesionales (NCVQ), la noción de competencias se implementó para zanjar los problemas de competitividad de la industria y otros sectores, y por ello se asoció con el desempeño laboral (Jessup, 1991: 25). Sin embargo, el concepto está asociado no solo con la noción tradicional del término conocimiento, y el resultado de aquellos que lo tienen, sino también con los efectos de la globalización y la tecnología, que mezclan simultáneamente, por ejemplo, conceptos como el de sostenibilidad y desarrollo económico, que requieren de valores y habilidades para contribuir al bienestar social.

Con respecto a los exámenes o evaluaciones de las competencias que hemos definido, se puede debatir acerca de si las preguntas en torno a las que giran miden competencias; esto por cuanto un examen de esta naturaleza difícilmente puede captar y calificar aspectos actitudinales (Barnett, 2001: 115). De hecho, en un mundo globalizado la discusión acerca de las competencias es aún más compleja, si se pregunta como Van Eyck (2008): ¿qué es o existe algo que se pueda describir como una competencia global? Adicionalmente, no es fácil hacer explícita la distinción entre una competencia, un conocimiento y una habilidad; este estudio no pretende adentrarse en esta discusión, y se limita a utilizar la información disponible y sacar conclusiones de sus resultados.

La discusión en relación con las limitaciones de exámenes de tipo normativo, como el Icfes y el Ecaes colombianos, tiene varios enfoques. En Europa se han estructurado planes a largo plazo para la recolección de información que permita visualizar más claramente, entre otras, la noción de empleabilidad, mientras que en Estados Unidos el debate se mueve hacia un mayor nivel de sustentación de estándares de parte de las universidades para con la sociedad.

Internacionalmente se han hecho algunos estudios para medir el valor predictivo de los exámenes de Estado en la educación secundaria, proyectados hacia el desempeño en la universidad, y las relaciones encontradas son bajas. Esto se ha explicado con relación a las diferencias en los tipos de evaluaciones, la dificultad de medir habilidades y la disposición hacia el estudio del estudiante y otras medidas de personalidad que no son posibles de captar en exámenes de tipo normativo.

En algunos países se ha pasado de la aplicación de exámenes de tipo normativo a la de pruebas que miden estándares, como es el caso del National Certifícate of Educational Achievement (NCEA), en Nueva Zelanda; estudios sobre esta prueba han arrojado valores predictivos muy superiores. Por ejemplo, Shulruf, Hattie y Tumen (2008) analizaron el valor predictivo tanto de exámenes de tipo normativo y otros, como el NCEA, con respecto al desempeño en la universidad el primer año, y encontraron, en el primero caso, correlaciones promedio de 0,30, y en el segundo, correlaciones entre 0,51 y 0,66, mucho más altas que las que se encuentran en la literatura y que relacionan pruebas de tipo normativo y el rendimiento en la universidad, que se mencionan más adelante.

Si bien tanto el Icfes como el Ecaes permiten construir indicadores de la educación, y la cualificación de procesos institucionales para formular las políticas y tomar decisiones, uno de los aspectos más interesantes y controversiales de estas pruebas es definir qué se debe evaluar en ellas, y qué puede esperar la sociedad de un profesional de un área específica (MEN, 2004). Por esta razón, se evaluaron los datos disponibles acerca de los diferentes componentes del Icfes y del Ecaes, y se contrastaron con información obtenida en la universidad que hace parte del estudio.

Para este estudio se construyó una base de datos de 2.888 estudiantes, que ingresaron a programas de pregrado en Administración entre los años 2000 y 2005, los cuales tuviesen resultados del Icfes en cada uno de sus componentes antes de ingresar a la educación universitaria y con resultados en la universidad medidos por el promedio acumulado ponderado por créditos (GPA). De los 2.888 estudiantes, 1.730 tienen también resultados del examen obligatorio de competencias (EOC), y a su vez, un subconjunto de 814 presentan resultados disponibles del Ecaes para administradores en cada uno de sus componentes. Toda la información se originó de las bases de datos de la universidad que hace parte del estudio y atendió todos los requisitos de confidencialidad y criterios éticos de esta.

Con los datos disponibles se analizaron los resultados del Icfes al momento del ingreso, el GPA en la universidad, los resultados del EOC y sus ocho componentes y, finalmente, el Ecaes y todos sus elementos. Para cada estudiante se analizaron las variables disponibles, y se aplicaron técnicas de correlación y pruebas de causalidad, al igual que una metodología de modelos multivariados, tanto lineales como no lineales.

Todos los estudiantes de la base de datos tienen los resultados del Icfes por componentes, que son biología, matemáticas, filosofía, física, historia, química, lenguaje, geografía, idiomas y tema interdisciplinar, y se someten a un proceso de entrevista para su ingreso a la universidad. Los estudiantes admitidos cursan tanto materias obligatorias como electivas, que hacen parte del pénsum de tres programas de pregrado en Administración. Los estudiantes que hayan cursado el 50% de los créditos de su pensum deben presentar el examen de evaluación de competencias (EOC), lo cual le permite a la universidad evaluar sus fortalezas y debilidades en ese momento en siete áreas distintas, y esos mismos estudiantes, antes de graduarse, presentan el Ecaes para administradores, que administra el Estado colombiano.

De los 2.888 estudiantes incluidos en la base de datos, se identificaron 814 con Icfes, trayectoria académica, resultados en el EOC y el Ecaes hasta el año 2007 (gráfica 2). Se hizo un análisis exploratorio y se estandarizó. De este modo se eliminaron datos atípicos y se preparó una base de datos con 531 estudiantes, cada uno con información en las variables que conforman la base, tales como Icfes por componente, competencias de lectura, selección de información, priorización, ética, manejo gráfico y matemático, y Ecaes por componentes, entre otras, que conforman un perfil de cada estudiante (anexo 1). En la base de datos hay variables de tipo nominal, que no se incluyen directamente en los modelos aplicados.

Se relacionaron las variables cuantitativas y se identificaron por lo general correlaciones positivas, pero con coeficientes más cercanos a cero que a uno (1); es decir, que si bien las variables se mueven en la misma dirección, la fuerza de este movimiento indica baja asociación lineal. Todos los componentes del Icfes, a excepción de física e historia y el tema interdisciplinar, presentaron una correlación más fuerte que el componente matemático, en relación con el desempeño en la universidad medido por el GPA.

Una vez identificadas las correlaciones significativas entre los datos, se aplicaron dos modelos multivariados, de regresión lineal múltiple y no lineal logit y probit, que se explicarán a continuación.

Tiene como objetivo estudiar la relación que existe entre una variable continua y dependiente (Y) y varias variables continuas o discretas independientes (Xi). La forma genérica de la ecuación de regresión poblacional es

La correcta estimación de la ecuación de regresión lineal se basa en un conjunto de supuestos sobre la forma del proceso generador de datos subyacente. Estos supuestos se relacionan con la linealidad del modelo de regresión, regresores no estocásticos, independencia lineal de los regresores (no multicolinealidad), perturbación aleatoria con varianza constante (homoscedasticidad), no correlacionadas entre ellas mismas (no correlación), normalmente distribuidas (normalidad) y valor esperado cero. Este trabajo verificó el supuesto de no presencia de multicolinealidad mediante el cálculo del factor de inflación de varianza (anexo 3) y la prueba de Klein (anexo 4); el factor de inflación de la varianza es bajo, y el coeficiente de correlación de la regresión auxiliar fue inferior al del modelo, lo cual revela la ausencia de multicolinealidad. La validación de los otros supuestos del modelo puede evidenciarse en las pruebas contenidas en el anexo 2.

Respecto al método de estimación de la ecuación de regresión poblacional, se considera como mejor opción la metodología de mínimos cuadrados ordinarios (MCO), que busca minimizar la suma de los cuadrados de los residuos al ajustar una línea a los puntos de los datos en el plano cartesiano. Genéricamente, el problema de estimación por mínimos cuadrados puede plantearse como la minimización de

donde es el parámetro desconocido, que por un lado minimiza la expresión anterior y, por el otro, recoge las ponderaciones y relaciones numéricas estimadas entre el regresando y sus regresores. Es importante anotar que el estimador de mínimos cuadrados es MELI (mejor estimador linealmente no sesgado).

Una vez que se ha estimado el vector de coeficientes desconocidos se determina la bondad de ajuste del modelo estimado verificando el cumplimiento de los supuestos antes mencionados. Entre los más importantes se encuentran la prueba de no correlación, homoscedasticidad y normalidad de la perturbación aleatoria, los cuales pueden ser expresados matemáticamente por las siguientes igualdades:

Para el caso de este estudio, se definió como variable dependiente el puntaje total del Ecaes, y como variables independientes todas aquellas que componen el resultado del examen del Icfes y el EOC, al igual que variables generales, como el estrato del estudiante y su promedio acumulado, entre otras (anexo 1). Respecto a la variable estrato, representa en Colombia una escala entre 1 y 6, dentro de la cual el 1 corresponde al estrato social más bajo -en términos de ingreso económico- y el 6 al más alto. Con el objeto de lograr un nivel de discriminación entre los estratos en los modelos, la variable estrato se reclasificó como ficticia, con las siguientes características: uno (1) para los estratos más altos, que son el 5 y el 6, y cero (0) para los estratos 1, 2, 3 y 4.

Se usa cuando el fenómeno que se quiere estudiar presenta una variable dependiente discreta ordenada, la cual toma valores de 0, 1, 2... que representan valores con significado en sí mismos; por ejemplo, la preferencia de consumo hacia un determinado bien o servicio. Estos modelos se analizan bajo la perspectiva de probabilidad, en donde la ocurrencia de un hecho específico j depende de características relevantes sensibles a la parametrización.

La especificación del modelo se construye a partir de una regresión latente, que se especifica de la siguiente manera:

Con base en la relación dada por la ecuación (6), la variable latente Y* se define:

Si se supone que la perturbación aleatoria tiene una distribución normal, es posible construir una ecuación genérica que calcule las probabilidades respectivas, a saber:

Al igual que los modelos logit o probit dicótomos, la estimación se realiza por el método de máxima verosimilitud, el cual busca encontrar el parámetro ß que maximice la función de verosimilitud:

Finalmente, y dado que las ecuaciones necesarias para resolver el problema de maximización anterior son de carácter no lineal, es importante solucionarlas por medio de los métodos iterativos.

En la tabla 2 se observan los resultados de los modelos aplicados a la base de datos, en los cuales es importante anotar que se presentan sin intersecto, ya que la teoría sostiene que no es necesario considerar la constante del modelo de regresión. En otras palabras, no es relevante que la constante se tome en cuenta, porque no es pertinente presumir que el estudiante obtendrá un Ecaes alto suponiendo lo demás constante.

Las variables explicativas, como los componentes del Icfes y el GPA, entre otros, son las mismas en todos los modelos, y como se aprecia en la tabla 2, todas son significativas y positivas, exceptuando la variable estrato, cuyo resultado es negativo, y representa que los resultados en el Ecaes tienden a ser más altos en los estudiantes de estratos 1, 2, 3 y 4.

Independientemente de si se utilizan modelos lineales o no lineales, los resultados muestran una relación muy significativa del GPA en la universidad con el resultado del Ecaes; en todos los modelos la universidad, medida como promedio acumulado, tiene un peso mayor que el resto de las variables (ver fila uno, promedio U, de la tabla 2).

Los componentes del Icfes que resultaron significativos fueron historia, química, lenguaje, biología y geografía (ver filas 2-7 de la tabla 2).

Los coeficientes muestran una relación negativa entre el estrato y el puntaje del Ecaes; es decir, que entre más alto es el estrato de un estudiante, menos alto es su resultado en el Ecaes.

Adicionalmente, en los modelos se utilizaron tres variables ficticias (dummíes), que reflejan los tres diferentes programas de Administración que cursaban los estudiantes al momento de presentar su Ecaes; sin embargo, en la regresión solo se consideró una, para evitar la trampa de la variable ficticia y porque las otras variables no fueron significativas. Se identificó que los estudiantes del programa de Administración de Empresas tenían una mayor probabilidad de obtener un resultado más alto en el Ecaes. Sobre lo anterior, se podría argumentar que el Ecaes en Administración pone un especial énfasis en los aspectos genéricos y propios de la Administración, y que no abarca las áreas de conocimiento más específicas de otros programas de Administración, como los énfasis del Servicio o del Comercio Internacional. Además, el 50% de los estudiantes que hacen parte de este estudio piloto estudiaron Administración de Empresas.

En el caso del EOC de la universidad, que mide siete competencias, los coeficientes son positivos, pero más cercanos a cero que a uno. Es importante mencionar que en el EOC las preguntas son abiertas, y esto puede implicar un sesgo, producto de la subjetividad del calificador, no obstante la utilización de la guía para calificar competencias del ciclo básico y su rúbrica en la calificación del examen de competencias por parte de los profesores.

Los coeficientes de correlación del Icfes y el rendimiento académico en la universidad establecidos en este estudio están entre 0,09 y 0,38, similares a los identificados en estudios realizados internacionalmente, que correlacionan educación secundaria y rendimiento académico en la universidad. Por ejemplo, el meta análisis de diez estudios, realizado por Goldberg & Allinger (1992), encontró un coeficiente de correlación promedio de 0,15 entre los resultados de la educación secundaria y los del primer año en la universidad. Más recientemente, Morrison & Morrison (1995), en su meta análisis de veintidós estudios, encontraron correlaciones entre 0,22 y 0,28 dentro de los resultados de la educación secundaria y los obtenidos en la universidad mediante medición por el GPA. También el meta análisis de Kuncel, Hezlett & Ones (2001), que incluye los resultados de 1.753 estudios, encontró coeficientes de correlación entre 0,13 y 0,38, dentro de resultados de la educación secundaria y el GPA en la educación superior.

En relación con el Icfes, se puede afirmar que el valor predictivo de los componentes de biología, geografía, física, historia, química y lenguaje son significativos, pero bajos. Además, es notoria la ausencia del componente de matemáticas entre los componentes significativos para estudiantes de pregrado en Administración. Este resultado confirma los hallazgos de otros estudios del caso colombiano para pregrados afines. Por ejemplo, mediante la metodología de componentes principales-análisis multivariado, Carvajal, Trejos & Soto (2004) exploraron las relaciones existentes entre los puntajes del Icfes en matemáticas, física y lenguaje de unos aspirantes a ingresar a programas de Ingeniería, con el rendimiento obtenido ya como estudiantes de la universidad en los cursos de matemáticas I y 11 durante los años 2000 y 2003. El estudio encontró que los resultados del Icfes en matemáticas, física y lenguaje fueron independientes de los obtenidos en la universidad.

Contrario a una de las prácticas comunes más arraigadas en Colombia para ingresar a la universidad, el resultado del Icfes no debe ser el único referente ni el más importante para seleccionar a los candidatos a entrar a la universidad, puesto que este tiene un bajo valor predictivo al momento de la admisión, para anticipar el desempeño de los estudiantes en la universidad medido por el GPA.

Este hallazgo, expresado en términos de competencias, significa que los aspirantes llegan con competencias insuficientes en algunas áreas relacionadas con el pregrado, como es el caso del componente de matemáticas para los pregrados en Administración. Si las universidades intentan seleccionar estudiantes mejor preparados para desarrollar habilidades y competencias, se requiere el uso de otros criterios que puedan ser más informativos de las habilidades y disposición de los aspirantes, tales como un examen de admisión, una entrevista, o ambos, entre otros.

En cuanto a la relación de los resultados del Icfes, rendimiento académico en la universidad y EOC con el Ecaes, se encontró que existe una relación negativa entre el estrato y el puntaje del Ecaes. En otras palabras, entre más alto es el estrato de un estudiante, menos alto es su resultado en los Ecaes. Este resultado es indicativo de la relevancia de que las universidades tomen en cuenta criterios sociales al momento de admisión a la universidad.

Adicionalmente, no se encontró relación entre el EOC (que mide siete competencias) y el puntaje del Ecaes. Esto podría sugerir que los dos exámenes no son comparables, puesto que el primero utiliza preguntas abiertas, y el segundo, cerradas. Otras variables que pueden ayudar a esclarecer este resultado no son observables en este estudio, como son la dedicación horaria, la actitud hacia el estudio, entre otras. Sin embargo, a pesar de no tener coeficientes significativos en este estudio piloto, la evaluación por competencias que hace el EOC brinda una información valiosa para alimentar las técnicas pedagógicas utilizadas en el pregrado. Esta apreciación encuentra sustento indirecto en los coeficientes significativos que resultan de todos los modelos evaluados por este estudio y que relacionan el rendimiento académico en la universidad medido por el GPA y los resultados de los Ecaes.

Se encontró que los estudiantes del programa de Administración de Empresas tenían una mayor probabilidad de obtener un resultado más alto en los Ecaes que aquellos de Administración con otros énfasis (p. ej., Servicios y Negocios Internacionales). Esto se explica quizá porque los Ecaes ponen un especial énfasis en los aspectos genéricos y propios de la Administración, y no abarcan suficientemente las áreas de conocimiento más específicas.

El proceso de selección de l as universidades en Colombia pretende elegir un grupo de estudiantes que garanticen el éxito académico. Sin embargo, los resultados de este estudio piloto cuestionan, entre otros, el Icfes como criterio de selección de estudiantes de pregrado para carreras relacionadas con la Administración de Empresas y los Negocios. Además, los coeficientes encontrados sugieren que el éxito académico que se anticipa para un aspirante de estrato social medio y alto, con un resultado superior en el componente de matemáticas y en una segunda lengua, no se aplica claramente. De hecho, estudiantes de estratos sociales bajos, con resultados medios en matemáticas y puntajes altos en filosofía y humanidades, en general, lograron un desempeño académico más alto que los anteriores.

Los resultados de este estudio piloto indican que los exámenes de Estado aportan una información necesaria, pero no suficiente, al momento de seleccionar a un estudiante de pregrado, y que se requieren criterios y consideraciones adicionales, que reflejen el potencial de jóvenes que no coinciden con las presunciones de perfiles predeterminados.

¹ Los Ecaes son exámenes que se hacen a nivel nacional en Colombia, a los estudiantes próximos a grado en programas de pregrado.

² Artículo 10. del Decreto 1781 de 2003.

³ http://web.icfes.gov.co/web/index.php?option=com_content&task=view&id=i05&Itemid=i28, marzo 25 del 2009.

⁴ A partir de la Ley 1324 del 2009, el Ecaes será obligatorio para la titulación en la educación superior, lo cual garantizará, a partir del 2010, una cobertura del cien por ciento de la población de futuros egresados.

⁵ http://www.icfesinteractivo.gov.co/historicos/.

⁶ Fuente: Matricula certificada por las secretarías de educación (2002). SINEB (2003-2008). http://menweb.mineducacion.gov.co/info_sector/estadisticas/basica/index.html.

⁷ http://www.graduadoscolombia.edu.co:8o8o/o3portal/viewdesktop.jsp?cmnd=open&source=Caracterizacion+Graduados%2FInstituciones+de+Educaci%F3n+Superior++Graduados+por+Instituci%F3n%23_public.

Banta, T. W. (2001). Making a difference: outcomes of a decade of assessment in higher education. Disponible en: The Jossey Bass Adult and Higher Education Series.

Barnett, R. (2001). Los límites de la competencia: el conocimiento, la educación y la sociedad. Barcelona: Gedisa.

Bogoya, D. (2005). Competencias: evaluación para la vida. Educación Superior: Boletín Informativo del Ministerio de Educación Nacional, No. 5, octubre-diciembre.

Bogoya, D. (2005). Ecaes: Un ejercicio de concertación conceptual. Educación Superior: Boletín Informativo del Ministerio de Educación Nacional, No. 5, octubre-diciembre.

Camacho Sanabria, C. (2008). ¿Autonomía o control?: criterios para medir la calidad en la educación superior. Revista Ecosalle, año XIII, No. 23, julio.

Carvajal, P., Trejos, A. & Soto, J. (2004). Búsqueda de la relación entre áreas Icfes en matemáticas, física, lenguaje y rendimiento en matemáticas I y matemáticas II, a través del análisis de componentes principales. Scíentía et Technica, año X, No. 26.

Chomsky, N. (1969). Aspects of the theory of syntax. MIT Press.

Goldberg, E. & Alliger, G. (1992). Assessing the validity of the GRE for students in psychology: A validity generalization approach. Educational and Psychological Measurement, 52, No. 4, pp. 1019-1027.

Granes, J. (2000). Competencias y juegos de lenguaje. Disponible en: Competencias y Proyecto Pedagógico, Universidad Nacional.

Grupo de Divulgación de Resultados, Subdirección Académica - Icfes (2003). ¿Cuáles son los tipos de resultados y su interpretación?

Hernández, C. A. (2002). Universidad y excelencia. Disponible en: Educación superior: sociedad e investigación. Colciencias-Ascun.

Hernández, C. A. (2002). Disciplinas. Icfes-MEN.

Iesalc-Unesco (2002). La educación superior en Colombia. Digital Observatory for Higher Education in Latin America and the Caribbean. Disponible en: http://unesdoc.unesco.org/images/0013/001315/131598s.pdf

International Labor Organization. Disponible en: http://www.ilo.org/wcmsp5/groups/public/—dgreports/—dcomm/documents/publication/wcms_101461.pdf

Jessup, G. (1991). Outcomes: NVQs and the emerging model of education and training. RoutledgeFalmer, Taylor & Francis Group.

Kuncel, Nathan R., Hezlett, Sarah A. & Ones, Deniz S. (2001). A Comprehensive Meta-analysis of The Predictive Validity of The Graduate Record Examinations: Implications for Graduate Student Selection and Performance. Psychological Bulletin, No. 127 (1), pp. 162-18.

Leathwood, C. (2005). Assessment policy and practice in higher education: Purpose, standards and equity. Assessment & Evaluation in Higher Education, No. 30 (3), pp. 307-324.

Marcenaro, O. & Navarro Gómez, M. (2007). El éxito en la universidad: una aproximación cuantílica. Revista de Economía Aplicada, Vol. XV, No. 44, pp. 5-39.

Martínez, M. (2006). Formación para la ciudadanía y educación superior. Revista Iberoamericana de Educación, No. 42, pp. 85-102. OEI, Madrid.

Martínez, M., Buxarrais, M. R. & Esteban, F. (2002). La universidad como espacio de aprendizaje ético. Revista Ibero americana de Educación, No. 29, pp. 17-43. OEI, Madrid.

Mc Donald, R., Boud, D., Francis, J. & Gonczi, A. (2000). Nuevas perspectivas sobre la evaluación. Boletín de Cinterfor, No. 749, mayo-agosto.

MEN - Ministerio de Educación Nacional de Colombia (2004). Boletín informativo. Secretaria General, Grupo de Procesos Editoriales - Icfes.

MEN - Ministerio de Educación Nacional de Colombia (2005). Boletín Informativo del Ministerio de Educación Nacional, No. 5, octubre-diciembre.

MEN - Ministerio de Educación Nacional de Colombia (2008). Exámenes de calidad de la educación superior en administración - Guía de orientación. Secretaria General, Grupo de Procesos Editoriales - Icfes.

Morrison, T. & Morrison, M. (1995). A meta-analytic assessment of the predictive validity of the quantitative and verbal components of the graduate record examination with graduate grade point average representing the criterion of graduate success. Educational and Psychological Measurement, Vol. 55, pp. 309-16.

OECD (2005). The Definition and Selection of Key Competences: Executive Summary [documento web]. Disponible en: http://www.oecd.org/dataoecd/47/61/35070367.pdf

Orlando, J. (2005). The Reliability of GRE Scores in Predicting Graduate School Success: A Meta-Analytic, Cross-Functional, Regressive, Unilateral, Post-Kantian, Hyper-Empirical, Quadruple Blind, Verbiage-Intensive and Hemorrhoid-lnducing Study. Disponible en: http://www.acm.org/ubiquity/views/v6i2i_orlando.html?CFID=45505596&CFTOKEN=6646i567

Piaget, J. (1980). Estudios de epistemología genética. Barcelona: Paidós.

Popper, K. (1959). The logic of scientific discovery. Basic Books.

Proyecto Tuning América Latina [documento web]. Disponible en: http://www.tuning.unideusto.org/tuningal/

Puig, J. & Hartz, B. (2005). Concepto de competencia y modelos de competencias de empleabilidad. Universidad Industrial de Santander, Primer Encuentro Internacional de Educación Superior: Formación por Competencias.

Salmi, J. (2009). The Challenge of Establishing World-Class Universities. The World Bank.

Schön, D. (1992). La formación de profesionales reflexivos. Hacia un nuevo diseño de la enseñanza y el aprendizaje en las profesiones. Barcelona: Paidós.

Shulruf, B., Hattie, J. & Tumen, S. (2008, diciembre). The predictability of enrolment and first year university results from secondary School Performance. Studies in Higher Education, Vol. 33, No. 6, 685-698.

Universidad de La Sabana (2002). Pautas para el desarrollo curricular de los programas de pregrado en la Universidad de La Sabana.

Universidad de La Sabana (2009). Proyecto educativo institucional.

Van Ey ck, M. (2008). Deliberating about the meaning of global competente in a public US University. Disponible en: http://globalhighered.wordpress.com/2009/06/18/deliberating-about-the-meaning-of-global-competence/

World Bank (2002). Constructing Knowledge Societies: New Challenges for Tertiary Education.

anexo 1

anexo 2

Recibido: 2011-02-28
Aceptado: 2011-03-12