10.5294/edu.2020.23.2.7
Pedagogía Universitaria

Juegos de negociación:
estrategia para formación de competencias ciudadanas en universitarios^*

Negotiation Games:
A Strategy for Developing Citizen Skills in University Students

Jogos de negociação:
estratégia para formar competências cidadãs em universitários

Silvia Nathalia Núñez Rueda¹
Angélica María Zambrano Mantilla²
Luis Alejandro Palacio García³
Jorge Francisco Maldonado Serrano⁴

^*  Este artículo hace parte de los resultados de los proyectos de investigación “Formación en competencias ciudadanas en educación superior” código 8265, financiado por el Instituto Colombiano para la Evaluación de la Educación y la Universidad Industrial de Santander; y “Filosofía moral experimental para la formación de competencias ciudadanas” código 2403, financiado por la Universidad Industrial de Santander.

¹ 0000-0003-3380-0445 Universidad Externado de Colombia, Colombia silvia.nunez@est.uexternado.edu.co

² 0000-0001-5502-5246  Universidad Industrial de Santander, Colombia amzambra@uis.edu.co

³ 0000-0001-9056-6216  Universidad Industrial de Santander, Colombia lpalagar@uis.edu.co

⁴ 0000-0002-7707-154X Universidad Industrial de Santander, Colombia jmaldona@uis.edu.co

Recepción: 27/01/2020
Envío a pares: 05/03/2020
Aceptación por pares: 20/03/2020
Aprobación: 06/04/2020

Para citar este artículo / To reference this article / Para citar este artigo: Núñez, S. N., Zambrano, A. M., Palacio, L. A. y Maldonado, J. F. (2020). Juegos de negociación: estrategia para formación de competencias ciudadanas en universitarios. Educación y Educadores, 23(2), 291-308. https://doi.org/10.5294/edu.2020.23.2.7

El Informe sobre el Desarrollo Mundial 2018: Aprender para hacer realidad la promesa de la educación, elaborado por el Banco Mundial (2018), destaca que los estudiantes deben desarrollar las competencias que necesitan para llevar una vida saludable, productiva y significativa. Todos deben aprender a interpretar numerosos tipos de textos escritos, así como saber hacer cuentas. Requieren llevar a cabo razonamientos complejos y tener la creatividad que se desarrolla a partir de enfrentarse a 995 situaciones conflictivas. Además, necesitan las competencias socioemocionales que los ayuden a adquirir y aplicar esas capacidades básicas y otras habilidades. Parte de esas competencias están asociadas a las capacidades que hacen posible que las personas puedan actuar de manera constructiva en la sociedad.

En este contexto, el Instituto Colombiano para la Evaluación de la Educación (icfes, 2018) define las competencias ciudadanas como las habilidades cognitivas, emocionales y comunicativas necesarias para ejercer, defender y difundir los derechos, participar en la vida política y comprender de forma crítica la sociedad, sus instituciones y normas. Esta definición recoge múltiples factores que encierra el proceso formativo, debido a que los estudiantes deben desarrollar competencias transversales que puedan evidenciarse a través de elementos como la participación en clase, la motivación, el respeto por la opinión del otro y la capacidad de argumentación. Por lo tanto, la formación de competencias ciudadanas, más que mejorar los resultados en una prueba estandarizada, lo que busca es alcanzar mayores niveles de empatía y comportamientos prosociales que puedan contribuir de una manera positiva a mejorar la sociedad.

Así las cosas, es necesario conocer la efectividad de las estrategias de formación en competencias ciudadanas a través de la evaluación cuantitativa y/o cualitativa. En general, la efectividad de una estrategia pedagógica se mide, desde el punto de vista cuantitativo, al analizar los resultados de aprendizaje, aplicando pruebas estandarizadas. De este tipo de evaluación es un referente lo propuesto por Zambrano (2018), quien implementó una prueba para medir las competencias ciudadanas en un grupo de estudiantes de la Universidad del Magdalena (Colombia), después de realizar prácticas pedagógicas constructivas y lúdicas diseñadas para desarrollar estas competencias.

De otro lado, un referente en evaluación cualitativa se encuentra en el programa Aulas en Paz, donde se implementa un programa multicomponente que busca promover la convivencia pacífica, enfatizando en la formación de competencias emocionales, cognitivas, comunicativas e integradoras en niños de los grados 2 a 5 de primaria. A partir de este trabajo, Chaux et al. (2008) destacan que la formación basada en competencias debe brindar oportunidades para desarrollar habilidades sociales a través de la puesta en práctica de acciones en contextos complejos simulados o de la vida real.

Teniendo como referente lo anterior, este artículo busca evaluar la efectividad del Taller Juegos de Negociación (TJN), que tiene una duración de cuatro semanas, en cada una de las cuales los estudiantes se enfrentaban a un reto interactivo multijugador que simula diversos dilemas morales en ambientes digitales controlados. Los juegos abordan dos temas principales: el primero es la confianza, entendida como el riesgo inherente a establecer intercambios con otras personas, donde la postura adoptada puede llevar a crear complejas relaciones sociales. El segundo es la gestión del conflicto, mejor entendida como la educación para resolver pacífica y constructivamente las diferencias y desencuentros.

Por lo tanto, el desafío radica especialmente en el diseño de instrumentos que permitan una evaluación holística, entendiendo que la evaluación en educación es una constante construcción de procesos que contribuyen al desarrollo de la enseñanza y el aprendizaje (Mendieta et al., 2016). En este sentido, se busca evidenciar si los juegos de negociación son una actividad formativa para desarrollar competencias relacionadas con la ética ciudadana, al crear el ambiente propicio para que los estudiantes compartan diferentes puntos de vista y discutan con argumentos las razones que explican su propio comportamiento en estructuras formalizadas de incentivos (Palacio et al., 2017).

Con este propósito se realizó una intervención piloto a principios de 2019 con estudiantes de primer semestre de la Universidad Industrial de Santander (UIS). El método de evaluación cualitativo incluye los siguientes instrumentos de recolección de información: guías de observación, encuestas de percepción y grupos focales con los Observadores no Participantes (ONP). Se busca dar respuesta a la siguiente pregunta de investigación: ¿es el TJN una estrategia efectiva para la formación en competencias ciudadanas en los estudiantes de primer semestre inscritos en programas de pregrado de la UIS? A partir de la implementación de la evaluación cualitativa se logró identificar las competencias que se desarrollan en los participantes, así como las falencias y aspectos por mejorar en cuanto a procesos, procedimientos y resultados.

En la primera sección se presenta una breve contextualización del concepto de competencias ciudadanas, junto con una revisión de los métodos de evaluación encontrados para estrategias de aprendizaje enfocadas en la formación de estas competencias. En este mismo apartado se ofrece una explicación general del TJN. En la segunda sección se presenta la metodología de evaluación implementada, resaltando el diseño de los instrumentos para la recolección de datos. Por último, en la tercera sección se presentan las conclusiones relacionadas con el diseño de la estrategia y su efectividad para desarrollar competencias ciudadanas en los estudiantes.

Estrategias pedagógicas para la formación de competencias ciudadanas

Según Janoski (1998), ejercer la ciudadanía implica establecer relaciones y vínculos con otras personas, de modo que un ciudadano activo se obliga a concebirse y a definir una posición con respecto a los demás. En la misma línea, Nussbaum (2014) propone que se es mejor ciudadano en la medida en que se muestre un mayor comportamiento empático y prosocial, entendiendo la empatía como la habilidad de considerar y comprender los sentimientos de otras personas y la prosociabilidad como las conductas voluntarias que benefician a los demás (Correa, 2017). Así, ejercer la ciudadanía de forma activa, crítica y propositiva requiere de la capacidad para analizar las situaciones sociales, como también formación emocional para gestionar los sentimientos que suscita la realidad en ambientes estratégicos.

Por ello, la adquisición de habilidades para la ciudadanía considera las dimensiones cognitivas, socioemocionales y conductuales, y debe darse a lo largo de las distintas etapas del ciclo educativo. Los Estándares Básicos de Competencias Ciudadanas las definen como “el conjunto de conocimientos y de habilidades cognitivas, emocionales y comunicativas que, articulados entre sí, hacen posible que el ciudadano actúe de manera constructiva en la sociedad democrática” (Ministerio de Educación Nacional, 2004).

Este enfoque reconoce que para la formación ciudadana es fundamental el desarrollo moral, entendido como “el avance cognitivo y emocional que permite a cada persona tomar decisiones cada vez más autónomas y realizar acciones que reflejen una mayor preocupación por los demás y por el bien común” (Ministerio de Educación Nacional, 2004, p. 158). De acuerdo con los estándares, las competencias ciudadanas están relacionadas con la empatía, el juicio moral, la argumentación, el diálogo, la descentralización, la coordinación de perspectivas y el pensamiento sistémico.

Considerando que es fundamental para la sociedad dar cuenta de la formación en competencias ciudadanas, el ICFES (2018) plantea la evaluación de tres competencias a través de la prueba Saber 11. Estas son: 1) el pensamiento social, que mide la capacidad del estudiante de usar conceptos básicos de las ciencias sociales, así como los fundamentos del Estado social de derecho para la compresión de problemáticas y fenómenos sociales; 2) el multiperspectivismo, que pone a prueba la habilidad y la capacidad de analizar una problemática y reconocer diferentes posturas; y 3) el pensamiento reflexivo y sistémico, que hace referencia a la capacidad de comprender la realidad social mediante la identificación y construcción de relaciones entre las distintas dimensiones del problema y sus posibles alternativas de solución.

En este marco, se entiende que es crucial, además de evaluar las competencias ciudadanas que los estudiantes desarrollan, revisar e innovar constantemente las estrategias que se proponen y utilizan para desarrollarlas. Precisamente, en la medida en que se entiende que la formación implica una constante revisión, actualización y discusión social, las estrategias educativas (pedagógicas y didácticas) que pretenden favorecer dicha formación no han de ser ajenas, a su vez, a una evaluación crítica y constructiva.

Métodos de evaluación

Existe un creciente interés por incorporar las habilidades no cognitivas, o socioemocionales, en los sistemas de rendición de cuentas de los sistemas educativos, lo cual ha planteado la necesidad de crear medidas para evaluarlas (García, 2018). De acuerdo con Ochman y Cantú (2013), la metodología de evaluación en competencias ciudadanas debe definir distintos componentes de cada competencia para tener constructos delimitados que permitan identificar los métodos adecuados a través de instrumentos estandarizados. Sin embargo, a pesar de usar instrumentos de medición cuantitativa, resaltan que es necesario enriquecer la evaluación con metodología cualitativa, incluyendo elementos de observación o grupos de enfoque, para tener una mejor comprensión de problemas que presenta el desarrollo de competencias específicas, que muchas veces no son referenciados a través de instrumentos cuantitativos.

Para abordar este problema, existen dos maneras generales que permiten evaluar el efecto de una estrategia de aprendizaje sobre la formación de competencias: 1) resultados de desempeño en pruebas estandarizadas y/o 2) valoración de las percepciones de los participantes. En el primer caso, algunos investigadores han cuestionado si el desempeño de los estudiantes en pruebas estandarizadas puede capturar todo lo que estos han aprendido en la escuela (Merchant et al., 2018), de modo que se plantea la necesidad de estructurar estrategias más integrales para evaluar el logro de resultados de aprendizaje. En segundo lugar, para la evaluación desde el punto de vista de la percepción de los participantes se hace necesario “objetivizar” dichos resultados, a través de la triangulación o comparación con otras estrategias, como rúbricas para el análisis de alcance de competencias (Hernández et al., 2016).

En particular, Cabrera (2007) afirma que se debe tener en cuenta la manera en que funciona el contexto del aprendizaje para la evaluación de la implementación de un programa de ciudadanía. Así, plantea que los criterios que deberían observarse en el desarrollo del programa pueden ser: 1) la actuación del profesorado desde su preparación y entusiasmo, como el modelo de actitud, los valores y el comportamiento cívico ante los estudiantes; 2) la combinación de actividades de conocimiento; 3) el nivel de implicación y participación de los estudiantes en el proceso de toma de decisiones sobre el aprendizaje.

Otros, como Moreira et al. (2010), recalcan la necesidad de evaluar las intervenciones particulares de los estudiantes (participación en las sesiones) para la formación de competencias sociales y emocionales a nivel intercultural. Para ello, realizaron un estudio a lo largo de cuatro años para evaluar la efectividad de una intervención en niños portugueses de primaria, a través de un diseño cuasiexperimental con resultados cuantitativos. Así mismo, Chinekesh et al. (2014) investigaron los efectos de la terapia de juego en las habilidades relacionales y emocionales de los niños en edad preescolar a través de una metodología de evaluación y comparación de grupos de autoconciencia, autorregulación, interacción social, empatía y control. Con estos trabajos, se evidencia una tendencia a una evaluación cuantitativa de las competencias ciudadanas.

Adicional a estas metodologías, otros autores han diseñado instrumentos propios, como es el caso de Muñoz et al. (2013), quienes implementaron una prueba lúdica de competencias ciudadanas en formato digital para la evaluación de competencias cognitivas ciudadanas en alumnos de 4 y 5 grado en instituciones públicas del municipio de Piedecuesta (Santander, Colombia)¹. Otros, más allá de los resultados en pruebas estandarizadas, plantean la evaluación de dichas competencias con base en observación de resultados, por ejemplo, los trabajos de Francisco y Moliner (2010) y Zuta et al. (2014), que logran identificar modificaciones en el comportamiento de los estudiantes a partir del desarrollo de sus estrategias.

Taller Juegos de Negociación

Tal como lo enfatizan Chaux et al. (2008), la formación ciudadana basada en competencias debe brindar oportunidades para que los estudiantes, además de adquirir conocimientos sobre valores, desarrollen sus habilidades a través de la puesta en práctica de acciones en contextos complejos simulados o de la vida real. Con este propósito, los Juegos de Negociación son una estrategia pedagógica, construida alrededor de la metodología de dilemas morales, en donde se conjugan las competencias cognitivas, como el multiperspetivismo, el pensamiento sistémico y la valoración de argumentos. En este contexto, el Taller Juegos de Negociación (TJN)² se estructura en cuatro juegos, cada uno respondiendo a un dilema diferente. La descripción de los juegos se presenta a continuación y se resume en la Tabla 1.

Tabla 1. Juegos de negociación

Fuente: Elaboración propia.

Inversión: coordinación y reputación. Inspirados en el problema de alcanzar la eficiencia en juegos de coordinación abordado por Cooper et al. (1992), el TJN permite analizar, entender y discutir el efecto de la reputación sobre una decisión de inversión en un contexto de negociación bilateral. Las preguntas que se discuten son: ¿cómo afectan la reputación las decisiones de inversión que requieren de coordinación? y ¿es el mecanismo de calificación una señal efectiva? Se espera que los estudiantes discutan si el mecanismo de calificación permite señalizar el comportamiento prosocial y mejora la coordinación y, por la tanto, la eficiencia.

Confianza: identidad de grupo y cooperación. Retomando la literatura relacionada con el juego de la confianza propuesto por Berg et al. (1995), el TJN permite analizar, entender y discutir el efecto de una etiqueta de grupo sobre la confianza y la reciprocidad en los que comparten la misma característica y los que no. En particular, los participantes se organizan en dos equipos: azules y verdes, para ver si esta información afecta las decisiones. Las preguntas orientadoras son: ¿cómo afecta la confianza y la reciprocidad el hecho de conocer si la pareja es azul o verde? y ¿el comportamiento de azules y verdes es diferente, o cambia en función de si estoy interactuando con alguien igual o diferente? Se espera que la información sobre la pareja aumente la confianza y la reciprocidad entre los iguales, dado que el sentimiento de pertenencia se refuerza por la comparación del desempeño promedio.

Garrote y zanahoria: normas sociales y mecanismos de cumplimiento. Tomando como inspiración la literatura relacionada con los castigos antisociales expuesta en Herrmann et al. (2008), el TJN permite analizar, entender y discutir si la posibilidad de recibir premios o castigos afecta la contribución a un bien público. Las preguntas que orientan la discusión son: ¿cómo afecta la decisión de contribuir a la cuenta pública el hecho de estar expuesto a recibir premios o castigos? y ¿se premiará al que contribuye y se castigará al que no lo haga? Se espera que tener información sobre la contribución de la pareja cree un mecanismo de presión social sobre la decisión de contribuir al bien público. En este sentido, no es claro si la contribución promedio será mayor bajo el incentivo de castigo que cuando se puede dar un premio.

Conflicto: Negociar como halcón o como paloma. Adaptando el modelo propuesto por Palacio et al. (2015), el TJN permite analizar, entender y discutir el efecto del nivel de conflicto y los mensajes vinculantes sobre la decisión de cooperar en juegos 2 × 2. Las preguntas orientadoras son: ¿los participantes están dispuestos a cooperar dependiendo del nivel de conflicto al que se enfrenten? y ¿el hecho de jugar de forma secuencial lleva a cooperar más que cuando se juega simultáneamente? Se espera que el nivel de conflicto afecte la decisión de cooperar. Entre mayor sea el conflicto mayores incentivos tendrán los participantes para actuar agresivamente. Con respecto al comportamiento del líder o del seguidor, no se esperan cambios significativos con respecto al juego simultáneo.

Para evaluar la efectividad del taller se implementó una prueba piloto con estudiantes de primer semestre inscritos en programas de pregrado de la UIS, quienes debían cursar y aprobar la Cátedra Vida y Cultura Universitaria que, por su objetivo, resultó ser el espacio ideal para realizar la evaluación de la efectividad del TJN. Los estudiantes seleccionados fueron convocados durante cuatro semanas en grupos de máximo 50 personas. Entre las actividades propias que comprenden cada juego se encuentran las siguientes:

Foros virtuales en la red social Facebook. Busca que los estudiantes preparen las sesiones presenciales y profundicen en los temas a partir del material audiovisual de apoyo. Además, esta plataforma permite que expresen sus opiniones personales y discutan los comentarios e ideas de sus compañeros.

Debate competitivo. Permite la discusión respetuosa de dilemas morales de forma presencial, enmarcando la interacción en una competencia entre dos equipos. Una vez se presenta el caso de estudio y se plantea una moción o idea a discutir, se pide a los estudiantes que conformen dos equipos de tres estudiantes, más un grupo de tres jurados. Un equipo tiene la misión de defender la moción argumentando que es cierta (casa a favor) y el equipo rival debe atacarla con la exposición de argumentos en contra (casa en contra). Al final de la sesión, el jurado evalúa y expone públicamente los argumentos que le permiten concluir quién ha ganado el debate. Para cada juego, se plantea la realización de una sesión de debate, es decir, durante todo el taller los estudiantes asisten a cuatro sesiones de debate.

Simulación virtual. Los estudiantes participan en una situación artificial, donde cada uno debe escoger entre varias opciones con el fin de ganar puntos, dependiendo de la decisión propia y de lo que hagan los demás en tiempo real. Cada juego de negociación tiene sus propias reglas. Por ello es importante revisar las instrucciones con anticipación para buscar la mejor estrategia. Para cada juego, se realiza una simulación virtual, es decir, en el transcurrir del taller se realizan cuatro simulaciones.

En resumen, cada juego es un ejercicio pedagógico donde el estudiante es protagonista al tomar decisiones frente a un dilema moral. El desarrollo de la intervención se acompaña de un sistema de puntos como mecanismo de incentivo a la participación de los estudiantes en las diferentes etapas de cada juego[3]. Al finalizar el taller, los tres estudiantes que acumulen más puntos obtienen un reconocimiento por su desempeño.

Diseño de un método de evaluación cualitativo para estrategias de aprendizaje enfocadas en la formación de competencias ciudadanas

Teniendo en cuenta la importancia de la evaluación integral de las estrategias de aprendizaje innovadoras que involucran la formación de competencias ciudadanas, como es el caso del TJN, se optó por diseñar un método de evaluación cualitativo que incluyera la participación de diferentes actores involucrados en el desarrollo de este tipo de estrategias: participantes, talleristas y observadores. Además, se tuvo en cuenta el diseño de un método que se articulara en su totalidad, para dar cuenta del proceso investigativo, de modo coherente, secuencial e integrador (Cisterna, 2005).

A partir de lo anterior, se estimó que la técnica de observación no participante era la indicada para este proceso, dado que permite recoger la información sin intervenir en el grupo de interés (Fuertes, 2011) y deja captar de la manera más objetiva posible lo que ocurre en el mundo real, ya sea para describirlo, analizarlo o explicarlo desde una perspectiva científica (Campos y Lule, 2012). Por tanto, se planteó que los Observadores no Participantes (ONP) registraran todas las actividades que componen la estrategia para recopilar la información de forma sistemática a través de guías de observación diseñadas y revisadas por el equipo investigador (Marietto, 2018).

Se diseñó una encuesta con el fin de completar y enmarcar el registro de observación y para conocer la percepción de los estudiantes al finalizar el taller. Asimismo, una vez terminada la prueba piloto, se realizaron grupos focales para conocer la percepción de los cinco talleristas y los cuatro ONP. La recopilación de estas percepciones (estudiantes, talleristas y observadores) permitió matizar la interpretación que puede hacerse a partir de los registros de observación y ampliar la garantía de objetividad. A continuación, se describe la intervención realizada, relatando en detalle los métodos e instrumentos.

Diseño de la intervención

El TJN se realizó en 2019, en dos cohortes, con tres grupos en cada una. Una primera cohorte desde el lunes 18 de marzo hasta el viernes 12 de abril; la segunda cohorte desde lunes 22 de abril hasta el viernes 17 de mayo, tal como se describe en la Tabla 2. De acuerdo con lo estipulado en los protocolos del proyecto, la expectativa era que cada grupo tuviera una participación de 50 estudiantes. De los 1366 matriculados en 2019-I, se realizó una selección aleatoria, controlada por sexo y carrera, de 300 participantes en los talleres. Sin embargo, situaciones exógenas al proyecto⁴, como el Paro Nacional Estudiantil, afectaron la asistencia y los controles de la muestra. De los 300 estudiantes seleccionados aleatoriamente, asistieron al menos una vez al taller 252 estudiantes. De estos, 191 cumplieron el requisito para ser certificados (asistieron al 80 % de las sesiones).

Tabla 2. Número de participantes en cada grupo^[5]

Fuente: Elaboración propia.

Procesamiento de los datos

Para obtener resultados en los estudios cualitativos y obtener una descripción más completa es fundamental codificar los datos. En este proceso se resume y elimina la información irrelevante, procurando generar un mayor entendimiento del material analizado (Fernández et al., 2006). Teniendo en cuenta el volumen y el tipo de material recolectado, el equipo investigador estimó conveniente utilizar el software de análisis cualitativo nvivo como apoyo al procesamiento de la información contenida en las guías de observación. Este software permite codificar unidades de contenido (texto y otros materiales), con base en un esquema diseñado con anticipación por el investigador.

Para construir los instrumentos de recolección de información se identificaron en cada semana tres momentos claves en los que el estudiante participa activamente: 1) foro virtual de Facebook, 2) debate competitivo presencial, 3) simulación del dilema social. A continuación, se describe la información recolectada mediante las tres guías de observación diseñadas.

A. Foro virtual en Facebook. Se creó un grupo en Facebook con 153 participantes en la primera cohorte (grupos 1, 2 y 3) y 103 participantes en la segunda (grupos 4, 5 y 6). Además, en ambos grupos se vincularon los cinco talleristas, los cuatro ONP y tres auxiliares de apoyo. Previo al inicio del taller fue enviada una invitación a todos los estudiantes a través de correo electrónico para su vinculación a este grupo.

De acuerdo con lo observado, los dos grupos tuvieron como foco principal las siguientes actividades: 1) publicación del material de apoyo para las sesiones de debate y simulación; 2) publicación de horarios de las sesiones presenciales y avisos generales; 3) discusión de las cinco mociones presentadas en cada juego, previo a su discusión en los debates presenciales; 4) elección de las dos mociones escogidas para los dos debates realizados en cada juego; y 5) encuesta sobre posiciones “a favor” y “en contra” de las mociones presentadas.

B. Debates presenciales. En la guía de observación para el debate presencial se registró con opciones de Sí o No el cumplimiento de los protocolos en las 24 sesiones realizadas. A través de seis ítems se capturó la percepción general del grupo asistente a la sesión en lo referente a la metodología presentada. Los resultados se aprecian en la Tabla 3.

Tabla 3. Cumplimiento de protocolos para las sesiones de debate competitivo

Fuente: Elaboración propia.

Es importante resaltar que se evidencia una apropiación de la metodología implementada en los debates por parte de los estudiantes. Por ejemplo, con el paso del tiempo las reglas y los roles para el debate eran más claros, por lo que los talleristas tenían que dedicar menos tiempo a las explicaciones y se generaron menos preguntas sobre la mecánica del juego. Asimismo, en el marco de los debates se realizó el registro de los equipos ganadores en cada uno de los debates realizados, teniendo en cuenta que en cada sesión de debate presencial se realizaban dos. Por último, cabe destacar que se trató de clasificar el tipo de argumentos utilizados por los estudiantes al momento de exponer sus opiniones y puntos de vista y de refutar los argumentos de la casa oponente.

C. Simulaciones virtuales. Para registrar el cumplimiento de los protocolos en las sesiones de simulación realizadas e identificar la aceptación de la metodología por parte de los estudiantes, en la guía de observación se plantearon algunos ítems de registro donde observar estos detalles. En la Tabla 4 se presenta el número de veces que se cumplieron y evidenciaron estas situaciones durante las sesiones.

Tabla 4. Cumplimiento de protocolos para las sesiones de simulación

Fuente: Elaboración propia.

De la Tabla 4 se resalta, en términos de organización de las actividades, que en la mayoría de ocasiones estas iniciaron a tiempo, se dieron instrucciones adecuadas y se resolvieron las dudas de manera oportuna. En el caso de las preguntas planteadas por los estudiantes, llama la atención que, a medida que avanzó el TJN, estas fueron más escasas, lo cual permite inferir que la simulación fue una metodología de mayor aceptación entre los estudiantes al transcurrir las sesiones.

D. Percepción de los estudiantes. Se consiguió realizar 165 encuestas de percepción a los participantes del TJN. Respecto a la distribución de los estudiantes que respondieron la encuesta, es homogénea por carrera, donde las carreras con más participación de estudiantes fueron Ingeniería Civil e Ingeniería Industrial, con el 8 % de estudiantes. De los estudiantes que respondieron la encuesta, 95,8 % manifestó no haber asistido antes a este tipo de actividades. De igual modo, se preguntó si consideraban que el TJN contribuyó a su formación como un “mejor ciudadano” y 93,9 % respondió afirmativamente.

A los estudiantes que respondieron afirmativamente a la pregunta anterior, se les preguntó cómo consideraban que el Taller contribuyó a su formación como un mejores ciudadanos. Un 22 % de las respuestas se agruparon en la categoría “varias”, dado que se tuvieron diversas opiniones, entre las que se destacan: pensar más en los demás, entender mejor el concepto de confianza y lo que ello implica, mejorar la expresión verbal, ser más compañerista, es importante preservar los valores morales en las personas. Dentro de las respuestas categorizadas, la de mayor porcentaje fue la referida a “comprender los distintos puntos de vista de una situación”, con 21 %. Asimismo, se destaca “mejorar la capacidad de análisis”, con 15 %.

Otra de las preguntas relacionadas con la formación adquirida en el taller se asoció con las competencias que los participantes consideraron que el TJN formó en cada uno, desde su experiencia personal. Al inicio, los estudiantes tenían una lista de 8 competencias[6] para elegir sus respuestas, además, una casilla adicional de “otra”, en caso de que consideraran incluir alguna que no estuviera dentro de las presentadas. A esta pregunta contestaron que el TJN contribuyó a formar en la “toma de decisiones con base en la información suministrada” con 18 % de las respuestas y “Respetar los argumentos de otros” con 17 %. Se resalta que de las 165 respuestas recibidas solo un estudiante manifestó que el Taller no lo ayudó a formarse en nada positivo.

E. Percepción de los ONP. Con ayuda del software de análisis cualitativo nvivo, se codificaron las guías de observación de las sesiones presenciales en la sección correspondiente, para que cada observador plasmara su punto de vista sobre las actividades adelantadas. Se resalta que se identificaron y confirmaron puntos en común como: 1) buena disposición de la mayoría de los estudiantes para la participación en las actividades propuestas y 2) aceptación y entendimiento de la metodología por parte de los estudiantes en las sesiones presenciales (debate y simulación). Estas percepciones fueron tomadas de los cuatro ONP seleccionados al iniciar el TJN. Antes de comenzar con la observación de las sesiones, cada uno conoció los protocolos de observación diseñados por el equipo investigador y las condiciones básicas para el diligenciamiento de las guías.

Resultados de la evaluación cualitativa del TJN

Las conclusiones de la evaluación cualitativa del TJN se realizan a través de una triangulación de resultados de las tres fuentes de información consolidadas: 1) resultados de la codificación de las guías de observación, 2) percepción de los estudiantes y 3) percepción de los ONP. Para presentar las conclusiones, se estructuran dos apartados: conclusiones de proceso y conclusiones de resultado, los cuales se presentan a continuación.

Conclusiones de proceso (diseño de la estrategia)

Tras analizar el TJN como estrategia de aprendizaje para la formación de competencias ciudadanas, la evaluación cualitativa permite identificar lo siguiente:

•         Protocolos de inicio del taller. Se observa que estos fueron cumplidos según lo planeado en la mayoría de las sesiones. Se evidencia el manejo adecuado de los tiempos y de la estructura del TJN sesión a sesión.

•         Aceptación de la metodología por parte de los estudiantes. Se aprecia que los estudiantes tuvieron una buena aceptación de las metodologías planteadas. Además, se evidencia que los grupos entendían más las indicaciones con el transcurrir de las sesiones, y se logró una participación activa con fluidez y naturalidad.

•         Apropiación de la estrategia de debate competitivo y simulación. Se evidencia que la metodología implementada en la simulación, a diferencia de la sesión del debate competitivo, tomó más tiempo para ser aceptada por los estudiantes, dado que los talleristas debieron explicar con mayor recurrencia las instrucciones.

•         Alto número de estudiantes por grupo. Se evidencia que la logística y la capacidad de los talleristas resultó óptima con grupos de máximo 25 estudiantes. En grupos muy grandes algunos estudiantes no pueden participar activamente.

•         Conexión de los temas tratados con la realidad. Se observó que los estudiantes tuvieron la capacidad de relacionar conceptos como confianza, cooperación o conflicto con hechos de la vida cotidiana y experiencias personales. Es decir, tuvieron la capacidad de contextualizar, desde su experiencia, los ambientes donde se dan estas situaciones.

En general, en el diseño de la estrategia se encuentran importantes aciertos, como el establecimiento de protocolos, que fueron seguidos de manera rigurosa por los talleristas. Esto corresponde a los componentes básicos de una estrategia de enseñanza: denominación, contexto, duración, objetivos o competencias, contenidos, secuencia didáctica, recursos y medios y estrategias de evaluación (Díaz, 2013). El manejo de estos elementos esenciales, que conforman una estrategia, corresponde a una “exigencia que todo profesor debe atender en beneficio de una auténtica educación de calidad” (Feo, 2010). Lo anterior genera una respuesta positiva por parte de los estudiantes, quienes comprenden qué deben hacer y, asimismo, participan de manera activa en cada actividad bien planeada, estructurada y organizada.

Se identifica también que la estrategia traspasa parte del protagonismo al grupo de aprendizaje, sin dejar de perder la iniciativa del profesor. Incluye como técnicas principales la interrogación didáctica, el debate y el diálogo, que Tejada (2000) considera como unas de las “más potentes”, debido a que son económicas y simples y, además, sirven para captar la atención, despertar interés y motivar al auditorio. Este tipo de estrategias aportan de manera significativa cuando se espera estimular al estudiante, fomentar su curiosidad, despertar el interés, analizar necesidades, desarrollar actitudes, entre otros logros. Este aprendizaje centrado en el aprendiz que propone la estrategia TJN obedece a una tendencia radical en todos los niveles de educación, que indican que el aprendizaje es no lineal, es multidimensional y tiene relación con el contexto social, de modo que debe priorizar las necesidades del estudiante y su protagonismo en el proceso de aprendizaje (Moate, 2015).

Uno de los hechos más frecuentes durante las sesiones es la conexión que el estudiante establece entre las situaciones tratadas en clase y la realidad. Este logro se considera significativo y es congruente con los requisitos de una estrategia de aprendizaje significativo, pues, “mientras mayor sea la relación que el alumno vea entre aquello que estudia y su vida (presente, pasada y/o futura), mayor será su empeño y dedicación al estudio, y los aprendizajes que logre serán más profundos y duraderos” (Zarzar, 1983). Tal como expone Fernández (2006), la experimentación es una de las actitudes básicas a formar en los profesionales de hoy. Además, corresponde con lo propuesto por Sá y Serpa (2018), quienes afirman que el rol activo del estudiante es crítico, deseablemente a través de intervenciones reales de contexto. Por último, este logro es coherente con lo exigido por Monsalve et al. (2009), quienes proponen como decisiones conceptuales clave para formación de pensamiento crítico en el aula: el acercamiento a la realidad, la propia realidad como punto de partida y la resignificación de la relación con el entorno.

Conclusiones de resultado (efecto en la formación de los estudiantes)

Acerca del efecto que tiene la estrategia en los estudiantes, es posible afirmar lo siguiente:

•         Participación. Un factor importante evidenciado en todos los instrumentos implementados fue la participación constante de los estudiantes como agentes activos de su propio aprendizaje. Esta participación fue constante durante las sesiones presenciales del taller: debate y simulación; sin embargo, se registró una participación baja en los foros virtuales de Facebook.

•         Escucha activa de otros prejuicios. Una competencia importante evidenciada fue la capacidad de escucha activa de prejuicios diferentes a los propios. Ello implica que en repetidas ocasiones se notó en los estudiantes una disposición a entender lo que sus compañeros trataban de transmitir, desde sus inquietudes, opiniones personales e incluso experiencias de vida propias.

•         Exponer al estudiante a situaciones problemáticas. Se logró crear un ambiente que permitiera al estudiante ubicarse en un dilema social determinado. Ello creó a su vez un escenario apropiado para la reflexión de las situaciones que le eran presentadas a partir de lo expuesto por sus compañeros, por los dilemas morales o por otras circunstancias.

•         Reconocimiento de la universalidad. Se evidenció una apropiación de la realidad por parte de los estudiantes; es decir, a través de ejemplos de su experiencia propia y de la experiencia de personas cercanas, en general los participantes lograron ubicar diferentes puntos de vista y centrarse en un contexto específico.

•         Multiperspectivismo. De acuerdo con las categorías estructuradas dentro de las percepciones de los estudiantes, una de las competencias adquiridas en el TJN fue la comprensión de los distintos puntos de vista de una situación. Adicionalmente, fue evidente que los estudiantes en repetidas ocasiones pudieron tomar partido de diferentes situaciones, a través del debate o de la simulación, para, a partir de ello, conceptualizar diversos puntos de vista.

Como se evidencia, la estrategia tiene un logro evidente con respecto a la participación activa de los estudiantes y al ambiente de aula, que propicia que el grupo se involucre en la estrategia. Esto se resalta en que los estudiantes no solo participan en las discusiones que lideran los talleristas a partir de las mociones o de los resultados de las simulaciones, sino que expresan emociones al hacerlo. Lo anterior responde a una condición importante a tener en cuenta en el aula, según lo expuesto por Tapias y García (2016), quienes proponen que “el clima emocional del aula es un factor esencial para favorecer o dificultar el aprendizaje”, en parte debido a que las emociones juegan un papel importante en la motivación para el aprendizaje.

En concordancia con lo anterior, se encuentra que los profesores que apuestan por el aprendizaje centrado en el estudiante deben considerar dos componentes fundamentales: ofrecer relaciones de apoyo en la clase y crear un espacio que se sienta seguro y confiable, por ejemplo, a través de la “dilución” del poder entre profesor, monitores y estudiantes (Moate, 2015). Lo anterior describe un importante elemento del TJN, puesto que, a través de las preguntas, los debates y la discusión posterior en la simulación, se propicia un ambiente de confianza en el que los estudiantes se motivan a participar. Esto se considera valioso en una estrategia que pretende formar en competencias ciudadanas, en la medida en que los estudiantes se encuentran inmersos en un ambiente experiencial que les permite identificar acciones propias y de otros, y el modo en que estas afectan las condiciones de la sociedad.

Se puede afirmar también que el TJN logra formar en los participantes el multiperspectivismo, en términos de reconocer que las situaciones sociales contienen distintos puntos de vista y que estos se despliegan por la diversidad social. Este hallazgo se corresponde con enfoques como la ciudadanía multicultural, intercultural y democrática, que pueden aportar conocimientos que ayuden a interpretar críticamente la complejidad de la realidad y avanzar hacia la formación de seres humanos que, desde su condición de ciudadanos, aporten a construir una sociedad que pueda convertirse en un referente de justicia, inclusión, pluralidad, igualdad, libertad, participación y respeto a los derechos humanos (Mieles y Alvarado, 2012).

Con las conclusiones anteriores, resultó evidente que el TJN logra impactar de manera positiva en algunos componentes importantes de la formación de competencias ciudadanas, como lo es el multiperspectivismo y el pensamiento sistémico. Sin embargo, se evidencia que debe mejorar en los conocimientos constitucionales ofrecidos a los estudiantes para la resolución de conflictos. La reflexión se centró siempre en lo moralmente correcto y en pocas ocasiones se expusieron las bases constitucionales que sugerirían desde lo normativo un comportamiento socialmente aceptable. Ofrecer dicho marco constituye un elemento fundamental en la formación de competencias ciudadanas que debe estar presente en educación superior y sobre el que se continuará trabajando. De acuerdo con Henao et al. (2008), la capacidad de interpretar las problemáticas en un marco de justicia sustentado en los derechos fundamentales es esencial en el diseño de este tipo de estrategias.

Notas

¹          La finalidad de la prueba fue simular diferentes escenarios cotidianos (tienda, parque, casa y colegio), para evaluar dos competencias cognitivas ciudadanas (interpretación de intenciones y toma de perspectiva) a través de dilemas. Este estudio surgió a partir del auge que ha tenido la implementación de escenarios virtuales, para evaluar la toma de decisiones en niños.

²          Para ampliar más detalles del Taller Juegos de Negociación, el lector puede consultar el siguiente enlace: https://racionalidadltda.wordpress.com/taller-2019-i/

³          Foro virtual: obtiene 1000 puntos quien tenga el comentario con más reacciones en cada tema de discusión. Asistencia: 500 puntos por estar presente en las sesiones. Debate competitivo: 1000 puntos por participar activamente; es decir, estar en la casa a favor, en contra, como jurado o moderador, con 1000 adicionales al equipo ganador. Simulación: cada juego de negociación tiene sus propias reglas. Por ello es importante revisar las instrucciones con anticipación para buscar la mejor estrategia.

⁴          Se presentaron dos contingencias que fueron solucionadas en el desarrollo del taller. 1) Durante el mes de marzo, para realizar las primeras dos sesiones de simulación (Juego de la inversión y Juego de la Confianza) para los grupos uno, dos y tres se acudió a computadores portátiles, en grupos de cuatro estudiantes, ante la falta de disponibilidad de salas de cómputo con puestos individuales. 2) En los últimos meses, debido a cambios en los horarios de clases en la Universidad, pocos estudiantes de primer semestre seleccionados se inscribieron en los talleres de los horarios cinco y seis.

⁵          Cabe aclarar que los ONP tomaron este dato diez minutos antes de finalizar la actividad. El número de estudiantes que registraban asistencia en ocasiones es mayor.

⁶          1) fortalecer su autoestima y autoconfianza; 2) comprensión de temas teóricos a través de la práctica; 3) fortalecer habilidades de expresión oral; 4) mejorar sus actitudes para relacionarse con los demás; 5) construir argumentos; 6) análisis de situaciones problema; 7) respetar los argumentos de otros; y 8) toma de decisiones con base en la información suministrada.

Referencias

Banco Mundial (2018). Informe sobre el desarrollo mundial 2018: Aprender para hacer realidad la promesa de la educación, cuadernillo del “Panorama general”. BM. http://iin.oea.org/pdf-iin/RH/docs-interes/2019/Informe-sobre-el_Desarrollo-Mundial-2018.pdf

Berg, J., Dickhaut, J. y McCabe, K. (1995). Trust, reciprocity, and social history. Games and Economic Behavior, 10, 122-142. https://doi.org/10.1006/game.1995.1027

Cabrera, F. (2007). Elaboración y evaluación de programas de educación para la ciudadanía. Bordón. Revista de Pedagogía, 59(2), 375-400. https://recyt.fecyt.es/index.php/BORDON/article/view/36531

Campos, G. y Lule, N. (2012). La observación, un método para el estudio de la realidad. Revista Xihmai, 13, 45-60. https://dialnet.unirioja.es/servlet/articulo?codigo=3979972

Chaux, E., Bustamante, A., Castellanos, M., Jiménez, M., Nieto, AM., Rodríguez, G., Blair, R, Molano, A., Ramos, C. y Velásquez, AM. (2008). Aulas en Paz: 2. Estrategias pedagógicas. Revista Interamericana de Educación para la Democracia, 1, 123-145. https://scholarworks.iu.edu/journals/index.php/ried/article/view/117/197

Chinekesh, A., Kamalian, M., Eltemasi, M., Chinekesh, S. y Alavi, M. (2014). The effect of group play therapy on social-emotional skills in pre-school children. Global Journal of Health Science, 6(2), 163-167. https://doi.org/10.5539/gjhs.v6n2p163

Cisterna, F. (2005). Categorización y triangulación como procesos de validación del conocimiento en investigación cualitativa. Theoria, 14(1), 61-71. https://www.redalyc.org/articulo.oa?id=299/29900107

Cooper, R., DeJong, D., Forsythe, R. y Ross, T. (1992). Communication in coordination games. Quarterly Journal of Economics, 107(2), 739-771. https://doi.org/10.2307/2118488

Correa, M. (2017). Aproximaciones epistemológicas y conceptuales de la conducta prosocial. Zona Próxima, 27, 1-21. https://doi.org/10.14482/zp.27.10978

Díaz, Á. (2013). Guía para la elaboración de una secuencia didáctica. Universidad Nacional Autónoma de México. http://www.didactic.unam.mx/index.php/op-mpor-recursos/op-mpor-estrategias/13-planeacion-de-secuencias-didacticas.html

Feo, R. (2010). Orientaciones básicas para el diseño de estrategias didácticas. Tendencias Pedagógicas, 16, 221-236. https://revistas.uam.es/tendenciaspedagogicas/article/view/1951

Fernández, C. (2006). Las competencias en el marco de la convergencia europea: un nuevo concepto para el diseño de programas educativos. Encounters in Theory and History of Education, 7, 131-153. https://doi.org/10.15572/ENCO2006.07

Fernández, C., Baptista, P. y Hernández, R. (2006). Metodología de la investigación. McGraw-Hill.

Francisco, A. y Moliner, L. (2010). El Aprendizaje Servicio en la Universidad: una estrategia en la formación de ciudadanía crítica. Revista Electrónica Interuniversitaria de Formación del Profesorado, 13(4), 69-77. https://www.redalyc.org/pdf/2170/217015570006.pdf

Fuertes, M. T. (2011). La observación de las prácticas educativas como elemento de evaluación y de mejora de la calidad en la formación inicial y continua del profesorado. Revista de Docencia Universitaria, 9(3), 237-258. https://doi.org/10.4995/redu.2011.11228

García Cabrero, B. (2018). Las habilidades socioemocionales, no cognitivas o “blandas”: aproximaciones a su evaluación. Revista Digital Universitaria, 19(6), 1-17. https://doi.org/10.22201/codeic.16076079e.2018.v19n6.a5

Henao, J., Ocampo, A., Robledo, Á. y Lozano, M. (2008). Los grupos juveniles universitarios y la formación ciudadana. Universitas Psychologica, 7(3), 853-867. https://revistas.javeriana.edu.co/index.php/revPsycho/article/view/396

Hernández, J. S., Tobón, S. y Guerrero, G. (2016). Hacia una evaluación integral del desempeño: las rúbricas socioformativas. Ra Ximhai, 12(6), 359-376. https://www.redalyc.org/articulo.oa?id=461/46148194025

Herrmann, B., Thöni, C. y Gächter, S. (2008). Antisocial punishment across societies. Science, 319(5868), 1362-1367. https://doi.org/10.1126/science.1153808

ICFES - Instituto Colombiano para la Evaluación de la Educación (2018). Guía de orientación Saber 11 2018-II. https://www.icfes.gov.co/documents/20143/177687/Guia+de+orientacion-saber-11-2018-2.pdf/adfd98fa-d3fc-9645-2cab-fad562caffff

Janoski, T. (1998). Citizenship and civil society: A framework of rights and obligations in liberal, traditional, and social democratic regimes. Cambridge University Press.

Marietto, L. (2018). Observação participante e não participante: Contextualização teórica e sugestão de roteiro para aplicação dos métodos. Revista Ibero-americana de Estratégia, 17(4), 5-18. https://doi.org/10.5585/ijsm.v17i4.2717

Mendieta, L., Chamba, J. y Mieles, M. (2016). Estrategias pedagógicas para la evaluación del estudiante en el nivel superior. Ciencia y Desarrollo, 19(2), 33-42. http://dx.doi.org/10.21503/cyd.v19i2.1300

Merchant, S., Klinger, D. y Love, A. (2018). Assessing and reporting non-cognitive skills: A cross-Canada survey. Canadian Journal of Educational Administration and Policy, 187. https://journalhosting.ucalgary.ca/index.php/cjeap/article/view/43135

Mieles, M. y Alvarado, S. (2012). Ciudadanías y competencias ciudadanas. Estudios Políticos, 40, 53-75. https://www.researchgate.net/publication/262433798_Citizenships_and_Civil_Skills/fulltext/03a96aec0cf2db3db646a041/Citizenships-and-Civil-Skills.pdf

Ministerio de Educación Nacional (2004). Estándares Básicos de Competencias Ciudadanas (pp. 148-184). MEN.

Moate, R. (2015). Learner-centered pedagogy: considerations for application in a didactic course. The Professional Counselor, 5(3), 379-389. https://doi.org/10.15241/rmm.5.3.379

Monsalve Palacio, D. A., Montoya Martínez, L. C., Naranjo Franco, C. A. y Tabares Duque, J. E. (2009). Senderos para la formación en el ejercicio de las ciudadanías en el Magdalena Medio: una propuesta pedagógica desde la reflexión de los sentidos y territorios locales. [Tesis] Licenciatura en Educación Básica con Énfasis en Ciencias Sociales, Universidad de Antioquia, Colombia. http://ayura.udea.edu.co:8080/jspui/handle/123456789/1768

Moreira, P., Crusellas, L., Sá, I., Gomes, P. y Matias, C. (2010). Evaluation of a manual-based programme for the promotion of social and emotional skills in elementary school children: Results from a 4-year study in Portugal. Health Promotion International, 25(3), 309-317. https://doi.org/10.1093/heapro/daq029

Muñoz, T., Osorio, L. A., Reyes, J. C. y Velandia, L. V. (2013). Diseño de una prueba de competencias ciudadanas en formato digital. [Ponencia] V Congreso Internacional de Investigación y Práctica Profesional en Psicología - XX Jornadas de Investigación -Noveno Encuentro de Investigadores en Psicología del Mercosur, Facultad de Psicología, Universidad de Buenos Aires.

Nussbaum, M. (2014). Emociones políticas. ¿Por qué el amor es importante para la justicia? Paidós. https://www.aacademica.org/000-054/47.pdf

Ochman, M. y Cantú Escalante, J. (2013). Sistematización y evaluación de las competencias ciudadanas para sociedades democráticas. Revista Mexicana de Investigación Educativa, 18(56), 63-89. https://www.redalyc.org/pdf/140/14025581004.pdf

Palacio, L., Cortés, A. y Muñoz-Herrera, M. (2015). The strategic role of nonbinding communication. Applied Mathematics, 1-11. https://doi.org/10.1155/2015/910614

Palacio, L., Saravia, I. y Vesga, M. (2017). Juegos en el salón de clase: El mercado de los limones. Revista de Economia Institucional, 19(36), 291-311. https://doi.org/10.18601/01245996.v19n36.11

Sá, M. y Serpa, S. (2018). Transversal competences: Their importance and learning processes by higher education students. Education Sciences, 8(3), 126. https://doi.org/10.3390/educsci8030126

Tapias, M. y García, J. (2016). Estilos de aprendizaje y diseño de estrategias didácticas desde la perspectiva emocional del alumnado y del profesorado. Journal of Learning Styles, 9(18), 205-223. http://revistaestilosdeaprendizaje.com/article/view/1043

Tejada, J. (2000). Estrategias didácticas para adquirir conocimientos. Revista Española de Pedagogía, 58(217), 491-513. https://dialnet.unirioja.es/metricas/documento/ARTREV/23674

Zambrano, E. L. (2018). Prácticas pedagógicas para el desarrollo de competencias ciudadanas. Revista Electrónica de Investigación Educativa, 20(1), 69-82. https://doi.org/10.24320/redie.2018.20.1.1409

Zarzar, C. (1983). Diseño de estrategias para el aprendizaje grupal: una experiencia de trabajo. Perfiles Educativos, 1(20), 34-46. https://www.iisue.unam.mx/perfiles/descargas/pdf/1983-1-34-46

Zuta, E., Velasco, A. y Rodríguez, J. (2014). Desarrollo de competencias ciudadanas mediante un curso socialmente responsable. Revista Educación, 23(54), 51-66. http://revistas.pucp.edu.pe/index.php/educacion/article/view/10520

Inicio