RESUMEN
La Facultad de Odontología de la Universidad Autónoma de Sinaloa (UAS) implementa un modelo educativo basado en competencias profesionales integradas, que conlleva una evaluación del desempeño fundamentada en criterios de calidad, realimentación, diversificación de actores y momentos, con instrumentos de evaluación afines. Se realizó una investigación de enfoque cuantitativo, diseño preexperimental tipo estudio de caso, de alcance descriptivo, a fin de probar la Rúbrica para evaluar presentaciones de casos clínicos como instrumento que oriente la calidad en el desempeño, desde la coevaluación y heteroevaluación; se realizaron comparaciones por turno y género. Como resultado, se obtuvieron mejores calificaciones al evaluar el desempeño en el turno matutino y género femenino (heteroevaluación) y en el turno vespertino y género femenino (coevaluación). La “Rúbrica para evaluar presentaciones de casos clínicos” es un instrumento válido para orientar la calidad en el desempeño de los estudiantes a través de la coevaluación y heteroevaluación.
ABSTRACT
The Faculty of Dentistry of the Autonomous University of Sinaloa (UAS, for its acronym in Spanish) implements an educational model based on integrated professional competencies, which involves a performance assessment based on criteria of quality, feedback, diversification of actors and moments, with related evaluation instruments. An investigation of quantitative approach, pre-experimental design, case study-like, of descriptive scope was carried out in order to test the Rubric to evaluate presentations of clinical cases as an instrument that guides quality in performance, from the co-evaluation and hetero-evaluation; comparisons were made per shift and gender. As a result, better grades were obtained when evaluating performance in the morning shift and in the female gender (hetero-evaluation), as well as in the evening shift and female gender (co-evaluation). The "Rubric to evaluate presentations of clinical cases" is a valid instrument to guide the quality in the performance of the students through the co-evaluation and hetero-evaluation.
INTRODUCCIÓN
En la Facultad de Odontología de la Universidad Autónoma de Sinaloa (UAS), a partir de agosto de 2013, se implementó un diseño curricular por competencias, con una docencia centrada en el aprendizaje que promueve una evaluación diagnóstica, procesual o formativa y sumativa; además, fomenta la participación activa del estudiante a través de la autoevaluación y coevaluación. Asimismo, diversifica los momentos de la evaluación, las técnicas, estrategias e instrumentos y los contextos en que se realiza (UAS, 2013).
Castañeda (2014) considera 3 tipos de evaluación según quienes intervienen en ella: a) la heteroevaluación, siendo el profesor el agente evaluador; b) la autoevaluación, donde los estudiantes conocen y valoran sus procesos de aprendizaje y sus actuaciones, para mejorar su desempeño; y c) la coevaluación, que permite a los estudiantes aprender a valorar los procesos y actuaciones de sus compañeros, con base en criterios establecidos.
Existen tres maneras de evaluar el logro de competencias: mediante la evaluación integral del desempeño, con evaluación parcial de cada requisito de la competencia y combinando las anteriores; es suficiente evaluar el desempeño final del estudiante cuando en las competencias bien definidas se conjugan los conocimientos, las habilidades y las actitudes (Zarzar, 2010).
Respecto al marco de docencia centrada en el aprendizaje, donde el estudiante desempeña un papel activo, Rogers (citado por Hernández, 2012) afirma que la autoevaluación constituye un mecanismo que facilita el aprendizaje centrado en la persona. Por otra parte, mediante la coevaluación el docente puede detectar logros y carencias del grupo basado en la reflexión de los estudiantes (García, Piñero, Pinto & Carrillo, 2009) y constituye una oportunidad de reconocimiento del “yo” en el otro, al identificar progresos y oportunidades de mejora para aprender y consolidar su autonomía (Borjas, 2011).
Debido a que en la evaluación de competencias se valoran niveles de logro que apuntan a la articulación de los saberes de las competencias que se expresan en el desempeño, priorizando el proceso y no solo el producto (García, Guzmán & Murillo, 2014); la innovación curricular en la formación de odontólogos promueve la evaluación del desempeño mediante estrategias como la presentación de casos clínicos que exigen del estudiante poner en práctica saberes cognitivos, prácticos y actitudinales, al demostrar la competencia de diagnóstico y tratamiento. En este sentido, el aprendizaje basado en casos es un método importante para que el estudiante aplique en un paciente el conocimiento básico aprendido en textos y clases y resuelva casos clínicos basados en la práctica clínica (Garvey, O’Sullivan & Blake, 2000).
En este contexto, la evaluación debe fundamentarse en criterios de calidad que sean informados a los estudiantes en instrumentos que promuevan una evaluación formativa (Fernández, 2010). Jonsson (2014) señaló que las rúbricas son instrumentos de evaluación que transmiten criterios de calidad de la tarea y los estudiantes pueden usarlos para autoevaluarse, apoyar su rendimiento y mejorar el resultado en la heteroevaluación. Según Raposo & Martínez (2014), constituyen un recurso válido para innovar las prácticas evaluadoras orientadas a mejorar la calidad educativa, la evaluación formativa y una enseñanza centrada en el aprendizaje.
Así, la rúbrica es un instrumento que define claramente las características que debe reunir el producto o desempeño a evaluar; puede ser holística (general o global) o analítica (descriptiva) (Frade, 2008), además ofrece instrucciones detalladas de la tarea y una escala de valoración con una interpretación pertinente de los resultados; permite una evaluación formativa debido a la calidad de realimentación que facilita, posibilita la justicia en la evaluación, fomenta la autorregulación del aprendizaje y se ajusta a las exigencias de la evaluación de competencias (Fernández, 2010; Picón, 2013).
Para Solsona (2013) el uso de la rúbrica desarrolla en los estudiantes la competencia de valorar de forma objetiva y constructiva el trabajo propio y ajeno y la competencia de aprender a aprender. Es decir, en un modelo de docencia centrado en los estudiantes, la rúbrica es un instrumento de evaluación importante porque fomenta la participación activa del estudiante en su evaluación y, al clarificarle los criterios de calidad, promueve la realimentación y autorregulación de su desempeño.
En nuestro caso, al analizar la realidad institucional se reveló la necesidad de modificar las prácticas de evaluación tradicionales, en las que predominaba el examen escrito como instrumento y el docente como actor principal, generando en ocasiones ansiedad, insatisfacción y quejas por las calificaciones.
Por lo tanto, se requería implementar una evaluación integral de los saberes, habilidades y actitudes de los estudiantes, a través de actividades que permitieran demostrar el nivel de competencia adquirida, como las presentaciones de casos clínicos y con instrumentos que ofrecieran clarificación de los criterios de evaluación y realimentación durante el proceso, fomentaran la autoevaluación y autorregulación, y promovieran la coevaluación. Esto es, un cambio en la forma y el papel que desempeña el estudiante en la evaluación y regulación de su desempeño y el de sus compañeros y su grado de responsabilidad sobre el resultado.
Por ello, se eligió la presentación de casos clínicos como estrategia y la rúbrica como instrumento de evaluación. En la unidad de aprendizaje de biología celular, se diseñó la Rúbrica para evaluar presentaciones de casos clínicos y se puso a prueba como instrumento que orienta la calidad en el desempeño, desde la coevaluación y heteroevaluación.
MÉTODO
Se realizó una investigación de enfoque cuantitativo, de alcance descriptivo, con un diseño preexperimental tipo estudio de caso, que consiste en administrar un estímulo o tratamiento a un grupo y después aplicar una medición de una o más variables para observar cuál es el nivel del grupo en estas (Hernández, Fernández & Baptista, 2010). Se manipuló la variable independiente Rúbrica para evaluar presentaciones de casos clínicos y se midió su efecto en la variable dependiente “el desempeño de los estudiantes”.
La población correspondió a 1136 estudiantes de la Facultad de Odontología UAS, con una muestra basada en criterios de 422 estudiantes del segundo semestre, tomando como unidades de análisis al grupo 2 (matutino) y 6 (vespertino), un total de 137 estudiantes, por las diferencias en el desempeño de los estudiantes entre ambos turnos, según su promedio de bachillerato y de las unidades didácticas precedentes a la de la implementación de la rúbrica (tabla 1). Cada grupo se dividió en equipos heterogéneos (de distintas calificaciones) de cuatro integrantes para valorar el desempeño del equipo y el individual al presentar un caso clínico. La evaluación estuvo a cargo del docente (heteroevaluación) y de estudiantes (coevaluación).
| Tabla 1 | Calificación obtenida en la rúbrica y calificación precedente |
| Tipo de evaluación | Calificación con la rúbrica | Calificación previa en la materia | Desviación mancomunada | Calificación de bachillerato |
| Turno matutino | ||||
| Heteroevaluación | 9.6 | 7.5 ± 1.36 | 8.8 | |
| Coevaluación | 8.6 | |||
| 1.3 | ||||
| Turno vespertino | ||||
| Heteroevaluación | 9.2 | 7.3 ± 1.22 | 8.5 | |
| Coevaluación | 8.8 | |||
Nota: Los valores mostrados corresponden al promedio de la calificación grupal
Fuente: Elaboración propia con base en los datos de campo, 2016
Descargar Tabla
Se eligió a la rúbrica porque apoya una evaluación basada en un amplio rango de criterios delimitados, más allá de la obtención de una puntuación numérica, ofrece una calificación al desempeño que conlleva su valoración cualitativa. Por ello, se diseñó la Rúbrica para evaluar presentaciones de casos clínicos (figura 1) que describe las dimensiones de la tarea y especifica qué debe hacer el estudiante, establece condiciones, formas y tiempos para la ejecución y, a través de una definición cualitativa gradual de criterios de valoración, especifica niveles de desempeño en una escala desde deficiente hasta excelente; utiliza el indicador de calidad e incorpora lo numérico a través de la obtención de datos predeterminados, estandarizados y observables; su manejo es cuantitativo (al obtener una calificación) y cualitativo (al ofrecer realimentación para la mejora).
Rúbrica para evaluar presentaciones de casos clínicos.
Fuente: Elaboración propia.
Con el fin de obtener la validación cualitativa de la rúbrica, se sometió a jueceo de expertos en el área odontológica y de la educación, quienes atendiendo a su marco referencial y experiencia en el proceso de evaluación basado en rúbricas y en la evaluación de casos clínicos en odontología podrían validar cualitativamente la rúbrica diseñada. De México, se consultó con seis patólogos bucales, un médico anatomopatólogo y tres expertos en evaluación de competencias profesionales. Además, con cirujanos dentistas especialistas en el área: uno de Bogotá, Colombia; uno de Caracas, Venezuela; y otro de la Universidad del Uruguay, quienes realizaron observaciones de mejora con ajustes de estructura y contenido, hasta obtener una rúbrica de sencillo manejo y útil para los fines planteados, logrando su validación cualitativa.
Posteriormente, la rúbrica se entregó a los estudiantes al inicio del semestre para que emitieran sus observaciones, explicar como serían evaluados y provocar una comunicación fluida durante el proceso. Esta rúbrica recolectaría datos que, desde una perspectiva de heteroevaluación y coevaluación, permitirían una prueba empírica de su factibilidad como instrumento para orientar la evaluación en la calidad del desempeño, bajo un modelo educativo basado en competencias profesionales integradas.
En la unidad didáctica Alteraciones en el material genético con repercusiones en cavidad oral, en los grupos 2-2 y 2-6 se puso a prueba la Rúbrica para evaluar presentaciones de casos clínicos, los cuales se realizaron de forma oral y ante todo el grupo. La evaluación fue procesual, se evaluó el desempeño con la demostración de los saberes de la competencia, con la identificación de logros, avances y retrocesos del estudiante a lo largo del proceso formativo y con realimentación para su mejora.
Para evaluar el efecto de la rúbrica en el desempeño de los estudiantes, considerando su calificación como indicador, se valoró el nivel previo en la materia con base en el promedio de calificaciones de las unidades precedentes, y posteriormente se evaluó al finalizar la unidad donde se intervino, utilizando la rúbrica con el propósito de orientar la calidad en el desempeño de los estudiantes.
Se obtuvo la tasa porcentual de variación entre la calificación obtenida en el curso, antes y después de la aplicación de la rúbrica, porque la calificación es un indicador del desempeño y comparar la obtenida antes y después de la implementación de la rúbrica reflejaría si esta orienta la calidad en el desempeño. Se consideraron variables intervinientes al sexo, promedio de calificaciones de las unidades precedentes y turno.
Para el cálculo del indicador se tomó como base la tasa porcentual de variación aplicando la siguiente fórmula:
Donde:
TPV: Tasa porcentual de variación del aprendizaje
CP: Calificación precedente
CAR: Calificación aplicando rúbrica
Dentro de las consideraciones de la investigación, se atendió a lo que Koepsell & Ruiz (2015) consideran como tres principios básicos que son particularmente relevantes para la ética de la investigación con humanos: respeto por las personas, beneficencia y justicia. Por ello, fue particularmente importante la firma del consentimiento informado por los participantes, se pretendió que tuvieran una ganancia educacional por formar parte de la investigación y se guardó confidencialidad de los datos; además, se contó con el apoyo de las autoridades escolares.
RESULTADOS
La tabla 1 muestra una importante mejora en la calificación obtenida en la rúbrica en ambos grupos, a través de la heteroevaluación y de la coevaluación, comparada con el promedio de calificaciones en unidades precedentes, con una desviación mancomunada de 1.30. En la heteroevaluación, se observaron mejores calificaciones en el turno matutino (9.6 vs 9.2); en cambio, en la coevaluación, las mejores calificaciones fueron para el vespertino (8.8 vs 8.6). Por la diferencia observada entre los turnos, los hallazgos se contrastaron con el promedio de bachillerato, corroborándose un promedio menor para el vespertino desde el bachillerato (8.5 vs 8.8) (tabla 1).
Se evidenció en ambos grupos que la calificación otorgada desde la heteroevaluación fue más alta (promedio de 9.6 matutino y 9.2 vespertino) que la otorgada a través de la coevaluación (promedio de 8.6 matutino y 8.8 vespertino); con una desviación mancomunada de 0.54 (tabla 2). Fue mayor la calificación obtenida por el género femenino en la heteroevaluación matutina y en la coevaluación vespertina (tabla 3).
| Tabla 2 | Medidas de tendencia central y de dispersión de la calificación obtenida en la rúbrica |
| Medidas estadísticas | Turno matutino | Turno vespertino |
| Heteroevaluación | ||
| Promedioa | 9.6 ± 0.57 | 9.2 ± 0.63 |
| Coeficiente de variación | 0.05 | 0.06 |
| Rango | 2 | 3 |
| Moda | 10 | 9 |
| Mediana | 10 | 9 |
| Coevaluación | ||
| Promedioa | 8.6 ± 0.86 | 8.8 ± 0.66 |
| Coeficiente de variación | 0.1 | 0.07 |
| Rango | 4 | 2 |
| Moda | 8 | 9 |
| Mediana | 9 | 9 |
| Calificación global posterior a la intervención | ||
| Promedio | 9.1 ± 0.57 | 9.0±0.51 |
| Desviación mancomunada | 0.54 | |
Nota: a El valor indicado es el promedio y la desviación estándar
Fuente: Elaboración propia con base en los datos de campo, 2016.
Descargar Tabla
| Tabla 3 | Calificación obtenida en la rúbrica según el género |
| Tipo de evaluación | Femenino | Masculino |
| Turno matutino | ||
| Heteroevaluación | 9.6 | 9.5 |
| Coevaluación | 8.5 | 8.6 |
| Turno vespertino | ||
| Heteroevaluación | 9.2 | 9.2 |
| Coevaluación | 8.9 | 8.7 |
Nota: Los valores mostrados corresponden al promedio de la calificación grupal
Fuente: Elaboración propia con base en los datos de campo, 2015
Descargar Tabla
Se presentó una TPV de 21.31 en la heteroevaluación, basándose en la rúbrica (9.44) respecto a la calificación en unidades precedentes (7.43), como se muestra a continuación:
Asimismo, se obtuvo una TPV de 14.95 en la coevaluación, basándose en la rúbrica (8.74) respecto a la calificación en unidades precedentes (7.43), como se visualiza a continuación:
La TPV en la coevaluación (8.74) en la rúbrica con respecto a la heteroevaluación (9.44) en la rúbrica fue de -8.09, como se observa en lo siguiente:
DISCUSIÓN
De manera holística, la calificación obtenida en la rúbrica, desde la heteroevaluación y la coevaluación, indicó que se logró impactar positivamente el desempeño de los estudiantes. El resultado de que el docente haya otorgado calificaciones más altas a los estudiantes, comparadas con las de la coevaluación, coincide con lo reportado por Raposo & Martínez (2014), para quienes a medida que se avanza en las actividades de evaluación hay mayor acuerdo, conforme mejora la competencia de los estudiantes para evaluar. En nuestros resultados, las diferencias encontradas apuntan a que los estudiantes tienen poca experiencia como evaluadores, pues predomina la heteroevaluación en la cotidianidad del proceso formativo.
Autores como Pascual, Lorenzo & Mongue (2015) han encontrado que las puntuaciones medias otorgadas por los estudiantes a sus compañeros son más altas que las otorgadas por el profesor, que los estudiantes son menos exigentes evaluando y puede apreciarse en ellos cierta incoherencia. Jareño, Jiménez & Lagos (2014) identifican que la percepción de los estudiantes con relación a la aportación que realizan es mayor que la que realmente observa el resto de los integrantes. En nuestro estudio, la mejor calificación de los estudiantes en el turno vespertino comparado con el matutino, desde la coevaluación, puede obedecer también a su poca experiencia como sujetos activos en la evaluación de su desempeño y del de sus compañeros.
Por otra parte, Borjas (2011) considera que la coevaluación es una oportunidad para el reconocimiento del otro y del “yo” en el otro, a partir de la identificación de los progresos y de las oportunidades de mejoramiento que descubren entre todos. En nuestros estudiantes, quizá ese “yo” que descubren en el otro no les satisface y por ello otorgan una calificación baja o bien el “yo” que revelan les agrada y emiten calificaciones satisfactorias.
Desde la heteroevaluación, la comparación de la calificación que se obtuvo en la rúbrica según el turno indicó un mejor desempeño en el matutino. Diversos estudios señalan que los estudiantes con una preferencia matutina logran calificaciones más altas que aquellos con preferencia nocturna o intermedia; de tal manera, los autores proponen que el cronotipo del estudiante es uno de los factores que pueden afectar su desempeño; además, cuando los logros de los estudiantes se comparan de acuerdo al sexo, las mujeres tienen un promedio de calificaciones más alto que los hombres (Besoluk, Önder & Deveci, 2011; Escribano & Díaz, 2016; Jabeen, Matloob & Mirza, 2015).
Respecto a que el grupo matutino obtuvo datos de coevaluación más bajos, probablemente se deba a que la rúbrica ofrece realimentación a los estudiantes y fomenta en ellos el proceso de reflexión y autorregulación del desempeño, por lo que posibilita un enjuiciamiento más centrado y al emitir una calificación optan por dar una no tan alta para propiciar una mejora en el desempeño de sus compañeros.
Los hallazgos muestran que son los estudiantes del turno vespertino quienes ingresan a la Universidad con promedios más bajos, respecto a los del turno matutino, lo cual coincide con los resultados de la heteroevaluación basada en la rúbrica; lo que aunado a no identificar su cronotipo durante el proceso de admisión a la Facultad, los puede condicionar para un desempeño deficiente; su cronotipo pudiera considerarse para determinar el turno en el que cursarán sus estudios.
En la presente investigación, el sexo femenino obtuvo calificación más alta desde la heteroevaluación en el turno matutino y desde la coevaluación en el vespertino, posibilitando como causa que son las mujeres del turno matutino quienes mejor se desempeñaron durante el proceso de evaluación basado en rúbricas y, a la hora de coevaluarse, exigen más del desempeño de sus compañeros.
CONCLUSIONES
Se identificó que la Rúbrica para evaluar presentaciones de casos clínicos es un instrumento que orienta la calidad en el desempeño, puesto que facilita las ejecuciones al clarificar los criterios de evaluación de la competencia; además, ofrece realimentación que autorregula y mejora el desempeño para obtener calificaciones satisfactorias.
El impacto mayor de la rúbrica en los estudiantes del género femenino y del turno matutino puede vincularse con su mayor promedio de bachillerato y su mayor promedio en las unidades precedentes, permitiéndoles aprovechar la implementación de la rúbrica de forma más satisfactoria.
La participación activa del estudiante en su evaluación y en la de sus compañeros generada por la rúbrica es una diferencia importante que propicia la autorregulación y mejora en la calidad del desempeño. Por ello, es importante fomentar la autoevaluación y la coevaluación para hacer corresponsables a los estudiantes de su proceso formativo y del de sus compañeros, atendiendo al principio de formación y evaluación continua.
El instrumento diseñado puede ser empleado en otras unidades de aprendizaje de la Licenciatura en Cirujano Dentista de la Facultad de Odontología de la UAS, porque es útil para la evaluación de casos clínicos una estrategia de enseñanza-aprendizaje común en el proceso formativo del odontólogo que exige la adquisición y demostración de saberes cognitivos, prácticos y actitudinales. Asimismo, se propone probar la rúbrica en otras instituciones que atiendan la formación profesional de odontólogos, para compartir hallazgos que se encuentren fuera de las fronteras institucionales y con ello enriquecer lo logrado en el contexto local.
Finalmente, se comparte la propuesta de un Modelo de evaluación formativa basada en rúbricas (figura 2) que propone una evaluación integral del proceso de enseñanza-aprendizaje, con la participación activa del estudiante, del profesor y de la comunidad escolar y social, quienes a través de la cotidianidad de su interacción le dan fundamento; el estudiante como actor principal, realiza autoevaluación y coevaluación que complementa a la heteroevaluación; se emplea la rúbrica como instrumento para clarificar los criterios de calidad, permitir una evaluación cuantitativa y cualitativa que ofrece realimentación durante el proceso con el propósito de mejora del desempeño.
Modelo de evaluación formativa basada en rúbricas.
Fuente: Elaboración propia.
AGRADECIMIENTOS
Al Consejo Nacional de Ciencia y Tecnología (Conacyt), por la beca otorgada a Urias Barreras para la realización de sus estudios de Maestría en Docencia en Ciencias de la Salud.
REFERENCIAS
Frade, L. (2008). La evaluación por competencias. México: Inteligencia educativa.
García, J., Guzmán, A., & Murillo, G. (2014). Evaluación de competencias y módulos en un currículo innovador. El caso de la licenciatura de Diseño y Desarrollo de Espacios Educativos con TIC de la Universidad de Costa Rica. Perfiles Educativos, 36(143), 67-85.
Hernández, G. (2012). Paradigmas en psicología de la educación. México: Paidós.
Universidad Autónoma de Sinaloa (UAS). (2013). Modelo Educativo. Universidad Autónoma de Sinaloa.