Psychometric Evaluation of a Rubric for the Evaluation of Professional Practices from the Students' Perspective: A Case Study

Keywords: experiential learning, microbiology competencies, academic institutions, student engagement, professional work placement, student voice

Abstract

Professional practices are an essential educational element, since their hands-on component allows for the evaluation of the impact of the student's integral academic formation, among other factors. The evaluation of professional practices is therefore a key source of information for the educational institution. This article analyzes the information obtained from the evaluations made by the undergraduate students in Microbiology of the University of Antioquia between 2009 and 2018. A total of 335 evaluations were analyzed, using summary measures and comparisons between cohorts with confidence intervals for the mean and Anova, in SPSS 25.0®.  Likewise, the rubric designed to evaluate three dimensions of the practice (Programming, Administration/Management and Facilitator) was validated using Exploratory Factor Analysis and Cronbach's Alpha determination.  The results show the impact of professional practice on the three dimensions (and their criteria) evaluated. The performance averages are above 90 %, positively correlated with each other, with no significant differences by cohorts, during the period evaluated. This demonstrates the positive perspective of the students towards the professional practice and the professional practice scenarios available for the program; it also corroborates the effectiveness of the rubric used as an evaluation instrument. Also, the evaluation among cohort did not show significant differences in the period analyzed. The observed result evidences the positive perspective of student regarding of the practice and practice site available for the Microbiology program. Likewise, the effectiveness of the designed rubric used as an evaluation instrument.

References

Acuerdo Superior 418 de 2014 [Universidad de Antioquia]. Por el cual se define la Política Integral de Prácticas para los programas de pregrado de la Universidad de Antioquia. 29 de abril de 2014. http://www.udea.edu.co/wps/wcm/connect/udea/1ef6a59d-69d6-47d7-a156-926aa8a34c3c/acuerdo+superior++418+2014.pdf?MOD=AJPERES&CVID=kTEGlJ8

Asociación Médica Mundial. (1964). Declaración de Helsinki de la Asociación Médica Mundial - Principios éticos para las investigaciones médicas en seres humanos. https://www.wma.net/es/policies-post/declaracion-de-helsinki-de-la-amm-principios-eticos-para-las-investigaciones-medicas-en-seres-humanos/

Barberá Gregori, M. A. (2015). Las prácticas en empresas en la universidad: diseño y validación de un modelo de gestión de la calidad (Tesis de doctorado). https://dialnet.unirioja.es/servlet/tesis?codigo=103049

Brown, S. (2015). Perspectivas internacionales sobre la práctica de la evaluación en Educación Superior. Relieve, v. 21, n. 1, 1-15. https://doi.org/10.7203/relieve.21.1.6403

Cabero Almenara, J.; Rodríguez-Gallego, M. (2013). La utilización de la rúbrica en el diseño de materiales para la e-formación. Edutec. Revista Electrónica De Tecnología Educativa, n. 43, 1-15. https://doi.org/10.21556/edutec.2013.43.3

Camps, V. (2007). La excelencia en las profesiones sanitarias. Revista Humanitas, humanidades médicas, n. 21, 1-13.

Casilla, D.; Camacho, H. (2012). Evaluación de la responsabilidad social universitaria. Revista Opción, v. 28, n. 69, 452-465. https://www.redalyc.org/pdf/310/31025702004.pdf

Cruz Núñez, F.; Quiñones Urquijo, A. (2012). Importancia de la evaluación y autoevaluación en el rendimiento académico. Zona Próxima, n. 16, 96-104. https://www.redalyc.org/pdf/853/85323935009.pdf

Cuñado Barrio, A.; Sánchez Vicario, F.; Muñoz Lobo, M. J.; Rodríguez Gonzalo, A. R.; GómezGarcía, I. (2011). Valoración de los estudiantes de enfermería sobre las prácticas clínicas hospitalarias. NURE. Investigación, n. 52, 1-12. https://www.nureinvestigacion.es/OJS/index.php/nure/article/view/535

Falcó Pegueroles, A. (2004). La nueva formación de profesionales: sobre la competencia profesional y la competencia del estudiante de enfermería. Educación Médica, v. 7, n. 1, 42-45. http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S1575-18132004000100007

Finkelstein, C. (2016). Evaluando las prácticas profesionales durante la formación. InterCambios, v. 3, n. 1. https://ojs.intercambios.cse.udelar.edu.uy/index.php/ic/article/view/75/123

Gómez de Mantilla, L. T. (2009). Acción, práctica, praxis. En Vicerrectoría de Docencia, Vicerrectoría de Extensión y Grupo Interdisciplinario de Prácticas Académicas, Voces y Sentidos de las prácticas académicas 3 (pp. 20-67). http://sikuani.udea.edu.co/webmaster/portal/documentos/voces-sentidos-3

González-Garzón, M. L.; Laorden Gutiérrez, C. (2012). El Prácticum en la formación inicial de los maestros en las nuevas titulaciones de educación infantil y primaria. El punto de vista de profesores y estudiantes. Pulso, n. 35, 131-154. https://dialnet.unirioja.es/servlet/articulo?codigo=4118824

Gutiérrez Broncano, S.; De Pablos Heredero, C. (2010). Análisis y evaluación de la gestión por competencias en el ámbito empresarial y su aplicación a la universidad. Revista Complutense de Educación, v. 21, n. 2, 323-343. https://revistas.ucm.es/index.php/RCED/article/view/RCED1010220323A

IBM Corp. Released 2016. IBM SPSS Statistics for Windows, Version 24.0. IBM Corp.

Iglesias González, C.; Palmero Llamas, D.; Arroyo Sanz, J. M.; Soler Rovira, J.; González Torres, F.; Iglesias González, L.; Díaz Alonso, M. (2010). Evaluación de competencias en la asignatura de Protección vegetal de la Escuela Universitaria de Ingeniería Técnica Agrícola (UPM). Revista de Formación e Innovación Educativa Universitaria, v. 3, n. 3 125-135. https://dialnet.unirioja.es/servlet/articulo?codigo=3258040

Jiménez Toledo, R. A.; Martínez Navarro, A. A.; Hernández Pantoja, G. A.; Jiménez Toledo, J. A. (2017). Perfil del ingeniero de sistemas formado por universidades y el perfil exigido en empresas de base tecnológica en Colombia: una comparación. Trilogía Ciencia Tecnología Sociedad, v. 9, n. 17, 201-217. https://doi.org/10.22430/21457778.637

Londoño Restrepo, G. (2005). Las prácticas académicas en los programas de pregrado de la Universidad de Antioquia. En Vicerrectoría de Docencia, Vicerrectoría de Extensión y Grupo Interdisciplinario de Prácticas Académicas, Voces y sentidos de las prácticas académicas 1 (pp. 13-26). http://sikuani.udea.edu.co/webmaster/portal/documentos/voces-sentidos-1

López López, M. C.; Fernández Herrería, A. (2010). Reflexiones y demandas de egresados de la Universidad de Granada sobre la formación práctica: aportes para la mejora del Espacio Europeo de Educación Superior. Archivos analíticos de políticas educativas, v. 18, n. 31 1-28. http://epaa.asu.edu/ojs/article/view/734

Martínez-Rojas, J. G. (2008). Las rúbricas en la evaluación escolar: su construcción y su uso. Avances en Medición, n. 6, 129-138. https://www.uaem.mx/sites/default/files/facultad-de-medicina/descargas/construccion-y-uso-de-rubricas-de-evaluacion.pdf

Martínez Villalobos, G.; Arciniegas, A. M.; Lugo González, C. A. (2016). Formación docente en TIC con el Centro de Innovación Educativa CIER-SUR. Trilogía Ciencia Tecnología Sociedad, v. 8, n. 14, 65-80. https://doi.org/10.22430/21457778.417

Mayorga Fernández, M. J.; Sepúlveda Ruiz, M. P.; Madrid Vivar, D.; Gallardo Gil, M. (2017). Grado de satisfacción y utilidad profesional de las prácticas externas del alumnado de la Facultad de Ciencias de la Educación de la Universidad de Málaga (España). Perfiles Educativos, v. 39, n. 157, 140-159. https://dialnet.unirioja.es/servlet/articulo?codigo=6164773

Pérez Barreiro, C.; Arranz Manso, G.; Fernando Velásquez, M.; González González, M. L.; Patiño Molina, M. R.; Portillo de la Fuente, A.; Simón Hurtado, M. A. (2008). Experiencias de evaluación de competencias genéricas mediante rúbricas. http://www.greidi.infor.uva.es/articulos/CompGenericas_EUP2008.pdf

Poggi, M. (2008). Evaluación Educativa sobre sentidos y prácticas. Revista Iberoamericana de Evaluación Educativa, v. 1, n. 1, 37-44. https://revistas.uam.es/index.php/riee/article/view/4678

Resolución 8430 de 1993 [Ministerio de Salud Nacional de Colombia]. Por la cual se establecen las normas científicas, técnicas y administrativas para la investigación en salud. 4 de octubre de 1993. https://www.minsalud.gov.co/sites/rid/Lists/BibliotecaDigital/RIDE/DE/DIJ/RESOLUCION-8430-DE-1993.PDF

Rodríguez-Gallego, M. R. (2014). Evidenciar competencias con rúbricas de evaluación. Escuela Abierta, n. 17, 117-134. http://hdl.handle.net/11441/42826

Rodríguez Gómez, G.; Ibarra Sáiz, M. S. (editores.) (2011). e-Evaluación orientada al e-Aprendizaje estratégico en Educación Superior. Narcea.

Rueda Beltrán, M. (2004). La evaluación de la relación educativa en la universidad. Revista Electrónica de Investigación Educativa, v. 6, n. 2, 1-10. http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S1607-40412004000200006

Sanmartí i Puig, N. (2011). Evaluar para aprender, evaluar para calificar. En P. Cañal (coordinador), Didáctica de la Biología y la Geología (pp. 151-171). Graó. https://dialnet.unirioja.es/servlet/libro?codigo=452677

Serrano de Moreno, S. (2002). La evaluación del aprendizaje: dimensiones y prácticas innovadoras. Educere, v. 19, n. 6, 247-257. http://erevistas.saber.ula.ve/index.php/educere/article/view/12408

Torres Gordillo, J. J.; Perera Rodríguez, V. H. (2010). La rúbrica como instrumento pedagógico para la tutorización y evaluación de los aprendizajes en el foro online en educación superior. Píxel-Bit. Revista de Medios y Educación, n. 36, 141-149. http://hdl.handle.net/11441/53714

Universidad de Antioquia. (2011). Documento Marco Programa de Microbiología Industrial y Ambiental. http://www.udea.edu.co/wps/wcm/connect/udea/4e80529b-9759-4705-9c0f-25571fb1a999/Programa-MIA-UdeA-peq.pdf?MOD=AJPERES&CVID=kSWMsvQ

Valle López, J. M.; Manso Ayuso, J. (2011). La nueva formación inicial del profesorado de Educación Secundaria: modelo para la selección de buenos centros de prácticas. Revista de Educación, n. 354, 267-290. https://dialnet.unirioja.es/servlet/articulo?codigo=3417968

Vendrell Vilanova, A.; Tena Tarruela, A. (2011). Estudio evaluativo y competencial de las prácticas profesionalizadoras en la titulación de empresariales y de administración y dirección de empresas. Revista d’Innovació Docent Universitària, n. 3, 1-10. https://doi.org/10.1344/105.000001654

Villa Sánchez, A.; Poblete Ruiz, M. (2004). Prácticum y evaluación de competencias. Profesorado, revista de currículum y formación del profesorado, v. 8, n. 2, 1-19. https://www.ugr.es/~recfpro/rev82ART2.pdf

Villalustre Martínez, L.; del Moral Pérez, M. E. (2010), E-portafolios y rúbricas de evaluación en ruralnet. Pixel-Bit. Revista de Medios y Educación, n. 37, pp. 93–105. https://dialnet.unirioja.es/servlet/articulo?codigo=3241259

Zabalza Beraza, M. A. (2011). El Prácticum en la formación universitaria: estado de la cuestión. Revista de Educación, n. 354, 21-43. http://www.revistaeducacion.educacion.es/re354/re354_02.pdf

Zabalza Beraza, M. A. (2016). El Prácticum y las prácticas externas en la formación universitaria. Revista Practicum, v. 1, n. 1, 1-23. https://revistapracticum.com/index.php/iop/article/view/15

Zazueta Hernández, M. A.; Herrera López, L. F. (2008). Rúbrica o matriz de valoración, herramienta de evaluación formativa y sumativa. Quaderns Digitals, n. 55. http://www.quadernsdigitals.net/index.php?accionMenu=hemeroteca.VisualizaArticuloIU.visualiza&articulo_id=10816

Zimmerman, B. J., Kitsantas, A.; Campillo, M. (2012). Evaluación de la autoeficacia regulatoria: una perspectiva social cognitiva. Revista Evaluar, v. 5, n. 1, 1-21. https://doi.org/10.35670/1667-4545.v5.n1.537

How to Cite
Arias-Marín, L., García-Restrepo, G., & Cardona-Arias , J. A. (2020). Psychometric Evaluation of a Rubric for the Evaluation of Professional Practices from the Students’ Perspective: A Case Study. Trilogía Ciencia Tecnología Sociedad, 12(23), 61–84. https://doi.org/10.22430/21457778.1713

Downloads

Download data is not yet available.
Published
2020-07-15
Section
Research Articles

Altmetric