Instrument to Assess the Social Cohesion in Mexican Universities: Results of UNIVECS-MX Cultural Validation
Keywords:
Higher education, Educational assessment, Cultural validity, Test items, Social cohesion
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 3.0 Unported License.
Abstract
The objective of this article is to offer a system to assess the social cohesion in Mexican universities. Based on the UNIVECS evaluation model validated in the Spanish context, cultural adaptation and validation has been carried out in Mexico; developing an expert trial with 9 professionals in the area of Anthropology, Linguistics, Pedagogy, Psychology and Sociology, a judge with 51 teachers in higher education, 4 reagent validation groups between 3 universities with 42 teachers and a validation group with 10 students University students All this, based on four criteria of quantitative and qualitative assessment: relevance, clarity, feasibility and absence of linguistic, cultural, organizational and gender biases. From the results and proposals for improvement, a package of validated reagents is obtained based on eight dimensions of analysis of social cohesion in education: Sustainability, Social Welfare, Inclusion, Personal Autonomy, Sense of Belonging, Trust, Social Mobility and Responsibility Social. The results enable and conclude a pertinent, clear, feasible and bias-free evaluation system. UNIVECS-MX is offered to Mexican universities to be able to identify social cohesion in their university careers and make an institutional diagnosis of each proposed dimension.
Downloads
References
Baka, A. y Figgou, L. (2012). ‘Neither agree, nor disagree’: a critical analysis of the middle answer category in voting advice applications. International Journal Governance, 5(3/4), 244-263. https://doi.org/10.1504/IJEG.2012.051306
Bakieva, M., Jornet, J. M., González-Such, J. y Leyva, Y. (2018). Colegialidad docente: evidencias de validación a partir del análisis realizado por comités de expertos acerca del instrumento para autoevaluación docente en España y México. Estudios sobre Educación, 34, 99-127. https://doi.org/10.15581/004.34.99-127
Bericat, E. (1998). La integración de los métodos cuantitativo y cualitativo en la investigación social. Significado y medida. Ariel.
Bialystok, E. (2002). Cognitive processes of L2 users. En V. J. Cook (Ed.), Portraits of the L2 user (pp. 145-165). BMultilingual Matters.
CEPAL. (2007). Un sistema de indicadores para el seguimiento de la cohesión social en América Latina. CEPAL-EUROsociAL.
CONEVAL. (2015). Cohesión social: balance conceptual y propuesta teórico metodológica en México. CONEVAL.
Consejo de Europa. (2005). Elaboration concertée des indicateurs de la cohésion sociale - Guide méthodologique. Consejo de Europa.
Dellinger, A. y Leech, N. (2007). Toward a unified validation framework in mixed methods research. Journal of Mixed Methods Research, 14, 309-332. https://doi.org/10.1177/1558689807306147
Escobar-Pérez, J. y Cuervo-Martínez, A. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en Medición, 6, 27-36.
Fëdorov, A. N., González-Such, J. y Jornet, J. M. (2013). Internacionalización de la educación superior y cohesión social: algunos elementos de reflexión. En J. Gacel-Ávila, y N. Orellana, N. (Coords), Educación Superior: gestión, innovación e internacionalización (p.161-194). JPM Ediciones.
Fhiser, W. P. y Jackson, A. (2011). Integrating qualitative and quantitative research approaches via the phenomenological method. International Journal of Multiple Research Approaches, 5(1), 85-99. https://doi.org/10.5172/mra.2011.5.1.89
González-Such, J. y Garrido, P. (2019). Lineamientos para el diseño de estrategias de implementación de la evaluación en el modelo UNIVECS [Comunicación invitada]. XIX Congreso Internacional de Investigación Educativa AIDIPE2019, Madrid, España.
González-Such, J. y Sánchez-Delgado, P. (2019). Soluciones metodológicas para la selección y diseño de medidas de percepción para el modelo UNIVECS. [Comunicación invitada]. XIX Congreso Internacional de Investigación Educativa AIDIPE2019, Madrid, España.
Hyrkäs, K., Appelqvist-Schmidlechner, K y Oksa, L. (2003). Validating an instrument for clinical supervision using an expert panel. International Journal of nursing studies, 40(6), 619-625. https://doi.org/10.1016/S0020-7489(03)00036-1
Jakobsson, U. y Westergren, A. (2005). Statistical methods for assessing agreement for ordinal data. Scandinavian Journal of Caring Sciences, 19(4), 427-431. https://doi.org/10.1111/j.1471-6712.2005.00368.x
Johns, R. (2005). One size doesn’t fit all: selecting response scales for attitude items. Journal of Elections, Public Opinion and Parties, 15(2), 237-264. https://doi.org/10.1080/13689880500178849
Jornet, J. M. (2012). Dimensiones Docentes y Cohesión Social: Reflexiones desde la Evaluación. Revista Iberoamericana de Evaluación Educativa, 5(1), 349-362.
Jornet, J. M. y Bakieva, M. (2019, junio). Diseño de indicadores simples y complejos para la evaluación de entrada, proceso, product y context para el modelo UNIVECS. Comunicación invitada en el XIX Congreso Internacional de Investigación Educativa AIDIPE2019, Madrid, España.
Jornet, J. M., Bakieva, M. y Sánchez-Delgado, P. (2020). La Cohesión Social como objetivo de la Educación: ¿podemos especificar un modelo de calidad para realizar la evaluación de Sistemas Educativos? Fronteiras: Journal of Social, Technological and Environmental Science (en prensa).
Jornet, J. M. y González-Such, J. (2009). Evaluación criterial: determinación de estándares de interpretación (EE) para pruebas de rendimiento educativo. Estudios sobre Educación, 16, 103-123.
Jornet, J. M., Perales Montolío, M. J. y González-Such, J. (2020). El concepto de validez de los procesos de evaluación de la docencia. Revista Española de Pedagogía, 78(276), 233-252. https://doi.org/10.22550/REP78-2-2020-01
Kitamura, T. y Kitamura, F. (2000). Reliability of clinical judgment of patients’ competency to give informed consent: A case vignette study. Psychiatry and Clinical Neurosciences, 54(2), 245-247. https://doi.org/10.1046/j.1440-1819.2000.00665.x
Luna, E. y Rueda, M. (2017). Experiencias de evaluación de la docencia en Iberoamérica. Universidad Autónoma de Baja California.
McGartland, D. Berg, M., Tebb, S. S., Lee, E. S. y Rauch, S. (2003). Objectifying content validity: Conducting a content validity study in social work research. Social Work Research, 27(2), 94-104.
Mérida, R., Serrano, A. y Tabernero, C. (2015). Diseño y validación de un cuestionario para la evaluación de la autoestima en la infancia. Revista de Investigación Educativa, 33(1), 149-162. https://doi.org/10.6018/rie.33.1.182391
Murillo, F. J. e Hidalgo, N. (2017). Hacia una investigación educativa socialmente comprometida. Revista Iberoamericana de Evaluación Educativa, 10(2), 5-8.
Perales, M. J. y Sancho-Álvarez, C. (2019, junio). Estrategias metodológicas para la adaptación a otros contextos socio-culturales: la internacionalización del modelo UNIVECS. Comunicación invitada en el XIX Congreso Internacional de Investigación Educativa AIDIPE2019, Madrid, España.
Perales, M. J., Sancho-Álvarez, C. y González-Such, J. (2019, julio). Orientaciones metodológicas para la validación cultural del modelo UNIVECS. Comunicación invitada en el 8º Congreso Ibero-Americano en Investigación Cualitativa CIAIQ2019, Lisboa, Portugal.
Rueda, M., Canales, A., Leyva, Y. E. y Luna, E. (2014). Condiciones contextuales para el desarrollo de la práctica docente. Revista Iberoamericana de Evaluación Educativa, 7(2), 171-183.
Salazar, M. B., Icaza, M. F. y Alejo, O. J. (2018). La importancia de la ética en la investigación. Revista Universidad y Sociedad, 10(1), 305-311.
Sales, B. D. y Folkman, S. (2001). Ethics in research with human participants. APA.
Sancho-Álvarez, C., Jornet, J. M. y González-Such, J. (2017). Una aproximación al valor social subjetivo de la educación en Iberoamérica Evidencias de validez entre Argentina, España y República Dominicana. Perfiles Educativos, 34(157), 14-33.
Skjong, R. y Wentworth, B. (2000). Expert judgement and risk perception. http://research.dnv.com/skj/Papers/SkjWen.pdf
Solano-Flores, G. y Milbourn, T. (2016). Capacidad evaluativa, validez cultural y validez consecuencial en PISA. Revista Electrónica de Investigación y Evaluación Educativa, 22(1), M12. https://doi.org/10.7203/relieve.22.1.8281
Solano-Flores, G., Contreras-Niño, L. A. y Backhoff, E. (2006). Traducción y adaptación de pruebas: Lecciones aprendidas y recomendaciones para países participantes en TIMSS, PISA y otras comparaciones internacionales. Revista Electrónica de Investigación Educativa, 8(2).
Utkin, L. V. (2006). A method for processing the unreliable expert judgments about parameters of probability distributions. European Journal of Operational Research, 175(1), 385-398.
Velez, P. y Ashworth, S. D. (2007). The impact of item readability on the endorsment of the midpoint reponse in surveys. Survey Research Methods, 1(2), 69-74.
Wertsch, J. V. (1985). Vygotsky and the social formation of mind. Harvard University Press.
Wuttke, J. (2007). Uncertainties and bias in PISA. En S. T. Hopmann, G. Brinek, and M. Retzl (Eds.), According to PISA – Does PISA keep what it promises? (pp. 241-263). LIT Verlag.