On-line version ISSN
Form. Univ. vol.9 no.1 La Serena
http://dx.doi.org/10.-00009
Construcci&n y Validaci&n de la Escala de Apreciaci&n de la Calidad del Programa de Asignatura. Propuesta para el&Estudio de la Calidad de la Docencia
Construction and Validation of a Quality Assessment Scale in a Course Program. A Proposal to Study the Quality of&Teaching
Mauricio I. Gonz&lez-Arias(1)*, Edgardo Carabantes Olivares(2) y Nelson E. Mu&oz-Carre&o(1)
(1) &&&Departamento de Psicolog&a, Universidad de La Serena, Matta 147, Coquimbo-Chile&(email: ; ).
(2) &&&Departamento de Educaci&n, Universidad de La Serena, Amunategui 851, La Serena-Chile&(email: )
* Autor a quien debe ser dirigida la correspondencia
El estudio que se presenta tuvo como objetivo construir y determinar las propiedades psicom&tricas de una escala de apreciaci&n de la calidad de los programas de una asignatura, por parte de los estudiantes en un&curso universitario. Participaron voluntariamente 423 estudiantes de 24 carreras de una universidad&regional. Respecto a la validez del constructo, el an&lisis de componentes principales arroj& una soluci&n&de 3 factores que explican el 55,3% de la varianza y muestran coherencia te&rica. Respecto a la validez de&criterio, la correlaci&n entre el instrumento propuesto y otro que mide un constructo relacionado fue de r =&0.65 y significativa. El alfa de la escala total fue de 0.927. Este instrumento servir& para medir la calidad de&la docencia y puede ser respondido por el profesor, por un panel de expertos y por los estudiantes.
Palabras clave: calidad de la docencia, programas de asignatura, servicios educativos, construcci&n de test
The objective of the study presented in this paper was to construct and to establish the psychometric properties of a scale for assessing the quality of a course program, by the students in a university course. A&total of 423 students of a regional university voluntarily participated in the study. Regarding the construct&validity, the analysis of the main components yielded a solution of 3 factors that explain 55.3% of the&variance and show theoretical coherence. Regarding the criterion validity, the correlation between the&proposed instrument and one that measures a related construct was r = 0.65 and statistically meaningful.&The alpha of the total scale was 0.927. This instrument will helm in measuring the quality of teaching and&can be answered by the teacher, by a panel of experts and by students.
Keywords: quality of teaching, course program, educational services, test construction
INTRODUCCI&ON
Los programas de asignaturas constituyen un aspecto muy relevante y muy poco abordado, en el marco del estudio de la calidad de los procesos de formaci&n universitaria (Nadal, 2005). Es relevante porque en el&actual contexto de cambios en la educaci&n superior, se requiere encontrar herramientas de gesti&n y a la&vez did&cticas, que permitan maximizar los esfuerzos de las instituciones de educaci&n superior por formar&profesionales no solo competentes, sino tambi&n &ntegros y aut&nomos. El contexto de cambio se produce,&entre otros aspectos, por la masificaci&n del ingreso a la educaci&n superior, las formas de financiamiento,&los cambios tecnol&gicos, etc. A lo anterior hay que agregar los malos resultados de la formaci&n previa,&especialmente en la educaci&n media, que evidencian un bajo rendimiento de los estudiantes en&comprensi&n lectora, en matem&ticas y en capacidad para resolver problemas (Agencia Calidad en la&Educaci&n, 2003). En cuanto a la docencia, las instituciones de educaci&n superior deben hacer un esfuerzo&por alcanzar el mejor resultado de formaci&n en el menor tiempo posible, en estudiantes con un perfil de&competencias de ingreso muy heterog&neo (Am&stica, et al, 2014; Mel&ndez et al, 2010, Soria-Barreto y&Z&&iga-Jara, 2014). Adem&s, se ha producido un cambio de foco desde la ense&anza centrada en el&profesor, hacia el aprendizajecentrado en el alumno (Cort&s et al, 2014). Y Junto con lo anterior,se suma la&necesidad, por parte de las instituciones, de acreditar la calidad de los procesos de formaci&n de manera&p&blica y formal (Geoffroy, 2014, Llarena et al, 2014).
Tanto a nivel institucional como al interior de las unidades a cargo de la formaci&n de pregrado (Carreras o Programas de formaci&n), se ha instalado el debate acerca de c&mo asegurar y c&mo dar cuenta de manera&formal de la calidad de la docencia que se realiza. Para abordar este desaf&o se debe primero precisar lo&que se entender& por calidad y segundo, identificar aquellos aspectos del proceso de formaci&n que son&claves para una docencia de calidad. Respecto a la calidad existen m&ltiples definiciones, la Real Academia&de la lengua Espa&ola (2015) define calidad como una propiedad o conjunto de propiedades inherentes a&una cosa que permiten apreciarla como igual, mejor o peor que las restantes de su especie. Los procesos&de acreditaci&n definen calidad como el grado en el que un conjunto de caracter&sticas inherentes cumple&con requisitos, que pueden ser establecidos tanto intr&nseca como extr&nsecamente (Geoffroy, 2014). Por su&parte, la docencia es una actividad muy compleja que implica, en primer lugar, una interacci&n entre dos o&m&s seres humanos, los actores, donde los aspectos subjetivos son centrales. En segundo lugar, como&proceso, abarca diferentes momentos y diferentes factores que se deben conjugar. Entre los momentos se&puede identificar una etapa inicial o de preparaci&n, una etapa de implementaci&n y una etapa de&resultados. Entre los factores tenemos m&ltiples variables asociadas a insumos materiales y tecnol&gicos,&econ&micos y de tiempo (Pereira, 2011).
Hay m&ltiples caracter&sticas de los actores que son importantes para el proceso tales como, sus conocimientos y competencias, sus motivaciones, actitudes, compromiso, h&bitos, etc. Cada uno de estos&aspectos puede juzgarse en su calidad de acuerdo a su aproximaci&n a un ideal (Alc&ntara, 2007). Por&ejemplo, ser competente es mejor que no serlo, estar motivado, es mejor que no estarlo, etc. Pero tambi&n&se puede juzgar su calidad en funci&n de su relevancia para los resultados del proceso de aprendizaje, es&decir, en funci&n de cu&nto contribuyen al logro de los aprendizajes esperados para una asignatura, para el&logro del perfil de egreso o para el posterior desempe&o profesional. En cuanto a las etapas del proceso, el&&nfasis de la evaluaci&n puede estar puesto en la planificaci&n y ejecuci&n de lo planificado, en los&resultados, o en ambos.
La calidad se puede evaluar solamente como cumplimiento de lo propuesto, se puede evaluar a partir de los promedios de rendimiento obtenidos por los alumnos y los porcentajes de aprobaci&n o a partir de un&an&lisis cualitativo sobre los logros de aprendizaje. Por su parte, los dem&s aspectos se&alados&gen&ricamente como factores y que se refieren a los insumos materiales como la infraestructura y recursos&bibliogr&ficos, la disponibilidad de tecnolog&a, los servicios de apoyo estudiantil, la distribuci&n de tiempo de&las actividades acad&micas, tambi&n cumplen un rol muy relevante en las diferentes etapas del proceso. Por&ejemplo, las dimensiones y equipamientos de las salas de clases, la disponibilidad de recursos&bibliogr&ficos, etc., evaluados en funci&n de par&metros o est&ndares establecidos por la misma instituci&n o&por otros organismos, tambi&n se deber&an considerar en la determinaci&n de la calidad de la docencia.
Estos aspectos permiten hacer un juicio sobre la calidad de la docencia, aunque cada uno puede tener un aporte muy distinto durante el proceso y en los resultados. La valoraci&n de cada uno de estos aspectos se&hace (y deber&a hacerse) a partir de las conclusiones de investigaciones cient&ficas, sin embargo, hay que&tener en cuenta que el peso relativo de cada uno y la forma en que interact&an, ser&n diferentes en distintas&instituciones, carreras e incluso tal vez entre diferentes personas. Sin embargo, independientemente de lo&anterior es posible sostener que la calidad de la docencia se puede estimar indirectamente a partir de&m&ltiples indicadores, como por ejemplo, puntajes de ingreso de los alumnos, competencias de ingreso, grados acad&micos y perfeccionamiento espec&fico de los profesores, tasas de aprobaci&n, tiempos de titulaci&n, etc., como lo tienen claro qui&nes han participado en procesos de autoevaluaci&n y acreditaci&n&(Blanco, 2007; Cort&s et al, 2014; Geoffroy, 2014; Paredes, 2008;Rocha, 2013).
Sin embargo, si se considera la gran cantidad de indicadores, los costos de su registro y an&lisis permanente, m&s lo complejo de su integraci&n e interpretaci&n, torna poco funcional el procedimiento para&operar a una escala m&s peque&a del proceso y para tener una mirada m&s integradora de los factores&relevantes de la docencia focalizada en el proceso de ense&anza-aprendizaje, en una asignatura espec&fica.&As&, considerando que la mayor&a de los aspectos antes mencionados confluyen y se encuentran en la&organizaci&n de cada asignatura en particular, y que estos a su vez se planifican y se gestionan por medio&del programa de asignatura, se puede decir que el programa puede ser considerado un foco de an&lisis&relevante para la estimaci&n de la calidad de la docencia (Nadal, 2005). Por ejemplo, al analizar los&programas se puede observar la relaci&n entre las asignaturas con el perfil de egreso y dentro de las&asignaturas, la pertinencia de las metodolog&as y formas de evaluaci&n con los objetivos de aprendizaje.&Adem&s, se puede ver la relaci&n de los objetivos de aprendizaje (o los aprendizajes esperados) con la&infraestructura que se dispone, considerando salas de clases, laboratorios, bibliotecas, etc. (Rocha, 2013;&Soria-Barreto y Z&&iga-Jara, 2014).
Por lo anterior, en este art&culo se propone que el estudio de los programas de asignatura puede ser una buena manera de ubicarse en un punto intermedio entre niveles y actores en el proceso de formaci&n. Esto&porque, como se ha se&alado, los programas de asignaturas est&n en el coraz&n del proceso de ense&anza&aprendizaje y constituyen el mapa panor&mico de las actividades, tareas y criterios de aprobaci&n que el&estudiante deber& realizar para aprobar la asignatura. En ese sentido, el programa vincula la propuesta&formativa de la asignatura con el estudiante. Por otro lado, vincula a la asignatura con el perfil de egreso de&la carrera, especificando lo que la asignatura aporta al logro de ese perfil de egreso. Adem&s, la mayor&a de&las veces, el programa de asignatura da cuenta indirectamente de las competencias del profesor y sus&preferencias por determinadas did&cticas y formas de evaluaci&n y tambi&n, con los recursos y pol&ticas&institucionales, con la disponibilidad de recursos bibliogr&ficos, laboratorios, entre otros aspectos (Nadal,&2005, Salgado et al, 2012).
Calidad del proceso de formaci&n y la satisfacci&n de los estudiantes en la educaci&n superior
Revisando diferentes aproximaciones al concepto de calidad en la educaci&n superior T&nnermann (2000), de acuerdo con la Declaraci&n Mundial de Educaci&n para todos, emitida por la Conferencia de Jomtiend&en 1990, se&ala que la calidad debe basarse no en lo que se ense&a sino en lo que se aprende, poniendo&as& el foco en el estudiante. A su vez, la declaraci&n Mundial de la UNESCO sobre la Educaci&n Superior en&el Siglo XXI (1998,a,b), se&ala que el concepto de Calidad de la Ense&anza Superior es pluridimensional y&debe incluir todas las funciones y actividades que implica, tales como ense&anza, personal, edificios e&instalaciones, sin embargo, al momento de evaluar la calidad, esta debe contextualizarse, por ejemplo, si&una universidad recibe estudiantes acad&micamente desventajados, el criterio de calidad para estas&instituciones debe ser el valor agregado, no el valor absoluto del producto final. Por otro lado, de acuerdo al&Centro Interuniversitario de Desarrollo (CINDA; 2007) la calidad de la ense&anza universitaria, debiera&observarse en aspectos tales como: la contribuci&n al crecimiento de las econom&as nacionales, la&integraci&n y cohesi&n de las sociedades y la colaboraci&n que puedan prestar al fortalecimiento y&perfeccionamiento de las instituciones necesarias para la gobernabilidad democr&tica.
Por otro lado, la mayor&a de los instrumentos para evaluar la calidad de la docencia impartida o la calidad de los servicios educacionales de una universidad, se construyen a partir de escalas de opini&n o escalas de&satisfacci&n. Las escalas de opini&n se asemejan mucho a las escalas de actitud, sin embargo, al ser&aplicadas en el contexto de la evaluaci&n de la calidad de la docencia, suelen confundirse con escalas de&satisfacci&n. En este sentido, la medici&n de la satisfacci&n ha cobrado relevancia al aplicar la l&gica del&mercado a las universidades, y se considera la satisfacci&n del estudiante, en cuanto usuario, como un&importante indicador de la calidad de una instituci&n. As&, la satisfacci&n de los usuarios de un bien o&servicio puede entenderse como la relaci&n entre las expectativas y el resultado percibido del servicio&prestado (Pereira, 2011).
Por esta u otras razones, algunas universidades, a nivel institucional, han implementado sistemas de evaluaci&n de la calidad centradas en la medici&n de la satisfacci&n de los estudiantes con la docencia&recibida (Salazar, 2010), lo que resulta positivo por cuanto permite conocer la opini&n de parte de uno de los&actores relevantes del proceso y hacerlo de manera relativamente econ&mica, sin embargo, se corren varios&riesgos. Por ejemplo, si los instrumentos utilizados no son psicom&tricamente adecuados, por falta de&validez se puede terminar confundiendo la medici&n de la satisfacci&n con la medici&n de la calidad y por&falta de confiabilidad se pueden sacar conclusiones err&neas sobre el nivel de calidad estimado a partir de&la medici&n. Por otro lado, si se utilizan como &nica medida para la evaluaci&n de la calidad, puede&distorsionar la observaci&n realizada haciendo invisibles otros aspectos de igual o mayor relevancia para&determinar la calidad del proceso. Adem&s, puede tener el efecto indeseado de cambiar el foco de atenci&n&de los profesores hacia la satisfacci&n de los estudiantes exclusivamente (Paredes, 2008; Schuck et al,&2008).
Considerando lo planteado anteriormente, Torres y Araya (2010) han propuesto un instrumento para medir la calidad de los servicios educativos de las universidades chilenas a partir de la satisfacci&n de los&estudiantes con diversos aspectos impl&citos en el proceso de ense&anza-aprendizaje, tales como actitud y&comportamiento del profesor, competencias del profesor, trato y servicio prestado por el personal&administrativo, infraestructura y la organizaci&n de los cursos y malla curricular. En este sentido el foco de la&medici&n es la instituci&n en t&rminos generales, aunque visto desde la carrera que cursa el estudiante.&Como resultado obtuvieron una escala con muy buenos niveles de validez y confiabilidad. Por las&caracter&sticas de este instrumento, en este estudio ser& utilizado como criterio independiente para evaluar&la validez del instrumento para medir la satisfacci&n con los programas de asignatura que se propone.
En la misma l&nea, De la Fuente et al (2010) en una investigaci&n con estudiantes de Ingenier&a de la Universidad de Talca, en Chile, buscaron identificar las variables relacionadas con los niveles de&satisfacci&n y establecer la relaci&n entre los niveles de satisfacci&n y la mayor o menor fidelidad de los&usuarios en el futuro. Encontraron que los aspectos que inciden mayormente en la satisfacci&n son la&atenci&n prestada por el personal de la Universidad, la actitud, el comportamiento y la competencia del&profesor. En el otro extremo, el estudio concluye que el aspecto que no incide en la satisfacci&n del&estudiante se relaciona con los servicios perif&ricos que ofrece la instituci&n, como por ejemplo, los servicios&de casino.
Aunque a nivel internacional la investigaci&n sobre la satisfacci&n del usuario es de larga data, en el &mbito espec&fico de la satisfacci&n de los estudiantes de Educaci&n Superior, el inter&s por investigar es reciente,&como lo muestran estudios realizados en diferentes partes del planeta. En China, por ejemplo, Zhanget al&(2008) midieron diferentes variables asociadas a la satisfacci&n, con el fin de construir un &ndice de&satisfacci&n de estudiantes universitarios y encontraron que una de las variables que incide en los niveles&de satisfacci&n estudiantil, es la propia actividad desarrollada al interior de las universidades por parte de los&estudiantes. Por otro lado, un estudio de la Universidad de Bari (Petruzzellis et al, 2006) muestra que la&satisfacci&n puede estar asociada con variables como el grupo social al que se pertenece, el tipo de escuela&secundaria al que pertenec&an antes de ingresar a la Universidad o el desempe&o en el &mbito laboral. A su&vez, una investigaci&n con estudiantes de dos universidades sudafricanas (Jager y Gbadamosi, 2010),&encontr& que la satisfacci&n estudiantil es un constructo multidimensional asociado a diversas variables,&tales como: internacionalizaci&n de la Universidad reflejada en su capacidad de atraer estudiantes&extranjeros, confianza en la gesti&n de las autoridades de la instituci&n, intenci&n de abandonar los&estudios, calidad acad&mica, instalaciones, etc.
La breve s&ntesis de estudios nacionales e internacionales presentada en los p&rrafos precedentes muestra, a simple vista, lo complejo que es determinar los factores claves para medir la calidad y que han&predominado los estudios que eval&an la calidad a partir de la satisfacci&n de los estudiantes. Pero lo m&s&importante, es que muestra que los resultados obtenidos est&n muy influidos por el contexto en el que se&encuentra la universidad. La revisi&n de la literatura tambi&n ha evidenciado que no existen propuestas de&instrumentos para medir la calidad a partir de los programas de asignaturas con excepci&n del trabajo de&Nadal (2005).
Medici&n de la calidad del programa de asignatura
Considerando lo complejo que es medir la calidad del proceso de formaci&n en las universidades, contar con un instrumento para evaluar el programa de asignatura puede contribuir en diferentes niveles del&proceso de formaci&n. Desde el punto de vista de los diferentes actores, puede permitir evaluar la&pertinencia y ajuste del programa por el propio acad&mico y a la vez por un grupo de pares. Esta&evaluaci&n no solo permitir&a una reflexi&n y mejoramiento sistem&tico del programa en su estructura&interna, sino que tambi&n en su alineamiento con los dem&s programas y de estos con el perfil de egreso.&Suele ocurrir que al inicio de una carrera los programas est&n bien alineados, sin embargo, con el tiempo,&los profesores van introduciendo cambios con el prop&sito de mejorar el programa y estos cambios van&paulatinamente desaline&ndolos con los dem&s programas e incluso con el perfil de egreso. Adem&s, este&instrumento permitir&a evaluar el programa desde la perspectiva del estudiante, incorpor&ndolos as& en la&evaluaci&n, lo que enriquecer&a la informaci&n obtenida y los resultados. Pero adem&s, de ser aplicado&sistem&ticamente, permitir&a a los estudiantes una reflexi&n m&s profunda sobre la utilidad del programa&como gu&a de su propio proceso de aprendizaje.
La propuesta hecha en el p&rrafo anterior es posible porque el programa de asignatura es la instancia donde confluyen la mayor&a de los actores y niveles involucrados en el proceso de formaci&n se&alados&previamente. En este sentido se entiende al programa de asignatura como el documento formal que&contiene la presentaci&n y organizaci&n de las materias de un curso o asignatura, los aprendizajes&esperados y las formas de evaluaci&n, entre otros contenidos. Sus formatos son variables seg&n la&instituci&n, sin embargo, tienen una mayor&a de elementos en com&n, como los se&alados previamente&(Nadal, 2005).
Desarrollo de la escala de apreciaci&n de la calidad del programa de la asignatura.
A partir de los procesos de acreditaci&n de la carrera de psicolog&a de una universidad estatal regional, en Chile, uno de los autores de este art&culo construy& una lista de cotejo para evaluar los programas de&asignatura, de manera que todos los programas fueran visados y validados por la carrera, como una forma,&entre otras, de mejorar la calidad de la docencia. En este caso, la docencia es vista como una acci&n&colectiva m&s que individual en la que se requiere una mirada tanto transversal como longitudinal, al interior&del plan de estudios, de los procesos de ense&anza aprendizaje que conducen al logro del perfil. Los&programas fueron visados por un panel de profesores de la unidad acad&mica, que se constituy&&preferentemente de al menos dos acad&micos del mismo nivel en que se da la asignatura m&s un tercero&con afinidad tem&tica con la materia del programa.
Para realizar la evaluaci&n, el panel utiliz& la denominada pauta de validaci&n del programa de asignatura, que tiene un formato de lista de cotejo y que sirve para constatar la presencia o ausencia de un conjunto&de aspectos considerados claves en un programa de asignatura y la relaci&n de consistencia entre ellos.&Estos aspectos son: Objetivos de apre Aspectos metodol&gico-did& Aspectos& y una apreciaci&n general. Estos aspectos pueden considerarse tambi&n dimensiones y cada una&es medida a trav&s de un conjunto de &tems. Respecto a los Objetivos y contenidos, los &tems buscan&determinar la forma en que &stos se formulan, la forma en que se relacionan con el perfil de egreso y su&v&nculo con otras asignaturas afines, la cantidad de objetivos y contenidos, el nivel de actualizaci&n desde la&perspectiva de la disciplina y las referencias bibliogr&ficas que los sustentan tanto en su actualizaci&n y&pertinencia como en su disponibilidad en biblioteca o bases de datos. Respecto a los Aspectos&metodol&gico-did&cticos, se consideran las actividades did&cticas y de evaluaci&n en cuanto a su&formulaci&n expl&cita, la pertinencia con los objetivos de aprendizaje y que sean variadas (que incluya al&menos m&s de una). Adem&s, se considera que tenga criterios y ponderaciones expl&citas y claras para las&evaluaciones.
En los Aspectos formales del programa se considera una contextualizaci&n clara y completa que explicite su relaci&n con el perfil de egreso y las competencias que aborda. Adem&s incluye la presentaci&n del&programa en un formato est&ndar (de la universidad o de la carrera) y la prolijidad en la redacci&n, la&ortograf&a y el orden. Finalmente, la Apreciaci&n general considera una evaluaci&n sobre la utilidad del&programa para los alumnos en la planificaci&n de sus tiempos para el logro de los objetivos de la asignatura&y para el logro del perfil de egreso. Esta lista de chequeo fue perfeccionada y validada por los profesores del&departamento de psicolog&a y ha sido utilizada con muy buenos resultados.
A partir de esta pauta, se elabor& la Escala de Apreciaci&n de la Calidad del Programa de Asignatura (EACPA), adapt&ndola para incorporar a los alumnos como fuente de informaci&n adicional a la&proporcionada por el panel de profesores y as& tener una visi&n m&s completa de la percepci&n de calidad.&Tambi&n, se espera que el uso del instrumento sensibilice a los estudiantes para generar en ellos un&aprendizaje de c&mo aprovechar el programa de asignatura como gu&a para rendir de manera &ptima una&asignatura. Para hacerlo, se transform& esta pauta, que como se dijo ten&a el formato de una lista de cotejo,&al formato de una escala Likert, conservando la misma formulaci&n inicial de los &tems. Se opt& por&denominarla escala de apreciaci&n y no de satisfacci&n porque el instrumento no pretende medir el grado en&que los estudiantes est&n satisfechos con el programa, sino que el grado en que ellos consideran que se&cumple con determinados criterios.
As&, el prop&sito de este art&culo es proponer una escala confiable y v&lida para conocer la apreciaci&n que los estudiantes hacen sobre un programa de asignatura. Los objetivos espec&ficos son a) determinar la&validez de constructo de la escala por medio de una an&lisis de componentes principales, b) determinar la&validez referida a criterio independiente de la escala por medio del estudio de la correlaci&n con un&instrumento que mide un constructo relacionado te&ricamente, c) determinar la confiabilidad por&consistencia interna de la escala y d) describir la apreciaci&n de la calidad del programa de asignatura qu&&hacen los estudiantes y su satisfacci&n con los servicios universitarios en relaci&n con el nivel o a&o que&cursan y el sexo.
METODOLOG&IA
Participantes
Participaron voluntariamente en este estudio 423 estudiantes de ambos sexos, de los primeros y terceros a&os de 24 Asignaturas de las cuatro facultades de una Universidad Estatal Regional (Facultad de Ciencias,&Facultad de Humanidades, Facultad de Ingenier&a y Facultad de Ciencias Sociales y Econ&micas). Las&carreras fueron, Ingenier&a Industrial (22%), Arquitectura (21%), Educaci&n Diferencial (17%), Psicolog&a&(14%), Qu&mico Laboratorista, (12%), Periodismo (8%) y Pedagog&a en Historia y Geograf&a (6%). La&muestra fue intencionada (no aleatoria) y se constituy& a partir de la disposici&n de diferentes acad&micos&para facilitar parte del tiempo de una clase para aplicar los instrumentos.
Escala de Apreciaci&n de la Calidad del Programa (EACPA).
Este instrumento pretende medir la calidad del programa a partir del juicio de los alumnos sobre diversos aspectos contenidos en el Programa de Asignatura, tales como: objetivos, contenidos, estrategias&metodol&gicas- did&cticas, procedimientos de evaluaci&n, referencias bibliogr&ficas y utilidad prestada como&gu&a para el estudio. Est& conformado por 20 &tems en formato de Escala Likert con una gradaci&n de 1 a 5,&separados en tres dimensiones que son: Calidad de Objetivos y Contenidos, conformada por 7 &&Calidad Did&ctica y Evaluaci&n compuesta por 8 & y Resguardo de Aspectos Formales, que considera&5 &tems. A mayor puntaje mejor es la calidad del programa. Como se se&al&, esta escala se origina en una&lista de cotejo dise&ada para evaluar y validar programas por el profesor que dicta la asignatura y por un&panel de expertos.
Escala de Satisfacci&n Estudiantil / Calidad de los Servicios Educativos de las Universidades (U-CalS
Este instrumento (Torres y Araya, 2010), mide la satisfacci&n de los estudiantes con diversos aspectos de los servicios educativos de las Universidades, espec&ficamente: actitud y comportamiento del profesor,&competencias del profesor, malla curricular, personal administrativo, instalaciones y organizaci&n de los&cursos. Las respuestas se estructuran en un formato Likert con una graduaci&n de cinco alternativas de&respuestas. El Alfa de Cronbach reportado por los autores del instrumento fue de 0.88. Las dimensiones de&este instrumento son Actitud y Comportamiento del Profesor, que consta de 4 &tems, Competencias del&Profesor, compuesta por 3 & Personal Administrativo que considera 5 & Malla Curricular&conformada por 5 & Instalaciones con 3 & y Organizaci&n de los cursos con 3 &tems. Los datos de&este instrumento se utilizar&n como criterio independiente para validar las puntuaciones de la EACPA.
Procedimiento
De acuerdo a la clasificaci&n de Montero y Le&n (2005), este estudio corresponder&a a un dise&o Instrumental en que se busca conocer las propiedades psicom&tricas de la Escala de Apreciaci&n de la&Calidad del Programa de Asignatura (EACPA). Para la recolecci&n de los datos, se eligieron dos carreras&por Facultad de acuerdo a un criterio de conveniencia y de cada carrera se consider& a estudiantes que&cursaran primer y tercer a&o con el fin de controlar la experiencia de los estudiantes en la universidad. Para&acceder a los estudiantes se solicit& a los encargados de las carreras que intercedieran para contactar a&docentes que dictasen asignaturas en estos cursos y que tuviesen la disposici&n para colaborar con la&investigaci&n. Finalmente, se convers& de manera personal con los acad&micos para coordinar los horarios&y salas en los que se pudiese aplicar los instrumentos. Se administraron los dos instrumentos&consecutivamente para medir una asignatura. Primero se aplic& el U-CalS y a continuaci&n el EACPA. Cabe&se&alar que a los mismos estudiantes se les volvi& a aplicar los mismos instrumentos para medir una&segunda asignatura. Todas las aplicaciones fueron hechas por uno de los investigadores, quien inform&&previamente a los estudiantes el car&cter voluntario de la participaci&n y la confidencialidad de la&informaci&n recogida, lo que se respald& por medio de la firma de un consentimiento informado.
RESULTADOS
El objetivo de este estudio ha sido proponer una escala para medir la Apreciaci&n de Calidad del programa de Asignatura que pueda servir como un complemento para evaluar la calidad de la docencia, como una&herramienta para el mejoramiento continuo de los programas de asignaturas y su utilizaci&n como&herramienta para guiar el aprendizaje por parte de los estudiantes y del profesor. Se exponen los resultados&organizados de acuerdo a los objetivos espec&ficos y en funci&n del reporte de diferentes evidencias de la&validez y la confiabilidad del instrumento propuesto. Adicionalmente, se reportan algunos resultados&descriptivos sobre las puntuaciones promedios en cada escala y componentes o subescalas de los&instrumentos aplicados analizados en funci&n de variables sociodemogr&ficas.
Validez de la Escala de Apreciaci&n de la Calidad del Programa de Asignatura (EACPA)
Validez por medio de an&lisis de componentes principales. Respecto a la validez del EACPA, luego de chequear que era posible realizar un an&lisis de componentes principales, a trav&s del &ndice KMO (0.927) y&la prueba de esfericidad de Bartlett (x2 = 7007,86; gl = 190; p= 0.000), se procedi& a analizar la validez de&constructo del instrumento por medio de un an&lisis exploratorio. Se opt& por el m&todo de componentes&principales ya que el instrumento es una lista de apreciaci&n donde no se supone que los &tems son&variables dependientes de un constructo latente (Abell et al., 2009). Adem&s, se opt& por una rotaci&n&ortogonal ya que te&ricamente y a priori, los componentes no estar&an correlacionados.
Al realizar el An&lisis de Componentes Principales con rotaci&n Varimax, se encontr& una soluci&n con 3 factores que en conjunto explican el 55,3 % de varianza total (ver ). El primer componente se&denomin& "Calidad de Objetivos y contenidos", conform&ndose por 7 &tems que hacen referencia a objetivos&y contenidos del programa de estudio. El segundo componente, al que se denomin& "Calidad Did&ctica y&Evaluaci&n", qued& compuesto por 6 &tems que miden, por un lado, aspectos vinculados a la did&ctica c omo&las actividades de aprendizaje propuestas por el programa, as& como tambi&n miden aspectos relacionados&con los procedimientos de evaluaci&n. El tercer componente fue denominado "Cumplimiento de aspectos&formales". Este componente qued& conformado por 7 &tems, que se relacionan con indicadores referidos al&formato del programa, pertinencia de las referencias bibliogr&ficas, claridad de la redacci&n, etc.
Tabla 1: Componentes de la escala de Apreciaci&n de la Calidad del Programa de Asignatura
Validez referida a un criterio independiente
La correlaci&n por medio del coeficiente rho de Spearman entre la EACPA y la U-CalS fue de p = 0,618 (p&0,001). Al analizar las correlaciones entre los componentes de ambos instrumentos (), se puede&ver que las correlaciones m&s altas se dieron entre el componente Competencias del Profesor, del&instrumento que midi& la satisfacci&n con la calidad de los servicios educativos y el componente Calidad de&Objetivos y Contenidos del Instrumento que midi& la apreciaci&n de la calidad del programa de asignatura,&teniendo un valor de p = 0,556, p & 0,001 y entre Competencias del Profesor y el componente Calidad&Did&ctica y Evaluaci&n, que fue de p = 0,535, p&0,001. La calidad de atenci&n de administrativos, present&&una correlaci&n de fuerza media con los tres componentes de apreciaci&n de la calidad del programa. El&componente Calidad del Plan de Estudios del Instrumento de Satisfacci&n con la Calidad de los Servicios&Educativos, muestra una mayor relaci&n con Calidad de Objetivos y Contenidos correspondiente al&instrumento que midi& la Apreciaci&n de la calidad del programa de asignatura, presentando un valor de p =&0,469, p & 0,001. A su vez la calidad de la infraestructura presenta la correlaci&n m&s baja con el&componente Calidad did&ctica y evaluaci&n, manifestado en un valor de p = 0,251, p & 0,001. El&componente Organizaci&n del Curso exhibe tambi&n una m&s fuerte correlaci&n con el componente Calidad&de Objetivos y Contenidos, con un valor de p = 0,437, p & 0,001 (Ver ).
Tabla 2: Correlaciones (Rho de Spearman) entre los Componentes de la Escala de Apreciaci&n de la calidad del Programa de Asignatura y la Escala de Satisfacci&n con la calidad del Servicio Educativo en Universidades.
Confiabilidad de la Escala de Apreciaci&n de la Calidad del Programa de Asignatura
La consistencia interna de la escala, a trav&s del Alfa de Cronbach, fue de 0 ,927 y el Error Est&ndar de Medida (EEM; Gempp, 2006) para la prueba con 20 &tems y con una muestra de 746 casos fue de 0,16&(recordar que los estudiantes respondieron para dos asignaturas ambos instrumentos, aunque algunos solo&lo hicieron para una sola). Los niveles de confiabilidad de la escala total y de cada componente del EACPA&se reportan en la .
Tabla 3: Confiabilidad y Error Est&ndar de la Medici&n (Alfa de Cronbach) total y por componentes de la Escala de Apreciaci&n de la Calidad del Programa de Asignatura. * EEM = Error Est&ndar de Medida
Apreciaci&n de la calidad del Programa de Asignatura de acuerdo al nivel y al sexo
Los promedios est&n expresados en una escala de 1 a 5 para hacer m&s f&cil su interpretaci&n con independencia del n&mero de &tems. El promedio en la evaluaci&n de la calidad de los programas que se&obtiene es de M = 4,1 (DE = 0,60). Al comparar la Apreciaci&n de los alumnos de diferentes niveles se&observa un incremento significativo en tercer a&o, tanto en la escala general como en cada una de las subescalas de la prueba tal como se puede observar en la . En cuanto al sexo, se observa una tendencia&sistem&tica en que los hombres reportan una mayor apreciaci&n de calidad que las mujeres, de manera&significativa, tal como se muestra en la . En las
se agrega una columna con la&probabilidad a partir de una prueba no param&trica, considerando que la distribuci&n de los puntajes no se&ajusta exactamente a una distribuci&n normal.
Tabla 4: Descripci&n de la Apreciaci&n de la Calidad del Programa de Asignatura para la escala general y las sub-escalas diferenciadas por nivel en la carrera (K-W = Kruskal-Wallis)
Tabla 5: Descripci&n de Apreciaci&n de la calidad del Programa de Asignatura para la escala general y las subescalas diferenciados por sexo (K-W = Kruskal-Wallis)
Satisfacci&n de los estudiantes con la calidad del Servicio Educativo Universitario
La Satisfacci&n con el Servicio Educativo Universitario tuvo un promedio de M = 3,9 (DE = 0,54). Al comparar por niveles s&lo se encontr& una diferencia significativa en la percepci&n de la calidad del Plan de&Estudio que fue mayor en los estudiantes de tercer a&o, lo que se puede ver en la . En cuanto al&sexo, s&lo se encontr& que los hombres tienen una mejor percepci&n de la competencia de los profesores y&de la calidad del plan de estudio que las mujeres, lo que se puede apreciar con m&s detalle en la .&Igual que en las
y , en las
se agrega una columna con los valores de significaci&n de&una prueba no param&trica, ya que la distribuci&n de puntajes de las escalas no se ajustan exactamente a&distribuci&n normal. Al respecto, solo llama la atenci&n que en esta &ltima columna, en la
con la&prueba no param&trica las mujeres presentan una mejor percepci&n de la calidad de la infraestructura que&los hombres.
Tabla 6: Descripci&n de la Satisfacci&n de los Estudiantes con la Calidad del Servicio Educativo Universitario para la escala general y las sub-escalas diferenciados por nivel (K-W = Kruskal-Wallis)
Tabla 7: Descripci&n de la Satisfacci&n de los Estudiantes con la Calidad del Servicio Educativo Universitario para la escala general y las sub-escalas diferenciados por nivel (K-W = Kruskal-Wallis)
DISCUSI&ON
El objetivo de este estudio ha sido determinar las propiedades psicom&tricas de un nuevo instrumento denominado Escala Apreciaci&n de la calidad del Programa de Asignatura (EACPA) que se propone como&un complemento para estimar la calidad de la docencia. Este instrumento puede ser utilizado por el profesor&para evaluar su programa, puede ser utilizado por una comisi&n de expertos para validar el programa del&profesor y en lo que respecta a este estudio, se propone para recoger la apreciaci&n de los alumnos sobre&la calidad del programa y as& complementar una evaluaci&n con participaci&n de los actores claves del&proceso educativo.
En cuanto a la validez del instrumento, como se se&al& en la introducci&n, la validez de contenido ya hab&a sido considerada en la elaboraci&n inicial como pauta de validaci&n de programas incluyendo todos los&elementos considerados relevantes para la validaci&n del programa en el marco de su ajuste al perfil de&egreso y su coherencia interna entre objetivos de aprendizaje, m&todos did&cticos, estrategias de&evaluaci&n, disponibilidad de libros en biblioteca, etc., con el fin no s&lo de ir mejorando progresivamente la&calidad t&cnica del programa, sino de evitar el desacople con los dem&s programas a lo largo de cambios&sucesivos. Esta validez se obtuvo por medio de jueces expertos y ha demostrado ser muy &til en sus&aplicaciones previas. En cuanto a los resultados de este estudio, los componentes extra&dos por medio del&an&lisis de componentes principales explican una buena porci&n de varianza y tienen alta consistencia&l&gica. La soluci&n con tres componentes es parsimoniosa y clara, y est& en concordancia con la estructura&conceptual desde donde se origina el instrumento. El instrumento inicial contemplaba componentes&denominados: Objetivos de Aprendizaje y Contenidos, Aspectos Metodol&gicos y Did&cticos, Aspectos&Formales y una Evaluaci&n General, que finalmente qued& asimilada al pen&ltimo componente de Aspectos&Formales. En cuanto al m&todo de componentes utilizado, este instrumento, al ser una escala de&apreciaci&n, los &tems no pretenden ser variables dependientes de una variable latente, sino m&s bien, se&ha pretendido agrupar los &tems en componentes para reducir la complejidad explicativa.
A su vez, la validez referida a criterio independiente, obtenida al correlacionar la Escala de Apreciaci&n de la calidad del Programa de Asignatura con la Escala de Satisfacci&n con la Calidad del Servicio Educacional,&demostr& una correlaci&n significativa, positiva y de fuerza media entre ambos instrumentos. A&n m&s,&todas las sub-escalas de ambos instrumentos presentaron correlaciones significativas, pero las sub-escalas&que mejor correlacionaron fueron las de Competencia del Profesor con la Calidad de Contenidos y&Objetivos, con Calidad Did&ctica y Evaluaci&n y Cumplimiento de Aspectos Formales, lo que tiene&consistencia l&gica. En otras palabras, podr&a decirse que hay una relaci&n en que altas puntaciones&asignadas a los objetivos, contenidos, did&ctica, evaluaci&n y aspectos formales del programa, se&corresponden con altas puntuaciones en la satisfacci&n con la Competencia del Profesor. Esto es muy&relevante por cuanto la competencia del profesor percibida se relaciona con la calidad de los objetivos y&contenidos del programa y es el aspecto que tiene una correlaci&n m&s fuerte que los dem&s aspectos&evaluados. Ser&a muy interesante profundizar en este aspecto en estudios posteriores. En general, y en el&marco de este estudio, la evidencia obtenida permite sostener la validez de criterio del instrumento.
En cuanto a la confiabilidad, los &ndices de consistencia interna encontrados son los adecuados para un instrumento dise&ado para realizar mediciones colectivas, seg&n lo planteado por Aiken (1996). El margen&de error del instrumento es peque&o. Este margen de error es m&s peque&o para la escala general y un&poco m&s grande aunque siempre dentro de un est&ndar alto de adecuaci&n, para las sub-escalas. Estos&resultados muestran que el instrumento propuesto (EACPA) se comporta de manera consistente y v&lida al&ser respondido por estudiantes, siendo un valioso aporte para validar la calidad de los programas de&asignatura. Adem&s, esto permitir&a contar con un indicador adicional de la calidad de la docencia. No&obstante lo anterior, se requieren de m&s estudios para evaluar su estabilidad y su utilidad.
Al respecto y como limitaci&n, cabe se&alar que har&a falta complementar la confiabilidad del instrumento por un indicador de estabilidad, que no pudo realizarse en el marco de este estudio. En cuanto a las&evidencias de validez esta podr&a continuar estudi&ndose a partir de otros instrumentos, especialmente el&instrumento que se aplica para evaluar la satisfacci&n con la docencia cada semestre, por parte de los&estudiantes en las diferentes universidades. Una vez que se tiene evidencia inicial del buen comportamiento&psicom&trico del instrumento, y como una forma de establecer su utilidad, se reporta un an&lisis a partir de&los datos descriptivos de ambos instrumentos aplicados respecto a las variables nivel de estudio y sexo.
En general, se puede interpretar que la evaluaci&n que hacen los estudiantes de los programas como de la satisfacci&n con el servicio prestado es buena, considerando que el valor promedio se aproxima a cuatro en&una escala que tiene te&ricamente promedio tres y un puntaje m&ximo de cinco. Sin embargo, ser&a&interesante calibrar mejor las puntuaciones para interpretar mejor este resultado ya que en general las&escalas Likert de satisfacci&n suelen tener medias por sobre la media te&rica. Se puede observar tambi&n&que ambos instrumentos son complementarios en cuanto a los &mbitos abordados, pero las correlaciones y&las similitudes en los resultados permiten suponer que podr&a haber una variable latente asociada con la&apreciaci&n de calidad o bien de satisfacci&n general, que est& a la base de las puntuaciones en cada una&de las escalas de ambos instrumentos. Estudios posteriores podr&an abordar este desaf&o.
En cuanto a la Apreciaci&n de la calidad de los Programas de Asignatura en relaci&n al nivel que se cursa y el sexo de los y las estudiantes, en todos los componentes hay un mejor nivel de satisfacci&n en los&estudiantes de tercer a&o, lo que se podr&a deber a que la calidad de los programas aumenta hacia tercer&a&o o bien que las competencias de los estudiantes para evaluar los programas mejoran, o ambas. En el&primer caso habr&a que evaluar si los profesores que hacen clases en tercer a&o tienen mejor calificaci&n&que los profesores que hacen clases en primero, en el segundo caso, habr&a que averiguar si el incremento&de la formaci&n y competencias del estudiante los hace valorar mejor las competencias de los profesores.&Sin embargo, lo que habr&a que rescatar es que la calidad de los programas se puede incrementar si se&elaboran de acuerdo a est&ndares rigurosos y si se validan de manera expl&cita por expertos. Respecto al&an&lisis por sexo, al igual que en el instrumento U-CalS, las mujeres eval&an sistem&ticamente m&s bajo&que los hombres la calidad de los Programas de Asignatura, con la excepci&n de la percepci&n de calidad&de la infraestructura, que result& significativa solo en el an&lisis no param&trico. Este aspecto de evaluaci&n&diferenciada relacionado al g&nero es un tema de an&lisis muy interesante pero que escapa a los fines de&este estudio.
Por otro lado, De la Fuente et al. (2010) plantean que a&n cuando el aspecto que m&s incide en la satisfacci&n de los estudiantes tiene relaci&n con las competencias del profesor, existen otros factores&adicionales que permiten incrementar los niveles de satisfacci&n estudiantil, tales como la calidad de las&instalaciones, el tipo de atenci&n que brinda el personal administrativo, etc. En este caso la percepci&n de&los estudiantes est& por sobre el promedio pero sistem&ticamente por debajo de la satisfacci&n con los&profesores. No obstante, respecto a los buenos resultados psicom&tricos, hay que considerar que cada&estudiante evalu& dos asignaturas y dos programas, lo que podr&a haber incrementado los valores de&consistencia y las correlaciones encontradas, sin embargo, de haber ocurrido esto se espera que el efecto&haya sido marginal. Como corresponde a la investigaci&n cient&fica ser&a conveniente replicar estos an&lisis&en nuevas investigaciones.
En otro &mbito, se pueden criticar las competencias de los estudiantes para evaluar un programa de asignatura, sin embargo, si bien pueden haber estudiantes poco competentes al inicio de la carrera,&gradualmente ellos se van familiarizando con los programas de estudio y se van haciendo m&s competentes&en su manejo. Adem&s, son los estudiantes quienes tienen el conocimiento en primera persona de las&consecuencias de un programa en su proceso de formaci&n y lo que se espera es que puedan&sensibilizarse para aprender a sacarle el mayor provecho posible al programa como marco orientador y a la&vez como una especie de "hoja de ruta" frente al desaf&o de la asignatura, en parte como han sugerido&Mart&nez-G&mez y Mar&n-Garc&a (2009).
De todas maneras, hay que considerar lo complejo que es evaluar la calidad de la docencia y de la contribuci&n relativa de los diferentes factores en la calidad vista como resultado. El impacto en el resultado&del proceso de formaci&n no obedece a una sumatoria lineal de efectos, sino a un proceso sist&mico mucho&m&s complejo que a&n no se conoce del todo. En general, desde un punto de vista l&gico y t&cnico, la mejor&evaluaci&n ser&a una que abordara la mayor cantidad de niveles y actores posibles, pero esto tiene costos&altos. Por lo anterior, como se ha se&alado, la evaluaci&n del programa puede ser una alternativa&parsimoniosa.
CONCLUSIONES
En conclusi&n, los resultados permiten se&alar que se cuenta con un instrumento confiable y v&lido de manera preliminar, para abordar el estudio de la calidad de los programas de asignaturas como un elemento&clave en la calidad de la docencia universitaria y en la percepci&n de la calidad de la docencia por los&estudiantes. Adicionalmente, se puede se&alar que el aspecto mejor evaluado por los estudiantes es la&competencia del profesor y que este aspecto presenta la correlaci&n m&s fuerte con los objetivos y&contenidos del programa. Otro aspecto relevante es que las mujeres tienden a evaluar, en la mayor&a de las&dimensiones, m&s bajo que los hombres, que la apreciaci&n de la calidad del programa se incrementa en&tercer a&o y que en algunas dimensiones, la satisfacci&n con los servicios educativos disminuye.
REFERENCIAS
Abell, N., Springer D. y Kamata, A. Developing and Validating Rapid Assessment Instruments, 3-222, Oxford University Press, NY, EEUU., (2009)&&&&&&&&[  ]Acosta, A., El Neointervencionismo Estatal en la Educaci&n &&&Superior en Am&rica Latina,, Sociol&gica, 17 (49), 43-72,(2002)&&&&&&&&[  ]Agencia Calidad en la Educaci&n, Gobierno de Chile, PISA, Programa nacional de evaluaci&n de estudiantes, ,(2003)&&&&&&&&[  ]Aiken, L.R., Test Psicol&gicos y Evaluaci&n,Prentice Hall, Ciudad de M&xico, M&xico, (1996)&&&&&&&&[  ]Alc&ntara, A., Dimensiones de la calidad en la educaci&n superior,, ISSN: X, Reencuentro, 50, 21-27, (2007)&&&&&&&&[  ]Am&stica, L. R, X. Llinas-Audet y I. R. S&nchez, Retorno de la Educaci&n Superior en Chile: Efecto en la movilidad social a trav&s del estimador de Diferencias en Diferencias, , Formaci&n universitaria, 7(3), 23-32, (2014)&&&&&&&&[  ]Blanco, M., Las Conductas que mejor Predicen la Calidad de la Docencia seg&n los Estudiantes Universitarios, , ISSN 1, RAP [online], vol.5, n.2, pp. 24-36, (2007)&&&&&&&&[  ]Centro Interuniversitario de Desarrollo, CINDA. Evaluaci&n del desempe&o docente y la calidad de la docencia&&&&universitaria. , CINDA, Santiago de Chile, Chile, (2007)&&&&&&&&[  ]Cort&s, E., M. Campos y M. P. Moreno, Priorizaci&n de las Dimensiones de Evaluaci&n al Desempe&o Docente por el Estudiante, en tres &Areas del Conocimiento, , Formaci&n universitaria, 7(2), 3-10, (2014)&&&&&&&&[  ]De la Fuente, H.,M. Marzo y M. J.Reyes, An&lisis de la satisfacci&n universitaria en la Facultad de Ingenier&a de la Universidad de Talca, , ISSN 5,&Ingeniare, Revista chilena de Ingenier&a, 18 (3), 350-363, (2010)&&&&&&&&[  ]Gempp, R., El error est&ndar de medida y la puntuaci&n verdadera de los test psicol&gicos. Algunas recomendaciones pr&cticas. , ISSN 8,&Terapia Psicol&gica, 24 (2), 117 - 129.(2006)&&&&&&&&[  ]Geoffroy, E., Origen y Caracter&stica del Sistema de Aseguramiento de la Calidad de la Educaci&n Superior Chileno. DOI: . Revista electr&nica Interuniversitaria de&Formaci&n del Profesorado, 17 (3), 49-64. (2014)&&&&&&&&[  ]Jager, J. y G. Gbadamosi, Specific remedy for specific problem: Measuring service quality in South African higher education,DOI 10.-009-, High Education, 60 (3), 251-267, (2010)&&&&&&&&[  ]Llarena, M. G., S.L. Villodre, , F. A. Pontoriero y A.B. Cattapan, Modelo de Sistema de Gesti&n de Calidad Para la Puesta en Marcha de Cursos no Presenciales: Instrumentos de Seguimiento Y evaluaci&n,&, Formaci&n universitaria, 7(6), 3-16, (2014)&&&&&&&&[  ]Mart&nez-G&mez, M. y Mar&n-Garc&a, J. A. C&mo Medir y Guiar Cambios hacia Entornos Educativos m&s Motivadores. doi: 10.-00002. Form. Univ., v 2(4) 3-14 (2009)&&&&&&&&[  ]Mel&ndez, M.,P. Sol&s, y J. G&mez, Gobernanza y Gesti&n de la Universidad P&blica, Revista de Ciencias Sociales, XVI (2), 210-225. (2010)&&&&&&&&[  ]Montero, I., y O. Le&n, Sistema de clasificaci&n del m&todo en los informes de investigaci&n en Psicolog&a, , ISSN: 0, International Journal of Clinical and&Health Psychology, 5 (1), 115-127, (2005)&&&&&&&&[  ]Moreno, M. P., M.C. Nava y M. Campos, Los Comentarios Abiertos como Referente de Evaluaci&n de la Docencia Universitaria:&&&&La&&&&Conveniencia&&&&de su Interpretaci&n y Tratamiento, , Formaci&n Universitaria. , vol.7, n.1,41-48. (2014)&&&&&&&&[  ]Nadal, A. El programa universitario como herramienta de evaluaci&n. Tesis doctoral. , Departamento de Pedagog&as y Did&cticas Espec&ficas de la Universidad&de las Islas Baleares,Espa&a, (2005)&&&&&&&&[  ]Paredes, B.E., Acreditaci&n Universitaria: Garant&a de Calidad en la Educaci&n Superior? , ISSN&X, Rev Med Hered [online]. vol.19, n.2, 42-43. (2008)&&&&&&&&[  ]Pereira, M., Nuevas tendencias en la evaluaci&n de la calidad de las universidades: los &ndices de calidad percibida y satisfacci&n de los egresados (con modelos de ecuaciones estructurales),&, ISSN: 3, Aula Abierta 2011, Vol. 39, n&m.&3, 73-84 (2011)&&&&&&&&[  ]Petruzzellis, L.,M. D&Uggento y S. Romanazzi, Student satisfaction and quality of service in italian universities,, ISSN:&&&&9, Managing Service Quality, 16 (4), 349-364, (2006)
RAE, Real Academia de la Lengua Espa&ola (en l&nea), 2012. , Acceso 15 de marzo de (2015)&&&&&&&&[  ]Rocha, R., Escala de Opini&n de los Estudiantes sobre la Efectividad de la Docencia (eoeed) en Educaci&n Superior. , Formaci&n universitaria, 6(6), 13-22, (2013)&&&&&&&&[  ]Salazar, J., Encuesta de satisfacci&n estudiantil versus cultura evaluativa de la docencia. , ISSN: 7,Revista Iberoamericana de Evaluaci&n&Educativa, 3 (1), 121-132,(2010)&&&&&&&&[  ]Salgado, F., J. Corrales, L. Mu&oz, y J. Delgado, Dise&o de programas de asignaturas basados en competencias y su aplicaci&n en la Universidad del B&o-B&o, Chile, , Ingeniare. Revista chilena de ingenier&a, 20(2), 267-278, (2012)&&&&&&&&[  ]Schuck, A.S. Gordon, y J. Buchanan, What are we missing here? Problematising wisdoms on teaching quality and professionalism in higher education,DOI:10.,Teaching in Higher&Education, 13(5), 537-547, (2008)&&&&&&&&[  ]Soria-Barreto, K. y S. Z&&iga-Jara, Aspectos Determinantes del &Exito Acad&mico de Estudiantes Universitarios. , Formaci&n universitaria, 7(5), 41-50,&(2014)&&&&&&&&[  ]Torres, E. y L. Araya, Construcci&n de una escala para medir la calidad del servicio de las universidades: Una Aplicaci&n al Contexto Chileno, , ISSN 8, Revista de Ciencias Sociales v.16 n.1,(2010)&&&&&&&&[  ]T&nnermann, C., Calidad, evaluaci&n institucional, acreditaci&n y sistemas nacionales de acreditaci&n, , Instituto&Latinoamericano de Educaci&n para el Desarrollo,(2000)&&&&&&&&[  ]UNESCO,Conferencia Mundial sobre la Educaci&n Superioren el Siglo XXI: Visi&n y Acci&n, , Tomo 1, Informe Final, (1998a)&&&&&&&&[  ]UNESCO, Declaraci&n Mundial sobre la Educaci&n Superior. La Educaci&n Superior en el Siglo XXI: Visi&n y Acci&n, disponible en: , (1998b)&&&&&&&&[  ]Zhang, L.; Z. Han, y Q. Gao, Empirical study on the student satisfaction index in higher education. , International Journal of&Business and Management, 3 (9), 46-51, (2008)&&&&&&&&[  ]Recibido Jun. 19, 2015; Aceptado Ago. 14, 2015; Versi&n final Ago. 26, 2015, Publicado Feb. 2016
All the contents of this journal, except where otherwise noted, is licensed under a