Perspectiva del uso de la Teoría de Respuesta al Ítem y la Investigación en Paraguay
Entrevista al Lic. Oscar Gaona
¨Una limitación que tenemos a nivel universidad es la producción de trabajos de investigación, es la universidad la que debería permitir la investigación y publicación de los trabajos de sus docentes y de sus estudiantes, lo que implica que exista un financiamiento de la misma, ya no existe la posibilidad de juntarse entre amigos para pagar la fotocopia para aplicar los test, eso no es posible, sino hay financiamiento que provenga de algún lugar eso no es posible, los investigadores tienen que vivir, hay que sacarse de la cabeza que solo se necesitan materiales para investigar, hay que dedicarle tiempo y el tiempo nadie te lo paga, entonces pensar en investigar con fondos propios sacados del bolsillo, de los estudiantes de los docentes es absurdo, como es absurdo hacer publicaciones a nivel facultad yendo y preguntando a los docentes si tienen investigaciones, claro que se tienen investigaciones, pero esas investigaciones están enmarcadas dentro de una institución de un proyecto de una convocatoria para un organismo x no es que uno puede publicarlo libremente, entonces en la medida en que la universidad no provea los fondos, no provea recursos, medios para investigar, lastimosamente los docentes seguirán sin publicar como tales, como docentes.¨
Lic. en Psicología Clínica, actualmente está terminando la maestría de Evaluación a la calidad Educativa por la Facultad Latinoamericana de Ciencias Sociales (FLACSO). Se ha dedicado siempre a la investigación en diferentes áreas sociales, ámbito de la prevención de consumo, de trasmisión de VIH, del maltrato para la UNICEF y hace como 6 años exclusivamente a la investigación educativa desde la OEI con el proyecto Programa de Evaluación y Monitoreo de la Alfabetización (LAMP), programa de monitoreo y medición del alfabetismo de la UNCESCO, las recolecciones de datos se realizaron a nivel nacional en el 2011 con la publicación de los resultados, terminado el programa se acopla al equipo del MEC participando en estudios regionales como el TERCE, Tercer Estudio Regional Comparativo y Explicativo y por un tiempo en el proyecto Programa para la Evaluación Internacional de Alumnos para el Desarrollo (PISA-D).
¿Cual es su perspectiva de la medición y la Teoría de Respuesta al Ítem (TRI) en el Paraguay?
No hay que negar que la Teoría Clásica de los Test (TCT) en el país fue la que más se utilizó, fue la hegemonica, que ha tenido unos representantes muy importantes en años anteriores, gente que en un principio estudió en el extranjero y vino con innovaciones en ese momento, personas que viajaron a EEUU, a Europa, que fueron los mentores y formadores de los psicometristas que actualmente están trabajando, posteriormente hubo un cambio a nivel internacional, un cambio de enfoque que va acompañado por el desarrollo de los medios informatizados, de las computadoras, que permitieron que los modelos más complejos como Teoría de Respuesta al Ítem (TRI) puedan ser aplicados a nivel internacional, esto ingresa a Paraguay a través, específicamente de las pruebas de evaluación de conocimiento o de la calidad educativa, la primera experiencia la tenemos con el SERCE, Segundo Estudio Regional Comparativo y Explicativo de la UNESCO, a mediados del 2006 haciéndose las publicaciones en el 2010, el PERCE, el Primer Estudio Regional, si bien Paraguay participó, no arrojó resultados, no hubo publicaciones, todas las experiencias de utilización de la TRI que yo conozco están enmarcadas dentro del Ministerio de Educación y Cultura, fuera de ella no conozco otras experiencias, principalmente porque es la institución con mayor contacto a nivel internacional, es la referente a nivel nacional y es la que enfrenta mediciones de mayores magnitudes, otras instituciones tienen otra lógica, visiones más encuestales, tienen otros métodos econométricos para desarrollarlos, no así TRI, que también podría ser utilizado. En el año 2010 cuando se aplicó la prueba piloto del estudio LAMP, los resultados fueron procesados con TRI a nivel local y se obtuvieron índices como una cuestión de experimentación de estos resultados, trayendo un consultor colombiano, el profesor Daniel Bogoya. En Uruguay, en el marco del MEC, tuvimos una experiencia de intercambio con un sociólogo uruguayo, ellos usan TRI para la construcción de índices, entonces hay experiencias a nivel regional del uso de la TRI, no solo para la calibración de ítems de instrumentos que evalúan actitudes o instrumentos que midan también algún tipo de rasgos, sino también para mediciones que escapan al campo de la psicología como por ejemplo la elaboración de índices de nivel socio-económicos, etc., hay otros índices que pueden ser creados, como oportunidad de aprendizaje.
¿Cuale son los Modelos de TRI que se utilizan a nivel país?
Hasta ahora lo que se ha utilizado está muy marcado por el estudio que se esté haciendo, si son estudios internacionales uno se adscribe a las condiciones que plantee el organismo, por ejemplo, en el SERCE se utilizó TRI de un parámetro, en el LAMP, TRI de dos parámetros en el TERCE, TRI de dos parámetros, para PISA-D entiendo que también se va trabajar con dos parámetros y luego los estudios locales donde se utilizaron TRI, se utilizaron de un parámetro.
¿Cuáles son los softwares con los que se trabaja?
En el MEC básicamente se trabaja con el Winstep, es un software de bajo costo, sin embargo, como el MEC todavía no cuenta con un equipo sólidamente formado por personas que trabajen en procesamiento normalmente, lo que se ha hecho es contratar consultoras internacionales, por ende, uno se adaptaría al software con el que esté trabajando el consultor. Particularmente, en algunos trabajos he utilizado el Jmetrik, una opinión particular es que deben ser utilizados softwares libres, porque muchas veces se convierte en una limitante, tenemos los softwares, pero no podemos publicar porque no tenemos las licencias, entonces sería un primer gran paso comenzar a utilizar softwares libres, R es complicado de utilizar, pero si de TRI se trata, Jmetrik es una opción muy válida. Existe la posibilidad de que con el estudio PISA-D un grupo de personas sea capacitada y que esa capacidad queda instalada a nivel local.
¿Entonces existe un escenario donde el MEC está contratando agentes externos y desarrolla estrategias según las necesidades que surjan?
Si, sin embargo, los estudios internacionales tienen normalmente un componente fuerte, el de la capacitación del personal local, lo que si ocurre es que como es una institución grande, la movilidad de las personas a veces hace que los equipos no sean muy estables, y que a larga esas capacitaciones que se logran de alguna manera se pierdan, otra posible fuente de formación, ahora está terminando el primer grupo de personas una maestría en evaluación de la capacidad educativa, este grupo el que soy parte es una maestría que originalmente fue pensada por la OEI, el Instituto de Investigación y Desarrollo y el MEC, posteriormente sumaron a FLACSO, para que apoye y avale esta iniciativa con la dirección del Dr. Daniel Bogoya, con un plantel docente, casi en su totalidad de extranjeros, todos referentes importantes, cubanos, chilenos, centroamericanos, colombianos y también algunos referentes a nivel local, el nivel de exigencia es muy alto, entonces hay esperanza de que se haya formado un grupo de personas que puedan trabajar TRI y compañía.
¿Que modelos de HLM usa y con qué software?
HLM, normalmente lo estamos trabajando en el análisis multinivel, se trabaja con el software HLM, pago, el mismo con el que estamos trabajando en la maestría, para el trabajo de tesis estamos viendo la posibilidad de hacer un grupo de estudio y trabajar con un software libre. Se han trabajado de tres niveles en la maestría, en el MEC no se está trabajando HLM. Existen si personas, que por ejemplo han hecho la evaluación de análisis multinivel de los resultados TERCE Paraguay.
¿La base de datos de Sistema Nacional de Evaluación del Proceso Educativo (SNEPE) 2015, se está planeado hacer investigaciones con esos datos?
Claro, si uno toma datos, los toma con el criterio de que puede hacerlo lo más útil posible, están tomados resultados de las pruebas de aprendizaje y datos de contexto, factores que estén asociados o no al rendimiento académico, por lo cual si estaría pensado para análisis multinivel o hacer otro tipo de investigaciones. Deben estar abiertos en algún momento, todavía el MEC no cuenta con un acceso directo a través de la web de sus bases de datos, pero normalmente se proveen de las mismas.
¿Uno de los factores que influyen, podría ser el idioma?
Claro, está considerado, hay preguntas sobre idioma, idioma de la madre, preguntas que indagan sobre cuál es el idioma que hablo primero el niño, en clase, si el idioma que habla en casa es el idioma con el que se le instruye, hay suficiente información en los cuestionarios de antecedentes, está considerada la indagación de esos datos, la calidad de los datos todavía no se conoce porque esos datos se están procesando, es la primera vez que se hizo a nivel país un estudio de tipo censal, de todos los niveles, lo cual fue un mega operativo.
¿Por qué es tan difícil hacer pruebas en Guaraní?
El Guaraní es muy complicado, esto lo tendríamos que discutir con algún lingüista en realidad, es un problema que se ve en cada estudio que se hace, el Paraguay tiene una peculiaridad de que como el Guaraní no es escrito originalmente, entonces es un problema porque las clases se enseñan en Guaraní pero se mezcla con el español, creo que amerita mucha investigación que no se está haciendo, con un porcentaje de la población que es guaraní hablante, que va más allá de la escuela, siendo un país bilingüe no sabemos cómo funciona el mecanismo del traspaso de una lengua a otra lengua en aula o en la calle, ahí habría de pensar en un equipo de trabajo que integre a sociólogos, psicólogos, lingüistas y antropólogos, educadores.
¿Cuál es el apoyo técnico para PISA-D en la región?
PISA posee una dinámica bastante sistemática, la Organización para la Cooperación y el Desarrollo Económico (OCDE) no improvisa nada, ellos contratan a corporaciones que están en el campo de la medición o el muestreo, tienen totalmente planificado el trabajo, dentro de esto se consideran también las capacitaciones de cada país, en PISA D, están participando países como Guatemala, Ecuador, Paraguay, Honduras, estas capacitaciones se harían en paralelo con el modelo PISA D, con el asesoramiento de la OCDE pero de manera autónoma ir capacitándose, esto deja la esperanza para la capacitación, porque a nivel regional estamos relativamente iguales en la falta de desarrollo técnico.
¿Según su percepción cuál es el panorama de la investigación científica en el Paraguay?
Por un lado, veo iniciativas nuevas que antes no existían, con el CONACYT y compañía aparece una opción interesante, donde todas las investigaciones nuevas que conozco tienen como financiador al CONACYT, lo que me parece muy bien y no debería ser la única, debería haber más fuentes de, lo que está faltando es capacidad técnica para presentar proyectos de investigación que estén a la altura del conocimiento actual en el área que sea, los proyectos de investigación que se están presentando son algo ingenuos porque falta una formación técnica y no es azar, en toda la historia de la Universidad Nacional de Asunción no se ha invertido en formación en investigación y ahora hay financiamiento para investigar, por ende solo las personas que han salido, que han tenido una formación excepcional que no es la formación que te da la universidad tienen alguna capacidad de presentar algo sólido técnicamente sustentable en general son muy laxas las investigaciones los diseños, tenemos una suerte de endogamia que no nos permite crecer, como hacemos para que la gente desarrolle capacidades, que se financien maestrías, de donde traemos los docentes, y solo algunos nos pueden enseñar y en las otras maestrías son los mismos y no hay un desarrollo técnicamente hablando. Ahora se está apostando a que los egresados vayan a formarse con las BECAL, me parece muy bien, una lástima que recién ahora pero que hayan aparecido ya es algo
Estamos en los primeros pasos, en una época en donde la gente está volando en aviones, mientras nosotros estamos gateando en investigación.
*Paraguay inicia el proceso para participar por primera vez del programa PISA para el Desarrollo (PISA-D), el cual es un estudio internacional con un enfoque diferente de evaluación, cuyo objetivo principal es introducir a países en vías de desarrollo a las evaluaciones internacionales, apoyar técnicamente y ofrecer una descripción clara de los niveles educativos de manera a que cada país participante haga uso de la información para mejorar sus sistemas educativos, sin la intención de realizar rankings entre países. Esta es una iniciativa del Ministerio de Educación y Cultura y la Organización para la Cooperación y el Desarrollo Económico (OCDE). Estas pruebas, miden la capacidad de resolver problemas de la vida cotidiana, los rangos de PISA permiten también instalar nuevas capacidades, disponer de nuevos dispositivos científicos para interpretar la realidad y utilizar eso en favor de la mejora de la calidad educativa.
Cynthia Vega
