Recursos Tecnológicos en la Investigación Social. Descubriendo la Teoría de Respuesta a los Ítems (TRI).

Recursos Tecnológicos en la Investigación Social. Descubriendo la Teoría de Respuesta a los Ítems (TRI).

Ésta articulo repasa algunos de los recursos tecnológicos que todo investigador en el área social puede utilizar para el análisis de sus resultados y/o información recogida. Asimismo hace una pequeña introducción a la TRI, fases en un proceso de investigación-diseño, análisis de datos e informes de investigación, incluyendo los recursos asociados a cada uno.

Dentro de las contribuciones de la TRI en la construcción de los test, desde el punto de vista teórico en la medición psicológica su gran contribución se centra en la posibilidad de obtener mediciones invariantes respecto de los instrumentos utilizados y de los sujetos implicados. (Muñiz, 1997). Frente a la Teoría Clásica de los Test (TCT), el acercamiento clásico se encontraba cerrado en la incongruencia teórica: la medición depende del instrumento utilizado y las propiedades de estos están en función de los objetos medidos, los sujetos. La promesa y objetivo central de la TRI será solucionar ese problema, lo que, en suma, permitirá:

• o   Obtener mediciones que no varían en función del instrumento utilizado, que sean invariantes respecto de los test empleados.
• o   Disponer de instrumentos de medida cuyas propiedades no dependen de los objetos medidos, sean invariantes respecto de los sujetos evaluados.

A lo largo de las páginas que siguen daremos cuenta de aquellas herramientas que actualmente pueden favorecer la actividad investigadora desde una perspectiva empirico-analitica. Así, siguiendo la secuencia normalmente utilizada en un proceso de investigación iniciaremos la presentación de los recursos susceptibles de utilización durante la etapa de planificación, continuaremos con los que son de utilidad en las etapas de recogida y análisis de datos, para terminar dedicando un apartado a las nuevas posibilidades que nos abre la realidad virtual en la comunicación de los resultados de nuestras investigaciones.

En el cuadro 1 podemos observar una relación de los principales recursos tecnológicos disponibles actualmente, divididos en torno a las diferentes fases de la investigación, y que permiten un trabajo más fácil al investigador educativo. Algunos de estos recursos tiene un carácter transversal, son útiles a lo largo de todas las etapas de la investigación como los procesadores de texto-, otros, en cambio, son específicos de una determinada etapa, como es el caso de los paquetes estadísticos.

En las páginas que siguen nos centraremos en una selección de los que consideramos más novedosos y útiles.

ETAPAS DE LA INVESTIGACIÓN	RECURSOS TECNOLÓGICOS
PLANIFICACIÓN	- Procesadores de texto - Hojas de cálculo - Paquetes integrados - Programas de planificación
RECOGIDA DE DATOS	- Bases de datos - Sistemas de observación - Sistemas de encuesta - Tests computarizados
ANÁLISIS DE DATOS	- Programas para meta-análisis - Paquetes estadísticos - Programas de análisis de ítems
PRESENTACIÓN DE RESULTADOS	- Procesadores de texto - Programas gráficos - Revistas electrónicas - Vídeo-conferencias

Cuadro 1. Relación de recursos tecnológicos en las distintas etapas de la Investigación Social.

 1.Recursos tecnológicos en la planificación de la investigación.

En un primer momento de la investigación es preciso acometer la revisión de la literatura, para lo cual se cuenta con una serie de recursos que ya fueron objeto de análisis en el trabajo de Rodríguez y otros (1995) y al cual remitimos al lector. Desde una perspectiva experimental, el investigador cuenta con programas que le pueden ayudar en las primeras fases de la investigación, sobre todo si desea llevar a cabo una planificación minuciosa de la experimentación y ver cuál puede ser el mejor diseño de la misma. En este sentido, para el diseño de experimentos no secuenciales disponemos actualmente del sistema CADEMO (Computer Aided Design of Experiments and Modeling), desarrollado en Alemania por parte de Rasch, Guiard, y Nürberg (1995). El sistema CADEMO aporta al investigador una herramienta para diseñar sus experimentos y los tamaños mínimos de las muestras con las que debe trabajar. A través de un diálogo interactivo el programa orienta al investigador hacia el diseño óptimo que dé respuesta al problema planteado.

La utilidad y eficacia de programas como los procesadores de texto, hojas de cálculo o los paquetes integrados es suficientemente conocida por parte de los investigadores, sustituyendo las funciones que anteriormente se asignaban, por ejemplo, a la máquina de escribir y las calculadoras. Durante esta fase inicial el investigador habrá de elaborar un proyecto, para el que le será de gran utilidad un procesador de texto (WordPerfect, Word... etc.), en el mismo habrá de incorporar un presupuesto de gastos, para lo cual puede hacer uso de una hoja de cálculo (Lotas 1-2-3, Plan Perfect ... etc.), o bien puede utilizar algún paquete integrado que recoda todas estas utilidades. De hecho, en la actualidad podemos decir que estas aplicaciones informáticas son las más utilizadas y las que gozan de una mayor popularidad.

CADEMO se estructura en torno a una serie de módulos, a través de los cuales se grúa al investigador en función de las respuestas que va ofreciendo a las preguntas planteadas por el sistema. Algunos de estos módulos son los siguientes:

a) Selección y construcción de diseños experimentales: A través de este módulo el programa orienta al investigador sobre los principales diseños experimentales, ayudándole a seleccionar el más adecuado a su problema concreto.

b) Elección del modelo para el análisis de la varianza: Este módulo incluye la elección del modelo entre diversos modelos estadísticos que describen la influencia de uno o más factores sobre una variable o conjunto de variables.

c) Procedimientos de selección: Aplica el enfoque de la zona de indiferencia de Berchofer para seleccionar la mejor población de un conjunto dado de poblaciones.

d) Experimentos de campo: Este módulo puede ser utilizado para la selección de diseños apropiados tales como un diseño de bloques, representarlos gráficamente y calcular las replicaciones necesarias.

e) Estimación y contraste de medias y probabilidades: incluye los métodos de diseños experimentales para la estimación y la comparación de medias y probabilidades para problemas con una dos o k muestras. A través de este módulo 1 investigador puede determinar el amaño necesario de la muestra de acuerdo ,on unas necesidades concretas.

f) Genéticas de población: Diseña experimentos para estimar parámetros genéticos de las poblaciones.

g) Regresión: Este módulo construye diseños de experimentos óptimos para la estimación de los parámetros de la regresión o para comprobar o estimar la confianza de los modelos de regresión.

2. Recursos tecnológicos en la recogida de datos.

La fase de recogida de datos es esencial en cualquier proceso de investigación. En la actualidad contamos con una serie de recursos que facilitan desde la realización de observaciones o encuestas, hasta la administración de pruebas objetivas y teste mediante ordenador.

2.1. La observación.

El empleo de la observación corno método o como técnica permite al investigador recoger información sobre un problema utilizando su propio esquema perceptivo y valiéndose de su propia interpretación del problema. Al utilizar la observación como técnica de recogida de datos (cuantitativos o cualitativos) el investigador puede recurrir a diferentes sistemas de registro. Evertson y Green (1989) los clasifican en torno a cuatro tipos: categoriales, descriptivos, narrativos y tecnológicos. Dado el objetivo de este trabajo centraremos nuestro interés sólo en los últimos.

Los registros tecnológicos incluyen grabaciones magnetofónicas, fotografías, grabaciones en vídeo, videodisco y filmaciones. Estos sistemas de registro se caracterizan por ser abiertos y fácilmente adaptables a otros sistemas de observación. Con ellos se busca dar respuesta a un problema salvando el carácter relativo y temporal de la información recogida. Las dimensiones del problema quedan registradas de modo permanente, permitiendo una continua revisión de las mismas. Los hechos o fenómenos que son observados mediante estos sistemas cuyo carácter es longitudinal (se desarenan en el tiempo en una sucesión a veces conteniendo una serie no interrumpida de información), puede transformarse en hechos o fenómenos transversales y separables en unidades de diferente tamaño, con la ventaja de que el observador puede reconstruir cuando lo desea su primitiva naturaleza procesual.

No hace mucho tiempo, en el contexto de la investigación educativa resultaba exótica la utilización de este tipo de sistemas de registro, debido fundamentalmente al coste de los mismos, así como a las dificultades que suponían su utilización sobre todo por sus grandes dimensiones y peso. Gracias al desarrollo tecnológico que se ha producido en los últimos treinta años, estas dificultades iniciales se han superado y podemos contar con magnetófonos tan pequeños como una tarjeta de visita, o cámaras de vídeo que pueden manipularse con una sola mano. A ello debemos añadir los avances que se han producido en la calidad de los registros que se obtienen con este tipo de recursos.

Pero con toda seguridad, es la combinación de estos recursos "tradicionales" con las posibilidades ofrecidas por la informática la que ha abierto nuevas posibilidades de utilización en la investigación educativa. Aún hoy podemos ver la imagen del investigador sentado frente a una pantalla de televisión viendo el producto de una serie de sesiones de observación, cuaderno de notas en la mano, parando manualmente cada cierto tiempo el vídeo para poder así transcribir lo que ve y oye. Esta es una imagen que progresivamente irá desapareciendo en favor de aquella otra en la que el investigador, utilizando sistemas de observación, se sienta ante un ordenador desde cayo teclado es capaz de realizar todas las operaciones necesarias: avanzar en la visualización, ralentizar, parar, transcribir, realizar anotaciones, etc.

Un ejemplo de estos sistemas de observación lo constituyen The Observer (Noldus, 1991), CORA (Van der Vlugt y y otros, 1992) y VTLOGANL (Roberts y otros, 1993; Hecht y otros, 1993, 1994; Hecht, 1995). Estos sistemas se han desarrollado para el registro de conducta y el análisis de datos. La principal diferencia entre ellos reside en que The Observer se ha construido para recoger datos en vivo, directamente; mientras que CAMERA y I~TLOGANZ se ha diseñado para registrar y codificar datos a partir de grabaciones en vídeo. Los tres sistemas contribuyen a un adecuado y fiable registro y codificación de las conductas de los sujetos y su interacción como secuencias de diferentes unidades conductuales.

2.2. Métodos de encuesta.

Al igual que ha sucedido con otros medios tecnológicos, los recursos disponibles para la encuesta se han ido modificando y han aumentando el número de posibilidades. Así, por ejemplo, el recurso que más se ha utilizado en la investigación educativa que emplea la entrevista como técnica de recogida de datos ha sido el magnetofón. De los primeros aparatos, de grandes dimensiones y un peso enorme que los hacían prácticamente imposible de trasladar de un lugar a otro, hemos pasado a las grabadoras de mano casi tan pequeñas como un paquete de cigarrillos, ofreciéndonos incluso prestaciones mucho mejores que aquellos otros anteriores.

Una vez recogidas las respuestas de los sujetos a una entrevista, por lo general se procede a la transcripción de la misma para facilitar su análisis. No obstante, y a pesar de los avances que se vienen produciendo en el reconocimiento de la voz, ano hoy el investigador educativo se ve abocado a transcribir las entrevistas, actividad para la que resulta de una gran utilidad el dictáfono. Esta herramienta permite al investigador adaptar la velocidad de reproducción de la grabadora y realizar la transcripción de forma continuada, sin necesidad de paradas y saltos hacia delante y hacia atrás.

El campo en el que se ha producido un mayor avance ha sido sin duda alguna la realización de encuestas utilizando el ordenador. Surge de esta forma lo que conocemos hoy como encuesta asistida por ordenador (Saris, 1991). Durante la década de los setenta comienza a utilizarse este tipo de encuestación (Fink, 1983) y cada vez son más utilizadas por los investigadores en diferentes contextos y situaciones (marketing, agencias estatales, sondeos de opinión ... etc.). Actualmente podemos encontrar diferentes modalidades de encuesta asistida por ordenador, entre las que destacamos la encuesta computarizada por teléfono, la encuesta computarizada presencial, la encuesta computarizada autoadministrada y la encuesta computarizada por red.

La diferencia fundamental entre la encuesta por teléfono tradicional y la asistida por ordenador es que en esta última el lápiz y el papel son sustituidos por el ordenador, siendo el más popular el sistema CATI (Computerized Assisted Telephone Interview). El entrevistador, sentado delante de un ordenador, llama por teléfono a un sujeto. Una vez establecido el contacto, el entrevistador comienza a realizar las preguntas que se presentan en pantalla e introduce con el teclado las respuestas que ofrece el entrevistado.

Podemos decir que la encuesta computarizada presencial sigue el procedimiento de la encuesta tradicional, pero en esta ocasión el cuestionario y el lápiz se sustituyen por un ordenador. Dependiendo de las características de la investigación y de los objetivos que se persigan nos encontramos, básicamente, con dos posibilidades. Una primera consiste en la administración del cuestionario a una muestra de sujetos utilizando para ello un ordenador personal que permanece fijo en algún lagar del entorno de la investigación como, por ejemplo, cuando un investigador desea conocer la opinión de los padres, profesores o alumnos de un centro educativo determinado. El entrevistador puede situarse con el ordenador en alguna de las dependencias del centro y los sujetos se acercan hasta el mismo para expresar sus opiniones. Una segunda opción consiste en disponer de un ordenador portátil o de mano con el que el entrevistador se desplaza y va recogiendo con él las respuestas que. ofrezcan los sujetos de la muestra elegido.

En la entrevista computarizada autoadministrada es el propio sujeto, sin la presencia del entrevistador, quien responde directamente a la encuesta. En su versión más primitiva, se envía un disco flexible con la encuesta a los sujetos que se van a entrevistar y éstos, tras su cumplimentación, devuelven el disco a la organización encargada de la investigación. Éste es un procedimiento que se ha utilizado, sobre todo, en el entorno empresarial (Kinnear y Taylos, 1991). Otra modalidad consiste en mantener un ordenador con el modelo de encuesta y cada sujeto se acerca al mismo para responder a las cuestiones planteadas, quedando registradas éstas en el ordenador.

Por último, gracias al enorme desarrollo que están teniendo las redes de comunicación, nos encontramos con una nueva modalidad de encuesta como es la que se realiza a través de las redes de ordenadores. En su versión más simple nos podemos encontrar con la entrevista realizada dentro de un pequeña red local, y en su versión más amplia nos podemos encontrar con la utilización de las grandes redes de comunicación como Internet para llevar a cabo una encuesta entre los sujetos conectados a la misma. Esta última posibilidad permite el acceso a determinados grupos de sujetos con características especificas, como son los que se integran en diferentes grupos de discusión o listas de distribución, orientados por un interés común sobre tópicos determinados (investigación educativa, evaluación, desarrollo profesional, diagnóstico, ... etc.).

Como recurso tecnológico que facilita las actividades necesarias para la realización de encuestas asistidas por ordenador nos encontramos con el programa IT 2.2 (Smit, 1994). Su estructura modular permite una fácil recogida y análisis de los datos recopilados. A través del módulo Vmaker el investigador diseña el cuestionario y la secuencia en la que se realizarán las preguntas. Con Dmaker el entrevistador conduce la encuesta. Los datos recogidos se pueden analizar con el módulo Tables y a través de Files se pueden manejar los datos y los cuestionarios. Además el programa IT, a través del módulo Utilities, permite exportar los datos recogidos para su tratamiento con programas como SPSS, SOS, dBASE y LOTOS, así como la opción de codificar respuestas abiertas, cuyo análisis se vería con programas como SPAD.T (véase Etxeberria y otros, 1995).

Otro programa informático que nos permite la realización de encuestas asistidas por ordenador es MicroSURV (Assessment System Corporation, 1994). Con una capacidad de manejar hasta 400 cuestiones diferentes, formuladas tanto en formato de elección múltiple como tipo Likert, permite el control del tiempo que cada entrevistado tarda en realizar la encuesta y facilita la administración de la encuesta a diferentes muestras de una población.

Además de los programas informáticos diseñados específicamente para la realización de encuestas, existe todo un software desarrollado para la construcción de tests que puede utilizarse de igual modo para la construcción y aplicación de encuestas, como veremos a continuación.

2.3. Los tests computerizados.

Mediante el empleo de tests o pruebas, sean éstos estandarizados o elaborados sin una intención comercial, el investigador sitúa a los sujetos de su estudio ante una situación experimental desde la que plantea cierta problemática que aquellos deben resolver.

Las capacidades del ordenador rueden utilizarse en un amplio rango de ctividades relacionadas con los tests. En concreto, el ordenador se puede utilizar ara escribir items, construir bancos de items, construir y administrar tests, así como puntuar, analizar e informar de los resultados obtenidos en los tests. Para llevar a cabo estas actividades en la actualidad se dispone de un elevado número de recursos tecnológicos, de los cuales vamos a destacar aquellos que consideramos de una mayor utilidad en el campo de la investigación educativa.

Todos los programas informáticos que existen hoy en la actualidad nos permiten la redacción de items y la construcción de bancos de items. La diferencia fundamental la encontramos en la capacidad de estos programas en el momento de la aplicación de los tests construidos con los mismos, pudiendo diferenciar dos tipos fundamentalmente: los que permiten la aplicación de tests de forma tradicional (tests computarizados, TC) y los que ofrecen la posibilidad de aplicar los tests mediante una estrategia adaptativa (tests adaptativos computarizados, TAC).

Entre los programas informáticos que nos permiten la realización de tests computarizados podemos destacar en la actualidad The Examiner 3.5 (Ue Examiner Corporation, 1994), Pin-Point (Cole y Logotron Limited, 1993) y LXR*TEST 5.0 (Logic Extension Resources, 1994).

The Examiner es un programa informático diseñado específicamente para la realización y administración de tests computarizados y tests de lápiz y papel. Las cuatro funciones fundamentales de The Examiner son: creación de bases de datos de items e información relacionada con los mismos, talos como estadísticos de los items; descripción y producción de tests con la posibilidad de guardarla de cara a una utilización posterior; la recogida de datos y la presentación de los resultados de los examinados así como de los estadísticos de los items en la base de datos; y la administración computarizada.

El programa PinPoint "puede entenderse como un paquete de recogida y análisis de infor nación diseñado para extraer y presentar de forma significativa hechos y conclusiones a partir de tal información" (Cole y Logotron Limited, 1993: I). Básicamente las funciones que desarrolla PinPoint son: diseño y edición de los formatos de los tests o cuestionarios y hojas de respuesta; administración computarizada; y análisis de la información recogida tras las respuestas de los sujetos (estadística descriptiva y correlacionar). Dado que trabaja en entorno Windows, el programa nos permite la realización de cuestiones integrando gráficos y texto.

Con toda probabilidad, actualmente el programa LAR *TEST 5. 0 es la herramienta más potente para la realización de tests y cuestionarios, trabajando en un entorno Windows. El programa nos permite la construcción de bancos de items con una gran flexibilidad en la edición de los mismos; la construcción de tests o cuestionarios bajo determinadas condiciones fijada por parte del investigador (tipo de cuestiones, índices estadísticos, etc.); puntuación y análisis de los datos de los tests y cuestionarios; y la administración computarizada.

Todas las posibilidades presentadas en los programas anteriores están presentes en los programas diseñados para la construcción y administración de Tests Adaptativos Computerizados, destacando en este sentido CATSoftware System (Computer Adaptive Technologies, 1994) y MicroCAT (Assessment System Corporation, 1995).

CATSoftware System se organiza en torno a una serie de módulos, cada uno de los cuales permite la realización de las actividades relacionadas con la construcción y aplicación de tests computarizados. El módulo CATBullder se utiliza para la creación, revisión y almacenamiento de los items. La administración en formato fijo o adaptativo se lleva a cabo con el módulo CATAdministrator. Los resultados de los tests o cuestionarios son registrados utilizando el módulo CATRegistrar, pudiendo introducirse de forma manual, a través de escáner o importado desde un fichero en formato ASCII. El módulo CATStat facilita los estadísticos de la Teoría de Respuesta al Item. CATWrite es el módulo que responde, de una forma sencilla, a las necesidades de escribir los items. Además de los módulos estandarizados, la empresa Computer Adaptive Technologies ofrece la posibilidad de crear y adaptar los programas a las necesidades planteadas por los clientes.

Dentro del grupo de programas que permiten la administración adaptativa nos encontramos en el entorno MS-DOS con MicroCAT. Éste quizás sea el programa más conocido y utilizado en el contexto de los Tests Adaptativos Computerizados. Al igual que otros programas, éste también se divide en una serie de módulos. El módulo Development permite la creación de bancos de items, teste computarizados y secuencias instructivas. El módulo Examination permite la administración de los tesis, la puntuación, el registro de las puntuaciones de los items y los teste e interpretar los resultados de los teste. A través del módulo Assessment podremos analizar los resultados de los tesis administrados tanto a través de lápiz y papel como computarizados. En este módulo integra una serie de programas especificas para el análisis de items (ITERAN, RISCAL y ASCAL), así como un programa que permite el análisis de un test antes de que sea administrado valorando la potencial utilidad de la administración adaptativa del mismo. También incluye en este módulo un programa para establecer la validez referida al criterio calculando para ello estadísticos descriptivos y regresión (bivariada y múltiple). Por último, a través del módulo Conventional Testing podremos crear, imprimir y puntuar teste convencionales e imprimir bancos de items.

2.4. Recogida de datos secundarios.

La investigación educativa viene produciendo una gran cantidad de estudios e informes sobre los temas más diversos. De hecho, existe una gran cantidad de revistas en las que se publican una mirada de articulas que recogen y presentan tales investigaciones. Además, suelen ser cada vez más frecuentes las bases de datos donde se recoge información sobre determinados aspectos de los sistemas sociales y educativos. Estas fuentes de información permiten al investigador educativo afrontar dos tipos diferentes de investigación como son el metaanálisis y el análisis secundario.

Si uniéramos todas las investigaciones realizadas por distintos autores en torno a un tema común, dispondríamos de mucha más información que contando con cada una por separado. Si se analizaran conjuntamente se podría llegar a establecer conclusiones mucho más generalizables que considerando cada investigación por separado. Una forma de explotar todo este cúmulo de información es el meta-análisis (M-A). Se trata de un método para realizar síntesis cuantitativas de lo ya investigado, establecer el estado de la cuestión y llegar, o intentar llegar, a una generalización sobre una hipótesis determinada (Morales, 1993). Podríamos decir que el M-A es una investigación sobre investigaciones, que intenta integrar en un resultado único los resultados de todas las investigaciones previas relacionadas con una determinada hipótesis. Como pasos a seguir en un M-A podemos señalar los siguientes (Bisquerra, 1989, Morales, 1993): 1) seleccionar el tema de interés; 2) localizar la bibliografía; 3) establecer los criterios para la inclusión de los estudios; 4) codificar y analizar los estudios; y 5) calcular el tamaño del efecto en cada estudio y de la media de todos..

El análisis de datos recocidos con una finalidad distinta de los objetivos del experimentador (p. 25). El investigador no es quien recoge los datos, sino que se sirve de las informaciones aportadas por otros investigadores. En este sentido en el análisis secundario el interés se centra en el análisis no en la recogida. Aquí nos referiremos al análisis secundario realizado desde un enfoque cuantitativo. El análisis secundario cualitativo puede consultarse Reinharz (1993) y Thorne (1994)

En principio puede contundirse el análisis secundario con el meta-análisis. El M-A se refiere a la integración de resultados de varias investigaciones. A través del M-A se reanalizan las conclusiones de uno o varios estudios. El M-A se realiza para aumentar el número de casos o para comparar y contrastar las conclusiones de diferentes estudios (Reinharz, 1993). Básicamente los M-A son revisiones de la literatura de los hallazgos realizados por otros. En cambio, el análisis secundario se basa en el análisis de los datos obtenidos por otros investigadores, no en los resultados de sus investigaciones.

La utilización de datos secundarios en la investigación sociológica suele ser muy popular (véase, p.e. Farjas, 1991 y Fernández Enguita, 1990). Mark Abrahamson (1983; cit. por Reinhartz, 1993) señala que casi la mitad de los articulas publicados en los primeros años de la década de los ochenta utilizaron datos ya existentes. En cambio, en el contexto de la investigación educativa, es un método de análisis prácticamente no utilizado.

Los datos que pueden ser objeto de AS son censos locales o nacionales, directorios, datos de encuestas, informes de gobierno o datos procedentes de cualquier investigación. Con la llegada de los ordenadores y la posibilidad de disponer de estos datos en un formato fácilmente accesible, transferible y manipulable este tipo de análisis se ha ido incrementando y lo seguirá haciendo en los años sucesivos. Los pasos a seguir en un análisis secundario son: 1) seleccionar el tema de interés; 2) localizar los datos; 3) establecer los criterios para recopilación de datos; y 4) analizar los datos recogidos. Desde la consideración de los recursos tecnológicos podemos vislumbrar el importante papel que los mismos pueden desempeñar, tanto en el meta-análisis como en el análisis secundario. En el caso del M-A las utilidades informáticas que permiten el acceso y la gestión de las bases de datos documentales se convertirán en herramientas imprescindibles (ver Lizosoaín, 1992 y Rodríguez y otros, 1995). Por lo que se refiere al A-S resulta de suma importancia el acceso a las bases de datos que en la actualidad nos aportan información sobre aspectos educativos. En este sentido podemos destacar a nivel internacional la disponibilidad de bases de datos a través de Gopher, como es el caso del gobierno de los Estados Unidos. A nivel del estado español podemos acceder en la actualidad a las bases de datos del Instituto de Estadística, y progresivamente se van incorporando nuevos datos.

3. Recursos tecnológicos para el análisis de datos.

La fase de análisis de datos ha sido con mucho la etapa de la investigación educativa que se ha visto más favorecida por el desarrollo de las nuevas tecnologías. Si obviamos algunas herramientas básicas como los procesadores de texto, podemos decir que fueron los programas para el análisis de datos los que en primer lugar atrajeron la atención de los investigadores educativos, aunque mucho ha cambiado desde las primeras tentativas en este campo.

"En 1979 ya organizaba en Madrid mi primer curso de SPSS, en el marco de las actividades del Colegio de Licenciados en CC.PP. y Sociología. Aun cuando entonces no nos lo pareciera, visto desde nuestros días la cosa era heroica: las clases "teóricas" se daban en un sitio; las tarjetas se perforaban en otro, a 3 kms de distancia, y con una perforadora para 30 personas; y, por último, había que llevar las tarjetas a un tercer lugar, situado a 6 ó 7 kms de los anteriores, donde se introducían en el ordenador" (Sánchez Carrión, 1988:1 1).

Muy distinta es la situación descrita por el profesor Sánchez Carrión a la actual, en la que desde el propio ordenador personal, en cuestión de segundos o escasos minutos, se pueden llevar a cabo todos los cálculos para los que no hace más de 25 años se necesitaban algunos meses de idas y vueltas de un centro a otro. Debemos confesar que para algunos de los autores de este trabajo la imagen descrita nos evoca una época mucho más antigua y desconocida de lo que en realidad es.

Desde la consideración del análisis de datos cuantitativos, podemos clasificar las aplicaciones informáticas en torno a dos grandes grupos: los programas estadísticos y los diseñados para el análisis de items y teste.

3.1. Programas estadísticos.

Bajo la denominación de programas estadísticos englobamos todas aquellas aplicaciones informáticas que se han desarrollado en los últimos años con el observo de facilitar el análisis estadístico. El recurso a este tipo de programas en la investigación educativa ha sido generalizado. En el conocido trabajo de De la Orden (1988) se señalaba, en aquel momento, como de uso generalizado los programa SPSS y BA~DP. En un primer momento estos programa estaban disponibles sólo para grandes ordenadores pero con la llegada del ordenador personal y las versiones de estos programas para este tipo de ordenadores, la utilización de los mismos se ha generalizado entre los investigadores educativos.

En la actualidad podemos diferenciar dos modalidades de aplicaciones informáticas para el análisis estadísticos: las que se basan en la estadística clásica de la escuela anglosajona y la que toma como punto de partida el análisis de datos (Analyse de Données) de la escuela francesa.

Programas como SPSS/PC+ (Norusis y SPSS Inc., l990a; l990b; l990c), BMDP PC90 (Dixon, 1990) o SYSTAT (Ato y López, 1994) parten de la estadística clásica para realizar sus análisis. Frente a éstos nos encontramos con la "familia" SPAD (Lebart y otros, 1988a; 1988b), que se basa en la corriente estadística de la escuela francesa. Mientras que la utilización de los programas SPSS/PC+, BMDP PC90 ó SYSTAT está muy consolidada entre los investigadores educativos, el uso de programas como SPAD.N o SPAD. T va en aumento, sobre todo debido a la adecuación del análisis realizado a las características de la investigación educativa. A través del análisis de datos no se establecen hipótesis a priori sobre las variables aleatorias estudiadas, sino que se procura representarlas gráficamente. Como introducción a los fundamentos y utilización de SPAD.N y SPAD.T puede consultarse Etxberría y otros (1995), obra en la que se explican las modalidades de análisis, su interpretación y aplicación en la investigación educativa. Se ofrecen además ejemplos de uso e interpretación de datos. Para una revisión de las posibilidades y utilización de todos los programas reseñados se pueden consultar en castellano las obras de Ato y López (1994), Etxeberría, Joaristi y Lizasoain (1991), Joaristi y Lizasoain (1995), Norusis y SPSS (1993) y Manzano (1989).

Junto con estos "paquetes de programas" se vienen desarrollando toda una serie de aplicaciones informáticas para la ejecución de análisis especificas. En el cuadro 2 presentamos una muestra de algunos de ellos.

PROGRAMA	TIPO DE ANÁLISIS
AMOS 3.5	Modelos de ecuaciones, estructurales,. Análisis, factorial confirmatorio
EQS	Modelos de ecuaciones estructurales
VARCL	Análisis de la varianza por máxima verosi-militud
LISCOMP 1	Ecuaciones estructurales lineales
MULTIVARIANCE	MANOVA, MANCOVA, regresión, análisis discriminante, análisis de componentes princi-pales y análisis de la curva de Pothoff-Roy
DISTAN	Análisis de datos categóricos (análisis factorial Booleano, análisis de corespondencias múlti-ples, análisis de clúster ...etc.)
HLM	Modelo lineal jerárquico
M U D F O LD	Escalamiento multidimensional
UNFOLD	Escalamiento unidimensional
BOJA	Análisis booctstrap y jacknife

Cuadro 2. Selección de programas estadísticos.

Al presentar el meta-análisis y el análisis secundario hacíamos referencia a las aplicaciones informáticas que podían ser de utilidad para el acceso a las fuentes de información (bases de datos, fundamentalmente). En este momento vamos a centrarnos en su fase de análisis. En el caso del M-A serán de enenne utilidad las aplicaciones especificas diseñadas para este método de investigación.

Podemos destacar en este sentido el programa TAMEFECT (Sáez y Aliaga, 1990) el cual permite calcular ciertos índices de medida del tamaño del efecto, fundamentalmente los basados en la diferencia media tipificada y en el coeficiente de correlación. El programa permite hacer la transformación a estos índices desde diversos estadísticos de uso frecuente en la investigación educativa, tales como la prueba T, la prueba F, la razón F o la prueba 2, probabilidad de una cola en la distribución normal, etc. Concretamente, los índices que calcula este programa son: la diferencia media tipificada o d de Cohen; el coeficiente de correlación producto-momento de Pearson; el coeficiente de determinación; y el binomial effect size display (BESD)

Para el caso del análisis secundario, podrán utilizarse todos los programas de análisis de datos cuantitativos (estadísticos) en general, que se ha presentado anteriormente.

3.2. Programas para el análisis de ítems y puntuación de tests.

Cualquier test se compone de un determinado número de items. Si se conoce la calidad de cada ítem del test se puede llegar a determinar la calidad de las puntuaciones totales del mismo. Desde la Teoría de Respuesta al Item (~I) se centra el análisis del test en las características de los items que lo conforman. La Teoría Clásica de los Tests (TCT), aunque más centrada en las propiedades del test considerado globlamente, también reconoció esta importancia y desarrolló toda una serie de procedimientos de análisis de la calidad de los items. Cuando el investigador necesita recurrir al análisis de items es preciso tener clara estas dos formas diferentes de afrontar el análisis de items, pues los recursos disponibles también variarán. Desde la Teoría Clásica de los Tests, el análisis de items se realiza sobre la base de una serie de índices (dificultad, discriminación, validez) que pueden calcularse utilizando programas como SPSS/PC+, PRELIS, BMDP PC90 o SYSTAT o programas específicos diseñados al efecto, como es el caso de ITEMAN (Assessment System Corporation, 1995) o ME12IX (IDEALOGIC, 1992).

Diferente es el caso del análisis de items realizado desde la perspectiva de la Teoría de Respuesta al Item, donde se ha desarrollado una gran cantidad de aplicaciones informáticas que facilitan estas tareas. Destacamos en estos momentos los programas RASCAL, ASCAL y XCALIBRE desarrollados por Assessment System Corporation, BILOG 3 y MULTILOG por Scientific Software o BIGST~PS por Mesa Press. En el cuadro 3 presentamos una selección de los principales programas resellados señalando en cada caso el modelo de medición sobre el que se basan, ya sea la Teoría Clásica o la Teoría de Respuesta al Item (un parámetro (IP), dos parámetros (2P) o tres parámetros (3P)), el tipo de datos que analizan, el sistema operativo (S.O.) sobre el que trabajan y el método de estimación que utilizan.

PROGRAMA	MODELO	DATOS	S.O.	MÉTODO DE ESTIMACIÓN
METRIX	Teoría clásica 1P(Rasch)	Dicotómicos/ Multipunto	Windows	------
ITEMAN	Teoría clásica	Dicotómicos/ Multipunto	Windows/DOS	------
BIGSTEPS	1P(Rasch)	Dicotómicos/ Multipunto	DOS	Máx. verosimilitud no condicional
RASCAL	1P(Rasch)	Dicotómico	DOS	Máx. verosimilitud no condicional
ASCAL	2P, 3P	Dicotómico	DOS	Bayesiano
XCALIBRE	2P, 3P	Dicotómico	Windows/DOS	Máx. verosimilitud marginal
BILOG	1P, 2P, 3P	Dicotómico	DOS	Máx. verosimilitud marginal Bayesiano
MULTILOG	GR, L2, L1, BS, NO, L3	Multipunto	DOS	Máx. verosimilitud marginal

Cuadro 3. Aplicaciones informáticas para el análisis de items y tests.

ITEMAN (Assessment System Corporation, 1995) es un programa disecado sobre la base de la Teoría Clásica de los Teste y permite el análisis de items y teste compuestos desde una hasta diez escalas (subtests), así como para calcular y registrar las puntuaciones de los sujetos en los tesis. Permite el análisis de escalas que contengan tanto items dicotómicos como multipunto.

En el caso de items dicotómicos, el programa ITEMAN nos ofrece para cada ítem y cada alternativa de respuesta los índices de discriminación, dificultad y correlación biserial puntual, e indica la clave de respuesta. Cuando analiza items multipunto los estadísticos que ofrece el programa son la media del ítem, la varianza de las respuestas al ítem y la correlación item-es;cala. Al presentar los resultados de cada escala en conjunto, ITEMAN presenta hasta un total de 20 estadísticos (número de sujetos, media, varianza, desviación típica,;, ... etc.).

En esta misma línea de la Teoría Clásica de los Tests, e incorporando también el modelo de un parámetro de la Teoría de Respuesta al Item, contamos con el programa METRLY, desarrollado en España por Idealogic (1992), gracias a un proyecto I+D de esta empresa con la Universidad de Barcelona, bajo la dirección del profesor Renom. METRIX es un sistema de análisis y mantenimiento de tesis convencionales para evaluar la capacidad, rendimiento, aptitudes y otras medidas de personalidad de individuos en distintas asignaturas, materias o áreas de diagnóstico, tanto curriculares como clínicos y de orden laboral. Este programa soporta un completo y variado conjunto de opciones de cálculo y estimación. Algunas de estas opciones son

a) Definición y creación de tests:

- Múltiples escalas (I a 10).

- Escalas dicotómicas o multipunto.

- Opciones de mantenimiento del test.

b) Distintos tipos de items:

- Dicotómicos de 2 a 9 alternativas.

- Dicotómicos corregidos: respuestas 0 a 1

- Multimpunto (escalas Likert, ...) de 3 a 9

c) Datos suplementarlos de los sujetos:

- Alfanuméricos

- Numéricos

d) Estudios de ítem: dificultad, b (Rasch), discriminación, varianza, asimetría, apuntamiento, índices de reproductibilidad, índice de Jackson, estudio de alternativas, estudio de homogeneidad de las respuestas, estudio de omisiones, correlaciones entre items, etc.

e) Estudios de sujetos: puntuación~directa, theta, puntuación ponderada, puntuaciones típicas derivadas, índice de reproductibilidad, correlaciones entre variables, etc.

f) Estudio del test: estadísticas básicas (medias, SD, SEM, etc.), fiabilidad, prueba de ajuste a la normalidad y correlación de escalas.

El programa METRIX se ejecuta bajo Windows explotando de forma eficaz las posibilidades gráficas de este entorno. Así, por ejemplo, una vez presentada en pantalla la información se puede ir analizando de forma más específica con tan sólo "picar" con el ratón, obteniendo así nuevas informaciones. Todas estas características reseñadas nos permite considerar a este programa como el mejor producto que existe en la actualidad para analizar teste bajo los supuestos de la Teoría Clásica de los Teste y el modelo de Rasch.

RASCAL (Assessment System Corporation, 1988) es un, programa informático que estima el parámetro de dificultad del item y la habilidad de los sujetos tomando como base el modelo de Rasch (un parámetro) para datos . Utiliza el procedimiento de máxima verosimilitud no condicional y proporciona pruebas de ajuste de los datos al modelo. ASCAL (Assesssment System Corporation, 1988) permite analizar los modelos de dos y tres parámetros, utilizando el modelo Bayesiano, e incluye análisis de ajuste de los datos a los modelos.

XCALIBRE (Assessment System Corporation, 1995) utiliza el procedimiento de máxima verosimilitud para estimar los parámetros, de acuerdo con los modelos de dos y tres parámetros. Como posibilidad adicional este programa nos permite realizar el anclaje de iteres a través del procedimiento de la media y la desviación típica. La principal ventaja de XCALIBRE reside en el reducido número de iteras (15) y de sujetos (200) que son necesarios para realizar los cálculos.

BIGSTEPS (Wrigth y Linacre, 1992) sigue el método de máxima verosimilitud no condicional, ofreciendo errores típicos de los parámetros, análisis gráfico y estadísticos de ajuste. Se basa en el modelo de Rasch.

BILOG (Mislevy y Bock, 1990) utiliza los procedimientos de máxima verosimilitud marginal y bayesianos para la estimación de parámetros a partir de items dicotómicos. Ofrece una gran cantidad de información y posibilidades, siendo uno de los mejores programas existentes en la actualidad. No obstante, su entorno es poco "amigable" para el usuario, requiriendo de éste una programación exhaustiva para poder realizar los cálculos. De características similares, pero para items multipunto, es el programa MULTILOG (Thissen, 1991).

Además de estos programas comerciales, en la obra de Baker (1992) el autor incluye listados completos de programas en BASIC para la estimación de los parámetros del ítem y de aptitud para modelos dicotómicos y politómicos y con distintos procedimientos de estimación de máxima verosimilitud.

Otra serie de programas, realizados por parte de investigadores que los facilitan de forma gratuita, nos ofrecen ciertas posibilidades a la hora de analizar items y tesis, o llevar a cabo la igualación de parámetros. Entre estos programas destacamos MTDIF, TESTINFO, DIMTEST, EQUA TE y NEXUS.

IRTDIF (Kim y Cohen, 1992) es un programa que utiliza la TRI para suministrar una serie de medidas sobre el funcionamiento diferencial de los items, como la X 2 de Lord, la medida exacta del área y las medidas de área de intervalo cerrado para los modelos de uno, dos y tres parámetros.

TESTINFO (Neel, 1993) es un programa gráfico cuya principal utilidad radica en la posibilidad que ofrece de examinar los efectos que produce la selección de items sobre la función de información del test y el error estándar de medida. Puede utilizar los modelos de 1, 2 ó 3 parámetros.

DIMTEST (Stout y otros, 1992) es un programa que sirve para. comprobar que el modelo subyacente a una matriz de respuestas a items dicotómicos es esencialmente unidimensional calculando para ello el test estadístico T de Stout (1987).

A través del programa EQUATE (Baker, 1993) se puede llevar a cabo la igualación de parámetros a través del método de la curva característica del test, para items punteados dicotómicamente o teste que empleen procedimientos de puntuaciones nominales o de respuesta graduada.

En esta misma línea de programas para la igualación de tesis, en el Departamento de Didáctica y Organización Escolar y Métodos de Investigación y Diagnóstico en Educación de la Universidad de Sevilla, se ha desarrollado el programa NEXUS (Moreno y otros, 1995) que, a través del procedimiento de la media y la desviación típica permite la igualación de teste cuando se utilizan diseños de bloques entrelazados, y el número de subtests e items es muy elevado.

4. La presentación de los resultados de la investigación.

Como nos recuerda Tejedor (1995) "hasta hoy las revistas y libros impresos constituían la base del conocimiento y la comunicación del mismo, pero las posibilidades que nos ofrecen en la actualidad los medios telemáticos hacen que se vayan introduciendo de forma paulatina otros medios como libros y revistas electrónicos, cuyo formato de presentación ha pasado del papel al soporte magnético u óptico".

Al comienzo de la década de los 90 empiezan a publicarse una serie de revistas en este nuevo formato, siendo de destacar en el contexto educativo la revista pionero en este campo, editada por Glass (Edurational Policy Analyses Archives) desde la Universidad del Estado de Arizona (U.S.A.).

Las características diferenciales de una revista electrónica reside en su formato de presentación, el modo de acceso al contenido y el tipo de distribución de la misma.

Hasta la llegada de las redes de comunicación, el formato de presentación de una revista tomaba como base el papel impreso, mas una revista electrónica carece de este tipo de soporte, aunque puede ser trasladado a papel siempre que el suscriptor o usuario así lo desee. Los articulas que componen un ejemplar de una revista electrónica se archivan en ficheros en un ordenador central. El acceso a estos ficheros se puede realizar de varias formas, siendo las más comunes a través de herramientas de transferencia de ficheros (FTP) y/o consultores Gopher o a través de World-Wide Web (WWW).

Progresivamente se va dando una implantación mayoritaria de WWW, dadas las posibilidades gráficas del mismo, que nos permite reproducir cualquier tipo de material textual, gráfico e incluso sonoro.

Sea cual fuere el modo adoptado, lo cieno es que la información estará a disposición de todas aquellas personas que tengan acceso a las herramientas citadas, aunque siempre cabe la posibilidad de establecer filtros de selección que reduzcan este acceso. No obstante, dada la función divalgativa de cualquier revista científica, por lo general el acceso es abierto. Por tanto, cualquier persona, desde cualquier lugar del mundo, teniendo acceso a la red de servicios INTERNET podrá localizar cualquier revista electrónica y disponer al momento del contenido de la misma.

Respecto a la distribución de una revista electrónica, por regla general se recurre a los programas servidores de listas, de tal forma que automáticamente cualquier persona interesada puede darse de alta como suscriptor, a través del correo electrónico, y desde ese momento recibirá en su dirección electrónica los sucesivos números de la revista, o aquellos números ya publicados que desee.

En el cuadro 4 ofrecemos dos de las revistas que se centran en educación y que se publican en formato electrónico, con las direcciones y servidores de lista de distribución de cada una.

REVISTA	DIRECCIÓN	SERVIDOR DE LISTA
Revista Electrónica de Investigación y Evaluación Educativa	gopher.cica.es	listserv@ls.cica.es
Educational Policy Analysis Archives	gopher.info.asu.edu	listserv@asu.edu

Cuadro 4. Relación de revistas electrónicas con sus respectivas direcciones y listas de distribución.

5. Buscando más información.

El desarrollo continuo de nuevas aplicaciones tecnológicas para su utilización en el campo de la investigación hace casi imposible que se pueda mostrar una relación actualizada de los diferentes recursos, si no es a través de sistemas que permitan una actualización permanente. En la actualidad, gracias a las redes de comunicación' disponemos de un conjunto de recursos que nos informan de los últimos avances tecnológicos aplicables en las ciencias sociales.

 Gracias a las posibilidades gráficas que permiten los actuales ordenadores, cada vez se va implantando más la utilización de World Vide Web (WWW) para acceder a fuentes de información. Esta herramienta informática permite estructurar la información como hipertexto, uniendo unos documentos a otros. Las uniones en hipertexto se pueden hacer con otras fuentes de información dentro de un WWW, lates como ficheros de texto, gráficos o sonidos, y también se puede relacionar con. información externa. A través de WWW se tiene acceso a otros protocolos como Gopher, ftp, telnet, WAIS y News. Uno de los programas más populares que permiten navegar a través de WWW es Netscape (1994), disponible para diferentes tipos de ordenadores y plataformas (Windows, UNIX, Mac).

Para el tema que nos ocupa, si deseamos mantener nuestra información actualizada podemos consultar la página WWW elaborada por parte de la Asociación Interuniversitaria de Investigación Pedagógica Experimental (ALDIPE), que viene funcionando desde septiembre de 1995, y a través de la cual se puede acceder a otros nudos de información que resulta de interés para el investigador educativo. Otras instituciones que pueden facilitarnos información sobre recursos tecnológicos aplicados a la investigación educativa son las que aparecen en el cuadro 5, donde además se especifican las direcciones de contacto. De entre ellas destacamos la de iec ProGAMMA, por tratarse de una iniciativa europea cuyo fin es estimular el desarrollo y la distribución de las aplicaciones informáticas en el campo de las ciencias sociales y de la educación, y a través del cual podremos obtener una descripción de las características de los programas informáticos, empresas que los distribuyen, precios, etc.

INSTITUCIONES	DIRECCIONES
AIDIPE. Asociación Interuniversitaria de Investigación Pedagógica Experimental	http://www.uv.es/aidipe
SSIT page iecProGAMMA	http://www.gamma.rug.nl
IASC. International Association for Statistical Computing	http://www.stat.unipg.it/iasc
CTI Center for Psychology	http://ctipsych.york.ac.uk/MainMenu.html
CORDIS	http://www.cordis.lu

Cuadro 5. URLs de fuentes de información sobre recursos tecnológicos en investigación educativa.

6. A modo de conclusión.

Como hemos podido comprobar a lo largo de la lectura de este trabajo, en la actualidad disponemos de una ingente cantidad de recursos tecnológicos al servicio de la investigación educativa, considerada desde una perspectiva cualitativa. Esta enorme cantidad de información nos impide realizar una propuesta concreta de utilización de programas: serán las necesidades de la investigación las que determinen la utilización de unas herramientas u otras.

No obstante es preciso señalar la necesidad de estar informados sobre todas las posibilidades existentes, pues sólo de esta forma podremos hacer una elección eficaz. Es más, en multitud de ocasiones, el desconocimiento de las posibilidades ofrecidas por la tecnología nos lleva a no considerar el análisis de los problemas educativos desde estas otras perspectivas que se nos abren y que nos permiten aproximarnos a través de múltiples formas a la compleja realidad educativa.

A pesar de ello nos aventuramos a adelantar que las tendencias se sitúan en un futuro donde el entorno gráfico y el acceso a las redes de comunicación se hacen indispensables. Las herramientas concretas que utilicemos para ello quizás resulten anecdóticas, lo importante es tener la suficiente capacidad como para instalarnos flexiblemente en un mundo "virtual" que nos arrolla con sus posibilidades.

Una última consideración en torno a la multitud de recursos disponibles es la necesidad de ir desterrando del campo de la investigación educativa la imagen del investigador "solitario", e ir asumiendo que resulta imprescindible el trabajo en equipo, donde cada uno asume la responsabilidad de especializarse en la búsqueda, utilización y mejora de los recursos tecnológicos necesarios para dar respuesta a los problemas educativos que se plantean en la investigación educativa.

Referencias bibliográficas.

ASSESSMENT SYSTEMS CORPORATION (1995). User`s manual for the XCALIBRE Marginal Maximun-Likelihood Estimation Program. St. Paul, MN: Autor.

ATO, M. y LÓPEZ, J.J.(Eds) (1994).).Fundamentos de Estadística con SYSTAT. Madrid: RA-MA.

BAKER, F. (1992). Item Response Theory. Nueva York: Marcel Dekker, Inc.

BAKER, F. (1993). EQUATE 2.0: a Computer Program for the Characteristic Curve Method of IRT Equating. Applied Psychelogical Measurement, 17(1), 20.

DIXON, W.J. (Ed.) (1990). BDMP Statistical Software Manual. Los Angeles, CA: University of California Press.

ETXEBERRIA, J. y otros (1995). Análisis de datos y textos. Madrid: RAMA.

FARJAS ABADÍA, A. (1991). Escuela pública - Escuela privada: ¿Igualdad de oportunidades?. En G. RODRÍGUEZ (Comp.), Reflexiones en torno a la escuela pública. (pp. 47-84). Jerez: Centro de Profesores de Jerez.

FERNÁNDEZ ENGUITA, M. (1990). La escuela a examen. Madrid: Eudema.

FINK, J.C. (1983). CATI's first decade: The Chilton experience. Sociological Methods and Research, 12, 153-168.

HARRIS, D. (1992-95). Pegasus Mail for Windows. Software libre.

HECHT, J.B. y otros (1993). VTLOGANL: VideoTape Logging and Analysis: Manual. Technological Innovations in Educational Reseach Laboratory (TIER Lab.) Illinois, State University.

HECHT, J.B. y otros (1994). VTLOGANL: A Computer Program for Coding and Analysing Data Gathered on Video TapeComunicación presentada en la reunión anual de la AERA, Nueva Orleans.

HECHT, J.B. (1995). VTLOGANL: A Computer Program for Coding Video Data. Comunicación presentada en la reunión anual de la AERA. San Francisco.

JOARISTI, L. y LIZASOAIN, L. (1995). SPSS para Windows Madrid: Paraninfo.

KIM, S. y COHEN, A. (1992). IRTDIF: A Computer Program for IRT Differential Functioning Analysis. Applied Psychelogical Measurement, 16 (2), 158.

KINNEAR, T.C. y TAYLOR, J.R (1991). Marketing research: An applled appronch. Nueva York: McGraw Hill.

LEBART, L., MORIMEAU, A. y LAMBERT, T. (1988). SPAD.N. Systeme Portable pour l'Analyse des Dounces. Paris. CISIA.

MANZANO, V. (1989). Domine el SPSS/PC+. Madrid: RA-MA.

MARMOLEJO, A. (1990).Aplicación del Meta-análisis en la evaluación de programas de lectura. Revista de Investigación Educativa, 8(16), 255-264.

MISLEVY, R.J. y BOCK, RD. (1990). BILOG 3. Item Analysis and Test Scoring with Binary Logistic Models. Mooresville, IN: Scientific Software.

MORALES, P. (1993). Líneas actuales de investigación en métodos cuantitativos. El meta-análisis o la síntesis integradora. Revista Educación, (300), 191 -224.

MORENO, C. y otros (1995). NEXUS 1.0: Un programa para la iguialación de tests mediante el procedimiento, de la media y la desviación típica. Sevilla: Dpto. DOE y MIDE.

NEEL, J.H. (1993). TESTINFO. A graphics basad program for exemining the effects of ítem selection on tes information and standard error of measurement. Atlanta, GA: Autor.

NOLDUS, L.P. (1991). The Observer: A software for collection and analysis of observational data. Behavior Research Methods,Instruments & Compute",23(3), 415-429.

NORUSIS, M.J. y SPSS Inc. (199Oa). SPSS/PC+ Statistics for the IBM PC/XT/AT and PS/2. Chicago: SPSS Inc.

NORUSIS, M.J. y SPSS Inc. (199Ob). SPSS/PC+ Advanced Statistics 4.0 for the IBM PC/XT/AT and PS/2. Chicago: SPSS Inc.

NORUSIS, M.J. y SPSS Inc. (1990c). SPSS/PC+ Base Manual for the IBM PC/XT/AT and PS/2. Chicago: SPSS Inc.

NORUSIS, M.J. y SPSS Inc. (1993). SPSS Base para Windows Versión 6.0. Guia del usuario.Chicago. IL: SPSS Inc.

NETSCAPE COMMUNICATION CORPORATION (1994). Nescape Navigator versión 1.0N. Autor.

REINHARZ, S. (1993). Empty Explanations for Empty Wombs: An Illustration of a Secondary Analysis of Oualitative Data. En M. Schratz (Ed.), Qualitative Voices in Educational Research. (pp. 157-178).Londres: The Falmer Press.

RENOM PINSACH, J. (1993). Tests adaptativos computerizados Fundamentos y aplicaciones Barcelona: PPU.

ROBERTS, N.K. y otros (1993). VTLOGANL: A methodology for the qualitative analysis of video tape data. Comunicación presentada en la reunión anual de la Mid-Western Educational Research Association, Chicago.

RODRÍGUEZ, G. y otros (1995). El tratamiento de la información en la investigación educativa (una propuesta informatizada en entorno PC. Pixel-Bit. Revista de Medios y Edutación, (5), 5573.

SÁNCHEZ MECA, J. (1990). Posibilidades del meta-análisis en evaluación de programas. Revista de Investigación Educativa, 8 (16), 443-446.

SÁEZ, A. y ALIAGA, F. (1990). Metaanálisis: Un programa informático para el cálculo del tamaño del efecto. Revista de

Articulo extraído de la  http://www.ub.edu/comporta/tide/Downloads/METRIX.htm