Using OpenAI’s GPT Model to Analyse Open Texts in Educational Research

Abstract

La atribución de significado a los segmentos de información propia del análisis de textos abiertos en investigación cualitativa implica una considerable inversión de tiempo. Las herramientas de Procesamiento de Lenguaje Natural pueden convertirse en un recurso para el investigador cualitativo, en cuanto que sus algoritmos permiten interpretar los textos y codificar cualitativamente de forma mucho más rápida. Esta tarea, sin embargo, requiere probar previamente el nivel de comprensión verbal de estas herramientas. La aparición del modelo GPT-3 de OpenAI supuso un salto cualitativo respecto a modelos de Procesamiento de Lenguaje Natural anteriores. El objetivo fue analizar la capacidad de comprensión verbal de esta herramienta. Se aplicaron las pruebas del índice de comprensión verbal de la batería para la medición del cociente intelectual WAIS-IV. Los resultados de las pruebas de fiabilidad fueron satisfactorios. Respecto al nivel de comprensión verbal, las respuestas situaron a GPT-3 en un percentil superior al 99, comparado con los estándares humanos. Estos resultados demuestran que es posible utilizar este modelo como herramienta para el análisis de textos abiertos, abriendo enormes posibilidades para la investigación cualitativa, aunque su uso debe basarse en una utilización precisa y diseñada ad hoc para cada proceso de análisis.