El ChatGPT en la investigación y la educación: Continuación de la conversación

GPT son las siglas de "generative pretrained transformer" (transformador generativo preentrenado), un modelo de generación de lenguaje natural que puede aprender y ajustar los resultados basándose en datos puntuales etiquetados, clasificando las respuestas y optimizando la política de proximidad. Sólo dos meses después de su lanzamiento, se calcula que el ChatGPT ha alcanzado los 100 millones de usuarios activos mensuales, lo que lo convierte en la aplicación de consumo de más rápido crecimiento de la historia.¹ Pero cuando pase la novedad, será necesario fomentar un uso responsable y eficaz si se quiere que la herramienta se convierta en una parte aceptada del proceso de investigación.

Varios artículos publicados recientemente en revistas de la ACS han explorado el tema, en particular cómo la IA basada en GPT podría alterar la investigación en campos específicos de la química, así como en la educación y las publicaciones. Un estudio reciente publicado en el Journal of Chemical Information and Modeling trataba de responder a algunas preguntas sobre la capacidad de los modelos de lenguaje extensos (LLM) para comprender y responder a preguntas específicas sobre química. Tras realizar cinco pruebas diferentes con el modelo ChatGPT, los investigadores comprobaron que, sin utilizar ningún "truco" para ayudar al sistema, la precisión oscilaba entre el 25% y el 100%. Por lo general, las preguntas sobre temas populares ("¿Cuál es la solubilidad en agua de [polímero]?") se respondían con facilidad, pero la precisión era baja en temas muy específicos ("¿Cuál es la representación SMILES de [nombre del compuesto]?"). La IA tuvo especiales dificultades con los nombres de compuestos, incluso de moléculas muy pequeñas, como alcanos de sólo dos o tres átomos de carbono.²

Otro estudio publicado en el Journal of Chemical Education descubrió que el ChatGPT como herramienta de aprendizaje es propenso a cometer errores conceptuales en muchas de sus respuestas y explicaciones de química, como equiparar la velocidad de la radiación electromagnética con su energía, así como errores relacionados con las propiedades periódicas, la energía de ionización y la carga nuclear efectiva. Esto demuestra que, aunque el ChatGPT es muy capaz a la hora de interpretar la simbología química y comunicarse de manera que los estudiantes de química lo entiendan, es un estudiante de química por debajo de la media y no se debería confiar en él para la enseñanza de la química general. Sin embargo, el ChatGPT podría utilizarse para que los estudiantes demostraran su comprensión de ciertos temas identificando y corrigiendo los errores del chatbot.³

Un experimento similar realizado en la Universidad de Hertfordshire (Reino Unido) también puso a prueba los conocimientos de química del ChatGPT, y los investigadores descubrieron que podía generar respuestas a preguntas centradas en el conocimiento y la comprensión con comandos “describir” y “discutir”.⁴ Sin embargo, para las consultas centradas en la aplicación de conocimientos y la interpretación con información no textual, la tecnología alcanzó una limitación. El trabajo se efectuó en el contexto del programa de ciencias farmacéuticas, una disciplina de química general aplicada. Se introdujeron en el ChatGPT las evaluaciones de los exámenes de los alumnos de los módulos de los años 1º y 2º, y las respuestas se puntuaron de acuerdo con el esquema original de calificaciones de los exámenes. Lamentablemente, la IA no superó los exámenes en ninguno de los dos estudios, por lo que no puede aspirar a una licenciatura en química en un futuro próximo. Las calificaciones globales en los trabajos de ciencias farmacéuticas de los cursos 1 y 2 fueron del 34,1% y el 18,3%, lo que no cumplía los criterios de aprobado,⁴ y su puntuación en la resolución de problemas de química general fue del 44%, un valor muy inferior a la media de la clase, que fue del 69%.³

Dos nuevos puntos de vista publicados en Environmental Science & Technology pretenden demostrar cómo puede utilizarse la GPT para la investigación en ciencias ambientales. Los autores sostienen que las principales ventajas podrían residir en la mejora de la calidad de la redacción, la identificación de temas, la recuperación de información y la agilización de los flujos de trabajo. El ChatGPT también es capaz de ayudar con la codificación, la depuración y la explicación de sintaxis.⁵ Uno de los principales escollos y retos potenciales es el temor a que la IA pueda generar información falsa o inventada, sobre todo en campos académicos más pequeños en los que faltan datos de práctica. Otro punto controvertido es que este tipo de dependencia de la IA elimina la sabiduría y el juicio humanos del proceso de investigación, lo que en última instancia puede conducir a una reducción de la integridad académica, así como a una disminución de las habilidades y capacidades.^5,6 Desde una perspectiva medioambiental, los autores argumentan la posibilidad de impactos medioambientales directos e indirectos, incluyendo el consumo de energía, el uso de recursos y la producción de dióxido de carbono.

Volviendo a la enseñanza de la química, varios artículos recientes han investigado cómo puede utilizarse el ChatGPT en el mundo académico para ayudar tanto a educadores como a estudiantes. Parece probable que los estudiantes recurran cada vez más a la IA para que los ayude con los deberes y para obtener información y orientación sobre una amplia gama de temas. Uno de los posibles campos en los que la IA podría ser útil es para ayudar a los estudiantes con los cálculos y la redacción, sobre todo en la sección de conclusiones de los informes de laboratorio, aunque, como ya hemos visto, puede tener problemas con los compuestos y el análisis químico. Para usar el ChatGPT de forma eficaz, los estudiantes tienen que entender el principio químico para el que quieren una respuesta, formular la pregunta adecuada y analizar el resultado de la IA; por lo tanto, puede que pronto sea necesario proporcionar a los estudiantes consejos y buenas prácticas sobre cómo usar la IA de forma eficaz en sus cursos. Pero para los educadores que no quieren que sus alumnos utilicen la IA para escribir, ya hay disponibles algunos detectores de GPT para detectar textos escritos por bots.⁷

Big data es una necesidad básica para la IA y, en la actualidad, los robots lingüísticos no son capaces de comprender nueva información fuera de su serie de entrenamiento, generar ideas o realizar análisis profundos. Esto limita su uso en la investigación y la escritura científicas, pero la tecnología evolucionará.^8,9 Ante esta nueva tecnología, la ACS y otros editores han declarado que las herramientas de IA no dan derecho a autoría, y que el uso de la IA para la generación de texto o imágenes debe revelarse en el manuscrito. Las primeras recomendaciones sobre el uso de las mejores prácticas sugieren considerar el texto generado por IA como un primer borrador, un trampolín para la creatividad, y no como un atajo hacia una obra acabada. También debe comprobarse que el texto no sea plagio y que todas las citas se verifiquen de forma manual. En última instancia, las perspectivas actuales parecen coincidir en que las herramientas de IA son adecuadas para reproducir la sabiduría convencional, pero no para identificar o generar resultados únicos.⁹

Referencias

1. Yu, K. ChatGPT sets record for fastest-growing user base - analyst note. Reuters 2023.
2. Casto Nacimiento, C. M. and Pimintel, A. S. Do Large Language Models Understand Chemistry? A Conversation with ChatGPT. J. Chem. Inf. Model. 2023, 63, 6, 1649–1655.
3. Clark, T. M. Investigating the Use of an Artificial Intelligence Chatbot with General Chemistry Exam Questions. J. Chem. Educ. 2023, 100, 5, 1905–1916.
4. Fergus, S. et al. Evaluating Academic Answers Generated Using ChatGPT. J. Chem. Educ. 2023, 100, 4, 1672–1675.
5. Zhu, J.-J. et al. ChatGPT and Environmental Research. Environ. Sci. Technol. 2023, Articles ASAP.
6. Rillig, M. C. et al. Risks and Benefits of Large Language Models for the Environment. Environ. Sci. Technol. 2023, 57, 9, 3464–3466.
7. Humphry, T. and Fuller, A. L. Potential ChatGPT Use in Undergraduate Chemistry Laboratories. J. Chem. Educ. 2023, 100, 4, 1434–1436.
8. Luo, Y. Chemistry in the Era of Artificial Intelligence. Precis. Chem. 2023, 1, 2, 127–128.
9. Buriak, J. M. et al. Best Practices for Using AI When Writing Scientific Manuscripts. ACS Nano 2023, 17, 5, 4091–4093.