Más de la mitad de las respuestas de ChatGPT sobre programación son incorrectas

Ya conocemos las bondades de ChatGPT como chat conversacional, pero más de la mitad de las respuestas de ChatGPT sobre programación son incorrectas según un estudio de la Universidad de Perdue en Indiana.

Vengajas de usar ChatGPT y similares

Una de las principales ventajas que tiene ChatGPT sobre otros medios o herramientas cuando queremos hacer una pregunta sobre desarrollo de software, es que la respuesta es inmediata. Según que pregunta estés buscando responder, por ejemplo, si es relativa a una tecnología sobre la que no hay mucha documentación, utilizando webs como Stack Overflow, posiblemente tendrás que esperar a que te respondan. Por el contrario, con servicios como ChatGPT tienes una respuesta inmediata, más o menos acertada, pero inmediata.

Y has leído bien, más o menos acertada. Por que no es malo que las respuestas de ChatGPT sean incorrectas, o no del todo correctas, siempre y cuando tengamos el conocimiento suficiente sobre desarrollo como para poder darnos cuenta.

Respuestas de ChatGPT incorrectas

Según el estudío del que te hablaba al principio, de 512 preguntas, el 52% de las respuestas de ChatGPT fueron incorrectas, y el 48% restante correctas. Además, otro dato interesante es que el 77% de las respuestas, correctas o incorrectas, eran detalladas.

Y es que éste último dato es muy importante, ya que este hecho hizo que aproximadamente el 39% de las personas que leían estas respuetas, no podían identificar que ésta era incorrecta por el detalle proporcinado por ChatGPT. Interesante, ¿no?

Mi experiencia con ChatGPT

Dicho esto, te quiero hablar también sobre mi propia experiencia con ChatGPT.

En mi caso puedo decir que ChatGPT me ha responsido de forma correcta cuando le solicito:

• Generar contenido general sobre un tema en particular. Ejemplo: Un texto sobre Agile, Trunk Base Development, etc.
• Cómo hacer algo muy específico. Ejemplo: Cómo exportar los mails de un servidor web con cPanel.
• Recetas de cocina
• Información sobre hechos histíricos
• Traducción de textos al inglés
• Generación de código (general). Ejemplo: Creame un módulo de Magento con la estructura básica o general.

En estos casos siempre he verificado que la respuesta sea correcta con una segunda fuente de información, llamese Google.

Por otro lado, ChatGPT considero que no me ha respondido correctamente cuando le solicito:

• Información sobre un hecho reciente ya que no está actualizado hasta la fecha actual
• Cómo hacer algo específico con algún software actual o que se actualiza periódicamente. Por ejemplo preguntas sobre el plugin de Yoast SEO, no da una.
• Cómo hacer un mock concreto para un tests en Angular
• Temas de AdSense, no está actualizado en este tema tampoco
• Temas de Hosting web responde de forma muy general
• Generación de código (específico). Ejemplo: Cuando le pides algo más específico, y en este caso relacionado con el módulo de Magento que comentaba en los puntos en que me respondió bien, no respondió de forma adecuada.

Tienes que tener en cuenta que las respuestas que ofrece ChatGPT varian, entre otras cosas, dependiendo del histórico del chat que tengas, por lo que tu caso puede ser distinto al mio. Como te comentaba al inicio, esta es mi experiencia de uso con ChatGPT.

Conclusión

Desde mi punto de vista, este estudio no pone en evidencia la calidad de ChatGPT, sino que responde a esa pregunta que nos estamos haciendo mucho en estos días, ¿Serán los programadores reemplazados por la IA? Pues la respuesta en este momento es sencilla, de momento no 👨🏻‍💻

Vivimos un momento apasionante en el mundo tecnológico con este auge de las IA’s, ChatGPT, BingGPT, Google Bard, Llama de Facebook y otras tantas que hacen del futuro cercano un lugar muy interesante por explorar.

Esto es lo que te quería contar, resumiendo mucho el estudio de la Universidad de Perdue sobre la calidad de las respuestas de ChatGPT en el mundo de la Ingeniería del Software. Puedes aprender más en la sección de Inteligencia Artificial.

¡Espero que te haya sido de utilidad!