Software de detección de contenido de IA: ¿pueden detectar ChatGPT?


Vivimos en una era en la que las tecnologías de IA están en auge, y el mundo ha sido tomado por asalto con la introducción de ChatGPT.

ChatGPT es capaz de realizar una amplia gama de tareas, pero una que hace particularmente bien es escribir artículos. Y si bien esto tiene muchos beneficios obvios, también presenta una serie de desafíos.

En mi opinión, el mayor obstáculo que plantea el contenido escrito generado por IA para la industria editorial es la difusión de desinformación.

ChatGPT, o cualquier otra herramienta de IA, puede generar artículos que pueden contener errores fácticos o simplemente ser completamente incorrectos.

Imagine a alguien que no tiene experiencia en medicina iniciando un blog médico y usando ChatGPT para escribir contenido para sus artículos.

Su contenido puede contener errores que solo pueden ser identificados por profesionales médicos. Y si el contenido de ese blog comienza a difundirse en las redes sociales, o tal vez incluso se clasifica en la Búsqueda, podría ocasionar daño a las personas que lo leen y tomar consejos médicos erróneos.

Otro desafío potencial que plantea ChatGPT es cómo los estudiantes pueden aprovecharlo en su trabajo escrito.

Si uno puede escribir un ensayo simplemente ejecutando un mensaje (y sin tener que hacer ningún trabajo real), eso disminuye en gran medida la calidad de la educación, ya que aprender sobre un tema y expresar sus propias ideas es clave para escribir ensayos.

Incluso antes de la introducción de ChatGPT, muchos editores ya generaban contenido utilizando IA. Y aunque algunos lo revelan honestamente, otros pueden no.

Además, Google cambió recientemente su redacción con respecto al contenido generado por IA, por lo que no está necesariamente en contra de las pautas de la compañía.

Danny Sullivan's No hemos dicho que el contenido de IA sea maloImagen de Twitter, noviembre de 2022

Es por eso que decidí probar las herramientas existentes para comprender dónde se encuentra la industria tecnológica cuando se trata de detectar contenido generado por ChatGPT, o IA en general.

Ejecuté las siguientes indicaciones en ChatGPT para generar contenido escrito y luego ejecuté esas respuestas a través de diferentes herramientas de detección.

  • “¿Qué es el SEO local? ¿Por qué es importante? Mejores prácticas de SEO Local.”
  • “Escribe un ensayo sobre la invasión de Napoleón Bonaparte a Egipto”.
  • “¿Cuáles son las principales diferencias entre iPhone y Samsung galaxy?”

Así es como se desempeñó cada herramienta.

1. Escritor.com

Para la respuesta del primer aviso, escritor.com falla, identificando el contenido de ChatGPT como 94% generado por humanos.

Resultados de Writer.comCaptura de pantalla dewriter.com, enero de 2023

Para el segundo aviso, funcionó y lo detectó como Contenido escrito por IA.

Resultado de la prueba de Writer.comCaptura de pantalla dewriter.com, enero de 2023

Para el tercer aviso, volvió a fallar.

Resultado de la muestraCaptura de pantalla dewriter.com, enero de 2023

Sin embargo, cuando probé texto real escrito por humanos, Writer.com lo identificó como 100% generado por humanos con mucha precisión.

2. Copias de fugas

Copias de fugas hizo un gran trabajo al detectar las tres indicaciones como escritas por IA.

Resultado de la muestraCaptura de pantalla de Copyleaks, enero de 2023

3. Contenido a escala.ai

Contenido a escala.ai hizo un gran trabajo al detectar los tres avisos como escritos por IA, aunque el primer aviso dio una puntuación humana del 21 %.

Contentscale.aiCaptura de pantalla de Contentscale.ai, enero de 2023

4. Originalidad.ai

Originalidad.ai hizo un gran trabajo en las tres indicaciones, detectándolas con precisión como escritas por IA.

Además, cuando verifiqué con texto real escrito por humanos, lo identificó como 100% generado por humanos, lo cual es esencial.

Originalidad.aiCaptura de pantalla de Originality.ai, enero de 2023

Notará que Originality.ai no detecta ningún problema de plagio. Esto puede cambiar en el futuro.

Con el tiempo, las personas usarán las mismas indicaciones para generar contenido escrito por IA, lo que probablemente resulte en una cantidad de respuestas muy similares. Cuando se publiquen estos artículos, serán detectados por herramientas de plagio.

5. GPTZero

Este no comercial herramienta fue construido por eduardo tiany diseñado específicamente para detectar artículos generados por ChatGPT. E hizo exactamente eso para las tres indicaciones, reconociéndolas como generadas por IA.

GPTZeroCaptura de pantalla de GPTZero, enero de 2023

A diferencia de otras herramientas, brinda un análisis más detallado de los problemas detectados, como análisis oración por oración.

oración por oración texto perplejidadCaptura de pantalla de GPTZero, enero de 2023

Clasificador de texto AI de OpenAI

Y finalmente, veamos cómo OpenAi detecta sus propias respuestas generadas.

Para las solicitudes 1 y 3, detectó que hay una IA involucrada clasificándola como «posiblemente generada por IA».

Clasificador de texto AI.  Probablemente generado por IAClasificador de texto AI. Probablemente generado por IA

Pero, sorprendentemente, falló en el segundo aviso y lo clasificó como «improbable generado por IA». Jugué con diferentes indicaciones y descubrí que, a partir del momento, al verificarlo, pocas de las herramientas anteriores detectan contenido de IA con mayor precisión que la propia herramienta de OpenAi.

Clasificador de texto AI.  Improbable generado por IAClasificador de texto AI. Improbable generado por IA

En el momento de esta verificación, tenían publicado es un dia antes. Creo que en el futuro lo afinarán y funcionará mucho mejor.

Conclusión

Las herramientas actuales de generación de contenido de IA están en buen estado y pueden detectar contenido generado por ChatGPT (con diversos grados de éxito).

Todavía es posible que alguien genere una copia a través de ChatGPT y luego la parafrasee para que sea indetectable, pero eso puede requerir casi tanto trabajo como escribir desde cero, por lo que los beneficios no son tan inmediatos.

Si piensa en clasificar un artículo en Google escrito por ChatGPT, considere por un momento: si las herramientas que vimos anteriormente pudieron reconocerlos como generados por IA, entonces para Google, detectarlos debería ser pan comido.

Además de eso, Google tiene evaluadores de calidad que entrenarán su sistema para reconocer aún mejor los artículos escritos por IA marcándolos manualmente a medida que los encuentren.

Por lo tanto, mi consejo sería que no construyas tu estrategia de contenido a partir del contenido generado por ChatGPT, sino que lo uses simplemente como una herramienta auxiliar.

Más recursos:


Imagen destacada: /Shutterstock





Consultar el artículo en la publicación original

Software de detección de contenido de IA: ¿pueden detectar ChatGPT?
A %d blogueros les gusta esto: