OpenAI ha desarrollado una herramienta destinada a identificar tareas escritas por ChatGPT, potencialmente dirigido a estudiantes que utilizan la IA para completar su trabajo. Sin embargo, según El periodico de Wall Streetla empresa está debatiendo actualmente si lanzar esta herramienta al público.
En una declaración a TechCrunch, un portavoz de OpenAI confirmó la investigación en curso sobre una técnica de marca de agua de texto, como destaca el Journal. La empresa está adoptando un «enfoque deliberado» debido a las complejidades y los posibles impactos más amplios de una herramienta de este tipo más allá del alcance inmediato de OpenAI.
«El método de marca de agua de texto que estamos desarrollando es técnicamente prometedor, pero tiene riesgos importantes que estamos sopesando mientras investigamos alternativas, incluida la susceptibilidad a la elusión por parte de malos actores y el potencial de impactar desproporcionadamente a grupos como los que no hablan inglés», dijo el portavoz. .
A diferencia de los esfuerzos anteriores para detectar texto generado por IA, que generalmente han sido ineficaces, la marca de agua de texto propuesta por OpenAI se centra específicamente en identificar el contenido producido por ChatGPT. Este método implicaría modificaciones sutiles en la selección de palabras para incrustar una marca de agua invisible en el texto, detectable mediante una herramienta independiente.
Tras el informe, OpenAI actualizó una publicación de blog de mayo sobre su investigación sobre la detección de contenido generado por IA. La actualización señaló que las marcas de agua de texto han demostrado «alta precisión y eficacia contra la manipulación localizada, como la paráfrasis», pero sigue siendo «menos robusta contra la manipulación global, como el uso de sistemas de traducción, la reformulación con otro modelo generativo o la inserción y posterior eliminación de caracteres especiales». «
Debido a estas limitaciones, OpenAI reconoce que el método de marca de agua es «trivial para ser eludido por los malos actores». La actualización también se hizo eco de las preocupaciones sobre el posible impacto negativo en las personas que no hablan inglés, afirmando que las marcas de agua en los textos podrían «estigmatizar el uso de la IA como una valiosa herramienta de escritura para personas que no hablan inglés».
El debate sobre la publicación de herramientas de detección de IA pone de relieve los desafíos éticos y prácticos más amplios de la gestión de la tecnología de IA. Una preocupación es el equilibrio entre prevenir el uso indebido y mantener los beneficios que brindan las herramientas de IA, particularmente para quienes dependen de ellas con fines legítimos, como los hablantes no nativos de inglés que usan la IA para mejorar su escritura.
Además, la susceptibilidad de elusión del método de marca de agua plantea dudas sobre su eficacia y fiabilidad. Los malos actores podrían fácilmente eludir el mecanismo de detección, haciéndolo ineficaz y posiblemente generando una falsa sensación de seguridad entre los educadores y otras partes interesadas.
La posibilidad de discriminación contra los hablantes no nativos de inglés es otro tema importante. Las herramientas de inteligencia artificial pueden democratizar el acceso a asistencia de escritura de alta calidad, pero los mecanismos de detección que afectan desproporcionadamente a ciertos grupos podrían crear nuevas barreras sin darse cuenta.
Escrito por Vytautas Valinskas
!function(f,b,e,v,n,t,s){if(f.fbq)return;n=f.fbq=function(){n.callMethod?
n.callMethod.apply(n,arguments):n.queue.push(arguments)};if(!f._fbq)f._fbq=n;
n.push=n;n.loaded=!0;n.version=’2.0′;n.queue=[];t=b.createElement(e);t.async=!0;
t.src=v;s=b.getElementsByTagName(e)[0];s.parentNode.insertBefore(t,s)}(window,
document,’script’,’https://connect.facebook.net/en_US/fbevents.js’);
fbq(‘init’, ‘1254095111342376’);
fbq(‘track’, ‘PageView’);