Un investigador de la Universidad de Texas en Arlington está trabajando para aumentar la seguridad de los sistemas de generación de lenguaje natural (NLG), como los que usa ChatGPT, para protegerse contra el uso indebido y el abuso que podría permitir la propagación de desinformación en línea.
Necesitamos investigar las vulnerabilidades potenciales de los sistemas de IA cuando están expuestos a información errónea en línea. Crédito de la imagen: Jenny Ueberberg a través de Unsplash, licencia gratuita
Shirin Nilizadeh, profesora asistente en el Departamento de Ciencias de la Computación e Ingeniería, obtuvo una subvención del Programa de Desarrollo de Carrera Temprana de la Facultad (CAREER) de cinco años y $ 567,609 de la Fundación Nacional de Ciencias (NSF) para su investigación.
Shirin Nilizadeh. Crédito de la imagen: UTA
Comprender las vulnerabilidades de la inteligencia artificial (IA) a la información errónea en línea es «un problema importante y oportuno para abordar», dijo.
“Estos sistemas tienen arquitecturas complejas y están diseñados para aprender de cualquier información que se encuentre en Internet. Un adversario podría intentar envenenar estos sistemas con una colección de información contradictoria o falsa”, dijo Nilizadeh.
“El sistema aprenderá la información contradictoria, de la misma manera aprende información veraz. El adversario también puede usar algunas vulnerabilidades del sistema para generar contenido malicioso. Primero debemos comprender las vulnerabilidades de estos sistemas para desarrollar técnicas de detección y prevención que mejoren su resistencia a estos ataques”.
El premio CAREER es el honor más prestigioso de la NSF para profesores jóvenes. Los beneficiarios son investigadores destacados, pero también se espera que sean profesores destacados a través de la investigación, la excelencia educativa y la integración de la educación y la investigación en sus instituciones de origen.
La investigación de Nilizadeh incluirá una mirada integral a los tipos de ataques a los que son susceptibles los sistemas NLG y la creación de métodos de optimización basados en IA para examinar los sistemas frente a diferentes modelos de ataque.
También explorará un análisis en profundidad y la caracterización de las vulnerabilidades que conducen a ataques y desarrollará métodos defensivos para proteger los sistemas NLG.
Uso de software de aprendizaje automático: impresión artística. Crédito de la imagen: Mohamed Hassan a través de Pxhere, CC0 Dominio público
El trabajo se centrará en dos técnicas comunes de generación de lenguaje natural: resumen y respuesta a preguntas.
En la etapa de resumen, la IA recibe una lista de artículos y se le pide que resuma su contenido. En la respuesta a preguntas, el sistema recibe un documento, encuentra respuestas a preguntas en ese documento y genera respuestas de texto.
Hong Jiang, presidente del Departamento de Informática e Ingeniería, subrayó la importancia de la investigación de Nilizadeh.
Codificación de algoritmos de inteligencia artificial – foto ilustrativa. Crédito de la imagen: Kevin Ku a través de Unsplash, licencia gratuita
“Con grandes modelos de lenguaje y sistemas de generación de texto que revolucionan la forma en que interactuamos con las máquinas y permiten el desarrollo de aplicaciones novedosas para el cuidado de la salud, la robótica y más, surgen serias preocupaciones sobre cómo estos poderosos sistemas pueden ser mal utilizados, manipulados o causar filtraciones de privacidad y seguridad. amenazas”, dijo Jiang.
“Son amenazas como estas de las que el premio CAREER del Dr. Nilizadeh busca defenderse mediante la exploración de métodos novedosos para mejorar la solidez de dichos sistemas para que los usos indebidos puedan detectarse y mitigarse, y los usuarios finales puedan confiar y explicar los resultados generados por los sistemas. .”
!function(f,b,e,v,n,t,s){if(f.fbq)return;n=f.fbq=function(){n.callMethod?
n.callMethod.apply(n,arguments):n.queue.push(arguments)};if(!f._fbq)f._fbq=n;
n.push=n;n.loaded=!0;n.version=’2.0′;n.queue=[];t=b.createElement(e);t.async=!0;
t.src=v;s=b.getElementsByTagName(e)[0];s.parentNode.insertBefore(t,s)}(window,
document,’script’,’https://connect.facebook.net/en_US/fbevents.js’);
fbq(‘init’, ‘1254095111342376’);
fbq(‘track’, ‘PageView’);
