Informe del Simposio sobre la Próxima Década de la Inteligencia Artificial

Introducción

Inteligencia artificial generativa ("IA generativa")[1] está transformando rápidamente el panorama de la inteligencia artificial. A diferencia de los modelos de IA que manipulan los datos para tareas como la clasificación, la IA generativa crea contenidos totalmente nuevos: texto, imagen, audio y vídeo. Hay muchas formas en que esta tecnología puede ayudar a las personas, desde completar tareas administrativas rutinarias hasta ayudar con los avances médicos. Si bien esto presenta oportunidades interesantes, existen varios riesgos asociados con esta tecnología. Es crucial abordar oportunamente estos riesgos antes de que sea demasiado tarde.

El 12 de abril de 2024, la Oficina de la Fiscal General del Estado de Nueva York (OAG) organizó La próxima década de la IA generativa: fomentando oportunidades mientras se regulan los riesgos. Este simposio privado reunió a destacados académicos, responsables políticos, defensores y representantes de la industria en paneles de discusión para abordar las principales oportunidades, así como los riesgos que presenta la tecnología de IA, especialmente la IA generativa. El propósito era ayudar a la Procuraduría General a desarrollar estrategias para mitigar esos riesgos y al mismo tiempo garantizar que Nueva York pueda permanecer a la vanguardia de la innovación. Aunque la IA generativa fue un foco particular, los oradores también abordaron la tecnología de IA más tradicional, como la tecnología de toma de decisiones automatizada.[2]

En este informe se describen las principales conclusiones que aprendimos del simposio. Su objetivo es compartir ideas con otros responsables políticos y organismos gubernamentales, y facilitar un diálogo público sobre el desarrollo de enfoques jurídicos y políticos para la tecnología de IA. 

Oportunidades y riesgos 

A lo largo del día, los ponentes identificaron varias áreas en las que la tecnología de IA, incluida la IA generativa, puede proporcionar beneficios significativos para el público, así como los principales riesgos que plantea la tecnología. 

Usos sanitarios

La tecnología de IA tiene el potencial de mejorar la atención médica. Los participantes en el simposio debatieron sobre cómo se puede utilizar la IA para la detección precoz de enfermedades; descubrimiento de fármacos; el seguimiento de las tendencias en materia de salud pública; tareas administrativas que pueden aliviar el agotamiento de los médicos; y la medicina de precisión, que consiste en la creación de planes de tratamiento personalizados basados en información como perfiles genéticos y clínicos. 

Las herramientas de IA ya se han utilizado para ayudar con las imágenes médicas, lo que hace que las exploraciones sean más rápidas y menos costosas. Estas herramientas pueden ayudar a los médicos a clasificar mediante el cribado de imágenes médicas para identificar problemas potencialmente urgentes para una revisión prioritaria por parte de un médico. Los modelos de IA ahora están entrenados para ir un paso más allá y ayudar a detectar enfermedades. Un orador habló sobre una herramienta de IA que puede revisar las mamografías e identificar anomalías que podrían indicar el riesgo de cáncer de mama hasta cinco años antes de desarrollarlo, lo que permite una intervención más temprana y resultados potencialmente mejores.[3] Los ponentes coincidieron en que estas herramientas de IA deberían utilizarse para aumentar el trabajo de los médicos en lugar de sustituirlo.

En el frente administrativo, la IA se utiliza ahora para ayudar a aliviar la carga de los médicos, por ejemplo, transcribiendo las conversaciones de los pacientes. Un médico analizó los intentos de utilizar la tecnología de IA generativa para resumir los historiales de los pacientes y ayudar a garantizar que los médicos vean información relevante que, de otro modo, podría perderse en notas extensas. Este ponente señaló que las herramientas de IA generativa también pueden crear respuestas a preguntas sencillas de los pacientes a través del chat y pueden proporcionar servicios de traducción. A medida que la tecnología se desarrolla, observó, las herramientas de IA podrían estar funcionando continuamente en el entorno hospitalario. Por ejemplo, las herramientas de grabación podrían utilizarse para transcribir las conversaciones de los pacientes o las herramientas de monitorización podrían observar continuamente los signos vitales en las habitaciones de los pacientes. Dichas herramientas podrían usarse potencialmente en los hogares de los pacientes, como el video para monitorear la actividad del paciente. 

Sin embargo, estos desarrollos conllevan riesgos. Los datos sanitarios son especialmente sensibles. Es posible que los pacientes no entiendan qué datos se recopilan o cómo los utilizan las herramientas de IA, especialmente cuando dichas herramientas se ejecutan continuamente en sus habitaciones de hospital o incluso en sus hogares. Además de estas preocupaciones sobre la privacidad, también existen serias preocupaciones sobre la desigualdad en el acceso. Los grupos minoritarios están infrarrepresentados en los datos clínicos utilizados para crear planes de tratamiento personalizados, y los servicios de transcripción de IA no cubren actualmente una amplia gama de idiomas o acentos. Para utilizar eficazmente las herramientas de IA en un contexto tan delicado, señalaron los ponentes, debe haber un ser humano involucrado que tenga la responsabilidad última y que esté preparado para tomar decisiones sobre cuándo confiar en las herramientas de IA y cuándo desafiarlas.

Información y desinformación

Las herramientas de IA, incluidos los chatbots impulsados por IA generativa, pueden ayudar a las personas a encontrar información fácilmente. Por ejemplo, ya se están utilizando para complementar algunas líneas telefónicas, como los servicios públicos 311 que no son de emergencia y la atención al cliente corporativa. Este uso de chatbots puede liberar a los operadores telefónicos para que se concentren en brindar servicios específicos y abordar preguntas complicadas. Además, las herramientas de IA generativa pueden automatizar la traducción, lo que permite a los gobiernos y a las empresas comunicarse mejor con las personas en sus lenguas maternas y proporcionar un mejor acceso a la información. 

Sin embargo, como señalaron varios oradores, la tecnología está lejos de ser perfecta. La IA generativa es notoriamente propensa a llegar a conclusiones erróneas, o "alucinaciones", y a proporcionar respuestas falsas. Por lo tanto, los chatbots de IA generativa pueden compartir información incorrecta con las personas, lo que los convierte en una herramienta defectuosa para proporcionar información al público. Estos chatbots también pueden fabricar historias sobre las personas, lo que podría causar daños emocionales y de reputación. 

Además, los malos actores pueden utilizar la IA generativa para crear intencionadamente materiales de desinformación, como los deepfakes. Las leyes en torno a la difamación y el fraude ofrecen algunos recursos, pero no abordan todo el alcance del problema, sobre todo porque los deepfakes son cada vez más realistas y difíciles de detectar. Los oradores señalaron que el uso de la IA generativa en la desinformación sería una gran preocupación en los próximos meses antes de las elecciones generales, ya que los malos actores pueden crear una avalancha de información errónea que no se puede verificar adecuadamente a tiempo. Citaron ejemplos de deepfakes de audio y visuales que podrían tener graves repercusiones si la gente creyera que eran ciertos, como las llamadas automáticas que imitaban a los candidatos presidenciales y que animaban a la gente a no votar en las elecciones primarias.[4] imágenes del expresidente Trump abrazando al Dr. Fauci,[5] y una imagen de una explosión en el Pentágono que interrumpió brevemente los mercados.[6]

Tareas administrativas y toma de decisiones automatizada

Las herramientas de IA pueden ser útiles para agilizar una serie de tareas administrativas, especialmente para las agencias gubernamentales. Por ejemplo, un funcionario del gobierno describió las oportunidades para utilizar la IA generativa para calcular la obligación tributaria, generar materiales de educación pública y escribir código informático. 

Un caso de uso común para la tecnología de IA es ayudar a revisar las aplicaciones, lo que puede agilizar significativamente esos procesos. Por ejemplo, mediante el uso de herramientas de IA para identificar automáticamente a las personas elegibles para servicios o beneficios, las agencias gubernamentales pueden distribuir esos servicios y beneficios a los electores de manera más rápida y eficiente.

Por supuesto, el uso de herramientas de IA para preseleccionar aplicaciones también conlleva riesgos. Muchas empresas utilizan herramientas de selección de IA para contratar, lo que podría introducir sesgos algorítmicos. Un investigador señaló que algunas empresas pueden haber comenzado a utilizar herramientas de IA en la contratación con el objetivo de abordar la injusticia y el sesgo implícito inherente a la revisión humana. Sin embargo, los oradores citaron amplias pruebas de que las herramientas de IA a menudo amplifican, en lugar de corregir, el sesgo. Por ejemplo, los algoritmos entrenados con datos de contrataciones anteriores pueden amplificar los sesgos humanos reflejados en decisiones de contratación anteriores y afianzar las normas existentes. La naturaleza de caja negra de los algoritmos de IA dificulta la comprensión de si funcionan las herramientas de IA y cómo funcionan, lo que dificulta garantizar la equidad en la toma de decisiones. De hecho, un orador argumentó que es mejor asumir que las herramientas de IA discriminan por defecto. 

Problemas con los datos

Dado que los modelos de IA generativa se entrenan con conjuntos de datos sin precedentes, la calidad, la cantidad y el uso justo de los datos de entrenamiento plantean varias preocupaciones. Un tema clave es el derecho de autor, ya que las empresas están utilizando artículos, imágenes y videos protegidos por derechos de autor recopilados de Internet en sus modelos sin compensar a los creadores por su trabajo. Las preocupaciones sobre los derechos de autor han recibido mucha atención pública y actualmente se están litigando. Otra cuestión clave, discutida en el contexto de la atención sanitaria en una sección anterior, es la infrarrepresentación de los grupos minoritarios en los datos de formación. Como resultado, las herramientas de IA generativa pueden crear resultados que beneficien solo a ciertos grupos. 

También hay otras preocupaciones sobre los datos que no han recibido tanta atención, como la disponibilidad de los datos utilizados para entrenar modelos de IA. Los modelos de IA generativa necesitan grandes cantidades de datos para su entrenamiento. En consecuencia, las empresas que habían estado rastreando la web durante años de forma gratuita tienen una enorme ventaja sobre los nuevos participantes en el mercado de la IA. Esto es particularmente cierto ya que las plataformas y los proveedores de contenido han comenzado a bloquear sus datos y a celebrar acuerdos de licencia exclusivos. Esta situación genera preocupaciones de que el mercado se concentre en unos pocos jugadores, suprimiendo la competencia y una mayor innovación mientras la tecnología aún está en pañales. 

La "democratización de los datos", o el fomento del libre flujo de datos, puede permitir una mayor innovación. Por supuesto, cualquier iniciativa de este tipo debe equilibrarse con las preocupaciones de privacidad, especialmente en lo que respecta a los datos confidenciales. A medida que las empresas buscan datos adicionales para el entrenamiento, los modelos utilizan cada vez más sus propios resultados para el entrenamiento, llamados "datos sintéticos". El uso de datos sintéticos puede reforzar los problemas, especialmente con las alucinaciones, y, en última instancia, hacer que los modelos se vuelvan más propensos a errores ("colapso del modelo"). 

También existe la preocupación de que las herramientas de IA generativa generen contenido falso, sesgado o problemático porque el modelo se entrenó con datos que a su vez eran defectuosos. Esto a menudo se conoce como el problema de "basura que entra, basura que sale". Debido a que hay poca transparencia en la forma en que operan los modelos de IA, un orador señaló su preocupación por los resultados que pueden haber sido entrenados con datos inexactos (por ejemplo, artículos absurdos), datos inapropiados (por ejemplo, clases protegidas como la raza o el sexo) o datos secretos (por ejemplo, secretos comerciales). Otro orador advirtió que las protecciones inadecuadas de la privacidad de los datos de entrenamiento pueden permitir que las herramientas de IA generativa filtren datos personales o reidentifiquen datos anonimizados en sus resultados.      

Figura 2: La entrada de datos no utilizados produce la salida de datos no utilizados. 

Estrategias de mitigación 

A lo largo del día, los ponentes sugirieron una serie de estrategias para utilizar eficazmente la IA generativa y, al mismo tiempo, mitigar los riesgos asociados a la tecnología.

Adopción pública y educación

Muchas personas confían demasiado en que las herramientas de IA resolverán muchos problemas y, al mismo tiempo, desconfían de esas mismas herramientas, lo que disuade la adopción de la IA en muchas esferas. Sin embargo, las herramientas de IA, especialmente las herramientas de IA generativa, por su naturaleza requieren adopción y pruebas para mejorar. También hay algo de educación que ocurre a través de la adopción. Ayuda a las personas a comprender cómo funciona la tecnología de IA, tanto en sus usos como en sus límites, y ayuda a disipar mitos comunes. Varios oradores advirtieron que, para los usos de alto riesgo de la tecnología de IA, era importante contar con un "humano informado", es decir, tener a un humano involucrado activamente en la configuración, prueba y ajuste de los modelos de IA. Sin embargo, en escenarios de menor riesgo, una adopción más amplia de herramientas de IA podría ayudar a preparar a los empleados para asumir tales roles. 

Un ex legislador señaló que, debido a que la IA generativa es una tecnología de propósito general con usos aún desconocidos, los consumidores deben comprender la tecnología y las aplicaciones en evolución para asegurarse de que no sean vulnerables a usos indebidos, como las estafas de phishing. Los oradores también discutieron la importancia de la participación pública y de proporcionar formas para que el público exprese sus opiniones y brinde comentarios sobre casos de uso de IA, incluso para la contratación y el uso gubernamental. 

Una mayor educación pública sobre la IA generativa es crucial para mitigar el impacto de los posibles usos indebidos. Como se ha comentado anteriormente, muchos esperan que las herramientas de IA generativa desempeñen un papel importante en la difusión de información errónea antes de las elecciones. Los oradores hicieron hincapié en que la educación pública sobre la identificación de contenidos generados por IA debería ser una prioridad absoluta antes un evento consecuente, como las elecciones.   

Transparencia y auditoría

A lo largo del día, los ponentes pidieron repetidamente una mayor transparencia en el uso de la IA. Y lo que es más importante, los consumidores deben saber cuándo están interactuando con herramientas de IA generativa y cuándo se encuentran con contenidos generados por IA. Con este fin, los oradores recomendaron que se añadieran divulgaciones claras a los consumidores de diversas maneras: políticas de uso de datos en un lenguaje sencillo que explicaran qué datos se están recopilando y por qué, cómo se protegerán y cómo se utilizarán; aviso al comunicarse con un chatbot, lo que ya es obligatorio por ley en algunos estados; y etiquetas o marcas de agua visibles en el contenido generado por IA. Si bien algunos argumentan que las marcas de agua pueden ser fáciles de manipular por malos actores sofisticados, un orador señaló que aún sería beneficioso en la mayoría de las circunstancias y, al menos, frenaría a los malos actores que intentan engañar intencionalmente a las personas. Por lo tanto, varios oradores pidieron un marco sólido de marcas de agua.   

Actualmente, hay poca transparencia sobre cómo se auditan los modelos de IA. Por naturaleza, los algoritmos de IA no son transparentes; por lo tanto, la auditoría de las herramientas tradicionales de IA a menudo se centra en evaluar los resultados creados para identificar problemas, como el sesgo. Sin embargo, los oradores señalaron que la auditoría se realiza en gran medida ad hoc, y que es posible que las empresas y los investigadores no expliquen cómo llevan a cabo las auditorías. Para abordar esta cuestión, los oradores pidieron normas y procedimientos claros en torno a los modelos de auditoría. 

Existen algunos precedentes de este tipo de normas, como la Ley Local 144 de la Ciudad de Nueva York[7] y sus reglas de implementación, que describen los requisitos mínimos para una auditoría de sesgo que debe realizarse cuando se utiliza tecnología de toma de decisiones automatizada (ADMT) para la contratación. Del mismo modo, las instituciones financieras han desarrollado sólidos programas de cumplimiento de préstamos justos que evalúan y gestionan el sesgo en los marcos de suscripción algorítmicos. Además, un orador señaló que la auditoría debía ser específica para cada contexto. Por ejemplo, al auditar un modelo para detectar información errónea sobre las elecciones, un comisionado electoral debe proporcionar orientación experta sobre qué información es correcta o no. Un segundo orador sugirió la creación de certificaciones profesionales para los auditores de algoritmos a fin de aumentar la confianza en el proceso. Por último, un tercer orador pidió un mayor acceso de los investigadores externos a la auditoría de los modelos de IA. 

Derechos de los consumidores

Los consumidores deben sentirse empoderados cuando se trata de herramientas de IA. Un exfuncionario del gobierno citó el Plan de la Casa Blanca para una Carta de Derechos de la IA[8] como un buen punto de partida para los esfuerzos por establecer derechos claros de los consumidores. El plan describe cinco áreas en las que los consumidores deben recibir protección frente a las herramientas de IA, como la seguridad, la discriminación y la privacidad de los datos. Además, el plan aborda la importancia de la transparencia y otorga a los usuarios el derecho a optar por no participar en el uso de ADMT en favor de un tomador de decisiones humano. 

Figura 3: El Plan de la Casa Blanca para una Carta de Derechos de la IA identifica cinco principios clave.[9]

Actualmente, California está adoptando principios similares en su reglamentación sobre ADMT. Un funcionario del estado de California discutió el proceso de elaboración de normas en profundidad, incluida la importancia de proporcionar a los consumidores la capacidad de optar por no participar en el uso de ADMT para decisiones significativas, o al menos la capacidad de apelar dichas decisiones ante un tomador de decisiones humano calificado. 

Regulación y supervisión

Si bien la tecnología cambia rápidamente, puede parecer que las leyes tardan en seguirse, pero los oradores discutieron muchas leyes existentes que se aplican al uso de la tecnología de IA. Las leyes en torno a la discriminación, las libertades civiles, la privacidad, la seguridad de los datos, la difamación, el fraude, el engaño y la competencia pueden utilizarse para frenar algunos de los daños potenciales asociados a la tecnología de IA. Los oradores también destacaron los esfuerzos de Nueva York para regular los daños algorítmicos, como la Ley Local 144 de la Ciudad de Nueva York discutida anteriormente y la Ley SAFE for Kids,[10] que regula la capacidad de las plataformas de redes sociales para presentar feeds algorítmicos adictivos a los niños. 

En general, los oradores coincidieron en que el gobierno debe tener una mayor supervisión sobre la tecnología de IA, incluso sin una comprensión perfecta de la tecnología. El gobierno puede regular el uso de las herramientas de IA por parte de las agencias y utilizar las adquisiciones como palanca para la regulación, por ejemplo, a través de la Orden Ejecutiva de la Casa Blanca sobre el Desarrollo y el Uso Seguros, Seguros y Confiables de la Inteligencia Artificial[11] y la orden ejecutiva de California sobre el uso de la IA generativa en el estado.[12]

Sin embargo, los oradores expresaron opiniones divergentes sobre cómo abordar una regulación más amplia de la tecnología de IA. Algunos estaban a favor de la aprobación de una ley integral, como la Ley de Inteligencia Artificial de la Unión Europea (Ley de IA de la UE), [13] que crea un amplio marco de regulación basado en el riesgo y establece una agencia centralizada para supervisar la tecnología de IA. Otros oradores argumentaron que tal modelo no es apropiado en los EE.UU., y en su lugar abogaron por que la regulación y la supervisión se dividieran por sectores y se manejaran dentro de agencias separadas. Esto significaría, por ejemplo, que el Departamento de Salud y Servicios Humanos podría ser el principal regulador de los problemas de tecnología de IA asociados con la atención médica. 

Este último grupo señaló que la autoridad distribuida permitiría a los organismos ser más ágiles a la hora de adaptar las reglamentaciones a los cambios tecnológicos y permitiría una mayor competencia e innovación. Los partidarios de un régimen regulatorio integral respondieron que la regulación sectorial, junto con las leyes estatales y locales, puede complementar un marco amplio. En particular, el líder de una organización de defensa advirtió que no debemos creer que debemos elegir entre la adopción prudente o la innovación, ya que la responsabilidad del gobierno es maximizar ambas. 

Novedades y ámbitos de investigación ulteriores 

Desde el simposio, se han producido importantes avances en la regulación de la tecnología de IA. Nueva York promulgó la Ley SAFE for Kids, discutida anteriormente, un paso importante para proteger a los niños de los daños algorítmicos en línea. 

Otras jurisdicciones también han estado activas en los últimos meses. En mayo, Colorado promulgó la Ley de Inteligencia Artificial de Colorado, [14] que, al igual que la Ley de IA de la UE, impone obligaciones sobre el uso de herramientas de IA basadas en el riesgo de daño a los consumidores. En ese mismo mes, el Senado de EE. UU. emitió una hoja de ruta para la política de IA, que pide $ 32 mil millones en fondos para la innovación de IA y legislación para complementar las leyes existentes que se aplican a la tecnología de IA.[15] En julio, la Comisión Federal de Comercio, el Departamento de Justicia de Estados Unidos y las autoridades de competencia de la UE y el Reino Unido emitieron una declaración conjunta en la que esbozaban los principios para proteger la competencia en el ecosistema de la IA.[16]

Sin embargo, a medida que Nueva York se prepara para abordar los riesgos de la tecnología de IA, y en particular de la IA generativa, hay cuestiones que hay que estudiar y comprender más a fondo. Por ejemplo, varios oradores pidieron estándares de auditoría algorítmica, pero no hay consenso sobre el estándar apropiado ni sobre cómo se pueden adoptar los enfoques de auditoría utilizados para las herramientas tradicionales de IA para auditar modelos de IA generativa. Del mismo modo, no hay consenso sobre cómo desarrollar un marco sólido de marcas de agua para el contenido generado por IA. Dado que este tipo de cuestiones requieren conocimientos técnicos, sigue habiendo dudas sobre cómo garantizar que las personas adecuadas participen en la elaboración de dichas normas y marcos. 

Además, como se señaló anteriormente, existe desacuerdo sobre el marco adecuado para regular la tecnología de IA, incluido el nivel adecuado de centralización. La Procuraduría General está supervisando activamente la eficacia de diferentes marcos regulatorios, como la Ley de IA de la UE, para informar futuras propuestas legislativas y regulatorias.  

La Procuraduría General continuará escuchando y aprendiendo sobre esta tecnología en desarrollo y las formas apropiadas de fomentar la innovación mientras se protege a los neoyorquinos.