Gary Marcus pidió retirar temporalmente del mercado los agentes de Inteligencia Artificial que pueden actuar sin restricciones hasta resolver sus problemas de seguridad. En una entrevista con el divulgador español Gustavo Entrala, advirtió que dar acceso a Internet y capacidad de ejecutar acciones a sistemas poco fiables amplifica las consecuencias de sus errores.
“Los agentes de IA son tan peligrosos porque tomas una tecnología que es intrínsecamente poco fiable, la IA generativa, y le das demasiado poder”, afirmó, comparando a los agentes con autos sin frenos. Por eso planteó retirarlos y corregirlos antes de volver a ofrecerlos.
El científico cognitivo y profesor emérito de Psicología y Neurociencia de la Universidad de Nueva York también cuestionó la influencia de los chatbots sobre las personas, el aprendizaje escolar y la sostenibilidad del negocio.
La conversación, compartida al final de este texto, reúne sus objeciones técnicas con propuestas de supervisión y aplicaciones que sí considera valiosas.
Gary Marcus, del traductor de latín a la crítica de la IA
La relación de Gary Marcus con la computación comenzó en la adolescencia, cuando programó un traductor del latín al inglés que contribuyó a su ingreso a la universidad a los 16 años. Marcus estudió ciencia cognitiva en Hampshire College y obtuvo su doctorado en 1993 en el MIT (Massachusetts Institute of Technology, Instituto Tecnológico de Massachusetts), bajo la dirección del psicólogo Steven Pinker.
En 2014 cofundó Geometric Intelligence, una empresa de aprendizaje automático que Uber compró en 2016. Más adelante cofundó Robust.AI, dedicada a la robótica. Su experiencia empresarial se sumó a investigaciones sobre el lenguaje, las reglas y las diferencias entre el aprendizaje humano y los modelos computacionales.
En su libro The Algebraic Mind, de 2001, defendió combinar redes neuronales con operaciones sobre símbolos y reglas. En 2018 publicó 10 objeciones al aprendizaje profundo, aunque reconoció sus avances en voz, imágenes y juegos. Rebooting AI, escrito con Ernest Davis en 2019, desarrolló su búsqueda de sistemas confiables.
En 2024 publicó Taming Silicon Valley, donde trasladó esa discusión a la responsabilidad empresarial.
Agentes sin restricciones, influencia de los chatbots y riesgos del negocio
Ante Entrala, Marcus sostuvo que los grandes modelos de lenguaje tienen usos, pero necesitan complementos para alcanzar mayor fiabilidad. Defendió sistemas híbridos que combinen generación de respuestas con reglas y mecanismos de comprobación. Cuestionó, además, que las empresas expliquen cada vez menos su funcionamiento y atribuyan los avances únicamente al crecimiento de las redes neuronales.
Sobre las respuestas de los chatbots, reconoció que pueden acertar cuando disponen de abundante información sobre un asunto, pero advirtió que eso no garantiza precisión ante preguntas diferentes. “Si la respuesta importa de verdad, debes comprobarla”, dijo, y vinculó esa cautela con el deterioro que percibe en la web por la proliferación de contenido falso.
Su preocupación también apunta al uso de chatbots para decisiones personales. Advirtió que pueden influir de manera sutil en las creencias de sus usuarios y que la información acumulada en las conversaciones aumenta ese poder. Situó la manipulación y la desinformación entre sus principales temores sociales, junto con las posibles catástrofes derivadas de sistemas sin controles suficientes.
Para los agentes sin restricciones propuso una retirada voluntaria y, si las empresas no actúan, la intervención de autoridades. Reclamó una evaluación previa inspirada en la FDA (Food and Drug Administration, Administración de Alimentos y Medicamentos de EEUU), que sopese beneficios y riesgos. Añadió auditorías independientes e informes oportunos sobre incidentes. Ya planteó revisión de seguridad y riesgos de automatización ante el Senado de EEUU en 2023.
En educación, cuestionó que niños y adolescentes utilicen ChatGPT como una muleta antes de adquirir las habilidades que necesitan para evaluar sus respuestas. En empleo describió el “problema del relevo”. Su argumento es que reducir las oportunidades para programadores principiantes dificulta formar a los especialistas experimentados que después deberán revisar y corregir sistemas.
Su análisis económico relacionó los elevados costos de cómputo con productos que, a su juicio, se parecen demasiado y compiten mediante rebajas de precios. Cuestionó las valoraciones de OpenAI y Anthropic y sostuvo que la burbuja ya comenzó a desinflarse. En la misma conversación reconoció que no puede determinar cuándo se producirá un cambio definitivo, porque depende también de la psicología de los inversionistas.
Como alternativa, pidió concentrar más esfuerzos en ciencia y medicina, con sistemas especializados en tareas concretas, y mencionó a AlphaFold como ejemplo de una aplicación que valora.
Fuentes
Gustavo Entrala, entrevista completa a Gary Marcus
MIT, tesis doctoral de Gary Marcus
Gary Marcus, Deep Learning: A Critical Appraisal
Penguin Random House, Rebooting AI
MIT Press, Taming Silicon Valley
