After more than 2 years of GenAI hype (or GenAI doomism, depending on your intellectual bent), you may be feeling the need for a grounded analysis of the implications of artificial intelligence for society. “AI Snake Oil: What AI Can Do, What It Can't, and How to Tell the Difference", by Arvind Narayanan, professor of computer science at Princeton, and Sayash Kapoor, PhD candidate at the same institution, is a timely book that fills that gap. As many others do, the book explains the capabilities and risks of current AI technologies. But its novelty comes from unmasking the many times exaggerated, and sometimes plainly deceptive, claims of AI companies regarding those capabilities. These practices, innocently or negligently spread by the media, are the “Snake Oil” that the authors want to unmask.

The authors focus on 3 technologies: Predictive AI, Generative AI and Content Moderation technologies, but the most interesting section was the authors’ analysis of Predictive AI.

The Doom of Predictive AI

Predictive AI’s inherent limitations, the authors’ argue, make it likely to fail to automate decision-making: “predictive AI not only does not work but will likely never work, because of the inherent difficulties in predicting human behavior”. Some of the reasons for this failure can be attributed to the specific way machine learning models are created and deployed. For example, trained on past hospitalization history of an institution, a machine learning model could correctly predict that asthmatic patients with symptoms of pneumonia are at a lower risk of serious pneumonia or death but could totally miss that the reason for such lower risk is that asthmatic patients with symptoms of pneumonia are sent directly to the ICU to avoid complications and hence receive better treatment. Deploying such a model to decide when a patient should be hospitalized would have catastrophic effects in spite of being “correct” in the actual risk of patients based on the data. “AI can make good predictions if nothing else changes” but the world, of course, is constantly changing. There’s no clear path for Predictive AI to surpass this inherent limitation.

When predicting social behavior, additional difficulties arise from the fact that we lack theories to determine the limits of our predictions. In physics, we know that the laws of thermodynamics do not allow us to predict the behavior of individual atoms. Trying to make such predictions would only generate errors; we know the limits of such laws because we know that those errors are “irreducible”. It’s not the same with the theories that explain social behavior. Those theories are not as developed so we don’t really know their limits. Just as with the laws of thermodynamics, there may be “irreducible errors” in their predictions of social behaviors, but we don’t know them yet. And no machine learning model can be sufficiently accurate for important human decisions without a deep understanding of such limits.

Other practical reasons explain why Predictive AI fails: It doesn’t adequately deal with people behaving strategically to game AI systems (a challenge shared by content moderation technologies); it requires permanent human oversight but many systems are deployed without offering any recourse to the subjects of the decision (over-automation); training data will many times come from a different population than the one the model is used on; it can create inequality by using proxies that are based on economic or business incentives instead of measuring the actual data; and vicious feedback loops that derail accuracy.

These are all cogent arguments, but claiming Predictive AI is a failure seems a bit extreme. If the expectation were that the inherent limitations of Predictive AI prevent us from automating all decisions, then yes, Predictive AI is a failure, but beyond that all-or-nothing premise there’s ample room for using these technologies. Even when not accurate, predictions could be very useful in many situations where, for example, great accuracy is not needed, where social behavior is not involved or is involved but no fundamental right is at stake, or when information is so scarce that predictions slightly better than chance are still helpful. These predictions may allow for better decisions even with its inherent limitations. Current regulatory approaches that classify uses according to levels of risk and impose measures only to the levels of high risk suggest that Predictive AI has productive applications beyond the concerns of the “Snake Oil” claims.

A Recount on Gen AI and the Ladder of Generality

Narayanan and Kapoor move to Generative AI next. They offer a nice recount of the history and some of the technical properties of GenAI. If you’re not familiar with any of this, you’ll find their explanations about vectors, tokens and transformers highly readable and useful. And even if you’re familiar with these ideas, you might find some nice insights, such as how ImageNet helped build the current practices for developing AI or how the Google Photos-Gorillas issue1 has not been really solved yet (!).

Besides this helpful overview, one of the main warnings that Narayanan and Kapoor give us about the discussions brought by Generative AI is against thinking that the main issue to address right now is the “existential threat” of AI or the “catastrophic risks” “Artificial General Intelligence”. The authors argue that “We don’t think AI can be separated into “general” and “not general”. Instead, the history of AI reveals a gradual increase in generality”. AI challenges are better understood through a “ladder of generality” framework that goes from special-purpose hardware in the “floor” through 6 rings of generality all the way to “instruction-tuned models”. This ladder can help us prioritize; we can use real-world data and experiences to defend ourselves from “specific threats” (e.g. cybersecurity and product safety) instead of regulating “existential threats”, that are not likely to being substantial in the near future2. The authors also suggest that this approach will be more fruitful than “alignment” efforts, that is, efforts to align technologies to our values so that they don’t help bad actors.

AI for content moderation

For content moderation technologies the analysis is less pessimistic than for Predictive AI but the authors also highlight some inherent difficulties: (i) Content moderation is heavily dependent on context, and AI’s inability to discern that context creates a major limitation for its use in this realm; (ii) Content moderation is also inherently political and dependent on how the world changes;(iii) Some content becomes harmful only in the aggregate, away from the reach of content moderation technologies that review individual posts; (iv) Humans change perception constantly and perceptions vary across borders; (v) communities constantly create their own slangs to prevent outsiders understanding public communications, making it harder for AI to moderate such content, especially because many times members of these communicates intentionally use such language to circumvent content moderation technologies.

The book ends with a reflection of why it is important to fight against these myths. AI’s impact in the world is still up for grabs but, if we don’t do something about it, the grimmest world, one where AI takes over the content of the world unchecked, is the most probable one. So the authors have a call to action to all of us: “We hope it is clear that vastly different futures are possible when it comes to the role of AI in society…we are not okay with leaving the future of AI to the people currently in charge… There is a role for everyone in shaping the future of AI and its role in society. We are playing our small part by writing this book and a newsletter. Join us”.

Snake Oil is a great book for the general reader with no previous technical background on AI or the societal issues that it brings. You won’t find detailed analysis of these issues in the book but this is not a flaw; it’s a feature. Even if you are familiar with these issues and are looking for a deeper analysis, this book may serve as a lens to better see the context and find where to go next.

Las Circulares no cumplen su cometido de lograr “certidumbre” para los administradores de datos personales y “seguridad” para los Titulares; por el contrario, los lineamientos dejan más dudas que respuestas. Estas imprecisiones son las que merecen la mayor atención. La más preocupante de ellas se encuentra, no en las instrucciones, sino en el comentario final de la Circular 003. La Superintendencia dice que los administradores serán corresponsables del tratamiento de la persona jurídica cuando “en conjunto con la persona jurídica determinen, respecto de unas operaciones de tratamiento específicas, los fines o los medios sobre la base de datos y/o el tratamiento de los datos”. Como bien lo anota Andrés Ángel en su reciente artículo en LinkedIn1, la Superintendencia parece parafrasear el concepto de corresponsabilidad del Reglamento General de Protección de Datos Personales de la Unión Europea, pero al hacerlo omite que el Comité Europeo de Protección de Datos, en su Opinión 7 de 2020, aclaró que (i) el tratamiento hecho por los empleados de una persona jurídica se presume realizado “bajo el control de dicha organización” (es decir, la persona jurídica se mantiene como responsable y no el empleado; y (ii) que el empleado se hace responsable sólo cuando éste use los datos para sus propios fines y extralimitándose en sus funciones de manera ilícita2. 

Además, la legalidad del alcance de los lineamientos fijados por vía de las Circulares no es clara. La corresponsabilidad de los administradores societarios implica la aplicación de todas las reglas aplicables a los responsables, incluido, por ejemplo, el régimen sancionatorio. ¿Puede una circular administrativa extender la aplicación de un régimen sancionatorio a quien no fue dirigido en la ley? Esa pregunta es sustancial y no es respondida.

La segunda imprecisión tampoco está en las instrucciones sino en las consideraciones de la Circular 002 sobre el entrenamiento de sistemas de IA. Después de recordar el principio de responsabilidad demostrada, la SIC trae a colación el ya conocido concepto de “privacidad desde el diseño y por defecto” para decir que “esto implica que en el momento de hacer analítica de datos para entrenar una máquina con inteligencia artificial se deberán aplicar técnicas matemáticas que impidan identificar a la persona que proporciona la información. Con esto se busca prevenir niveles de riesgo no aceptables, por su impacto al vulnerar el consentimiento de los Titulares… el debido Tratamiento de la información debe ser un componente esencial del diseño y puesta en marcha de proyectos de IA”. Múltiples dudas surgen inmediatamente. ¿Sólo las técnicas matemáticas son medidas efectivas para proteger los datos? Eso no se desprende necesariamente del principio de privacidad desde el diseño y por defecto. Más grave aún, ¿Está diciendo la Superintendencia que todo entrenamiento de sistemas de IA supone impedir “identificar a la persona que proporciona la información”? ¿En qué momento? ¿Al momento de entrenar el sistema, en la entrada de los datos? ¿O en sus resultados? En cualquier caso, es una afirmación confusa que desconoce que existen muchos usos de sistemas de IA que no requieren anonimización o pseudonimización pues tratan datos personales. Incluso si así debiera interpretarse, esa afirmación no tiene sustento normativo, pues estas medidas técnicas no están impuesta como una obligación general y explícita en la regulación colombiana.

Pero entonces cabría preguntarse: ¿Está hablando únicamente la SIC del entrenamiento de sistemas de IA a través del raspado de datos (scraping) de Internet? O, lo que sería más grave aún, cómo está interpretando los principios de autorización y finalidad en el contexto del entrenamiento de sistemas de IA? Y qué decir de la necesidad de los sistemas de IA de ser reentrenados de manera permanente para su mejoramiento? Finalmente, debe destacarse que la privacidad desde el diseño y por defecto no necesariamente implica que los datos tengan que ser anónimos o seudónimos, ni mucho menos que lo tengan que ser en todo momento, como parece insinuar la SIC. Este principio es tan sólo un principio orientador en el diseño de sistemas que tratan datos personales, pero no es ni un estándar que esté formalizado ni un principio del que se desprendan obligaciones concretas en cuanto a la anonimización de los datos.

Las Circulares son también vagas en varios de los lineamientos. La novedad más importante de la Circular 002 tal vez sea la “obligatoriedad” de los estudios de impacto de privacidad para ciertos sistemas de IA. Esta figura, traída de la normativa europea3, fue introducida en Colombia por la Superintendencia formalmente como una recomendación en la Guía Para la Implementación del Principio de Responsabilidad Demostrada para Transferencias Internacionales de la Superintendencia de 2019 y 20214 y desde entonces se ha incluido en múltiples documentos como una recomendación general para responsables y encargados5. La Circular 003 así lo hace también6. Sin embargo, la Circular 002, en su instrucción IV, establece que “será necesario” realizar estos estudios para desarrollos de IA en los que sea “probable que los productos realizados… entrañen un alto riesgo de afectación a los Titulares” y establece su contenido específico como obligatorio. Pero el alcance de la obligación es difícil de concretar, al no definir términos fundamentales como “probable”, no  calificar dicha probabilidad y hablar de “riesgo de afectación” en lugar de “daño”. Finalmente, la SIC habla de “productos realizados” sin aclarar si se trata del fabricante del modelo o de quien lo está entrenando para fines propios, entre otros. La complejidad de estas definiciones, por su amplio impacto en lo que será la normativa de la IA en el país, no debe surgir de una circular administrativa.

Un segundo ejemplo de vaguedad es el comentario de la Circular 002 en el que señala que los datos públicos no son recursos públicos. Las implicaciones de este comentario están aun por definirse, pues el alcance de lo que puede ser usado o no para el entrenamiento de sistemas no ha sido claramente definido. 

Un tercer ejemplo es la instrucción II de la Circular 002 establece que si hay “falta de certeza” sobre los “potenciales daños que puede causar el Tratamiento de Datos personales”, los administradores de datos personales “deberán abstenerse de realizar dicho tratamiento (…) o adoptar medidas precautorias o preventivas para proteger los derechos del Titular del dato, su dignidad y otros derechos humanos”. ¿Qué significa que haya “falta de certeza” sobre los “potenciales daños”? ¿No es siempre ese el caso cuando se trata de un proyecto de IA que trata datos personales? La cuestión sería más preocupante si no fuera porque la consecuencia para la Superintendencia de esa falta de certeza es algo ya dispuesto en las normas y conocido por todos, a saber, la necesidad de tomar medidas preventivas para proteger los derechos del Titular del dato.

En cualquier caso, son pocas las novedades que traen las Circulares. La Circular 002 da 10 instrucciones a los ciudadanos para el uso de datos personales en sistemas de inteligencia artificial. De ellas, 3 (las instrucciones V, VII y VIII) son copias literales o parafraseos de artículos de la ley 1581 de 2012, y 4 son reiteraciones de pronunciamientos anteriores de la SIC, como los hechos en la Guía de Responsabilidad Demostrada (Instrucciones I, II y III y IX) y en pronunciamientos anteriores. Con excepción de la instrucción IV, lo mismo hace la Circular 003 en sus instrucciones. Creemos que la Superintendencia perdió una gran oportunidad de dar pautas más amplias para el desarrollo de proyectos de IA. Extrañamos, por ejemplo, referencias a la interpretación del principio de finalidad y los usos compatibles.

 Un comentario final sobre la estrechez del ámbito de aplicación de las Circulares. No cabe duda de que la Inteligencia Artificial ha capturado la atención del público y de los medios de comunicación en los últimos dos años, pero lo cierto es que buena parte, si no todas, las instrucciones impartidas por la Superintendencia deberían de aplicarse a otras tecnologías, procesos y disciplinas que se usan para procesar masivamente datos personales. Basta sólo mencionar que las técnicas común y genéricamente denominadas como Big Data, precursoras de la IA, llevan en el mercado más de 20 años. ¿Por qué limitarla a los proyectos de IA?