¿Utopía o distopía algorítmica?

En nuestra última entrada del blog dábamos noticia de la conversación iniciada en el blog Almacén de Derecho entre el profesor Huergo y el profesor Ponce en torno a la sentencia de la Audiencia Nacional del pasado 30 de abril en el caso BOSCO.

El diálogo ha continuado en los últimos días con dos entradas más. Una del profesor Huergo en respuesta al profesor Ponce titulada “Distopía y algoritmos». Otra del profesor Ponce en contestación a la misma: Utopía y Algoritmos – Almacén de Derecho (almacendederecho.org). 

Reproducimos a continuación esta última:

Utopía y Algoritmos
Juli Ponce Solé

Quiero dar las gracias a mi colega Alejandro Huergo tanto por su entrada de 10 de mayo pasado, “Por qué aciertan las sentencias sobre el bono social”, como por su respuesta a la mía, vinculada a aquella, “Por qué se equivocan las sentencias sobre el bono social”, respuesta que se incluye en su última entrada “Distopía y algoritmos”.

Como señala el profesor Huergo, los debates enriquecen, más si entre los participantes se encuentra un académico de su talla. Por ello, esta entrada mía, que va a ser la última al respecto en este blog, sólo pretende también clarificar algún aspecto de la conversación, que espero pueda proseguir en el futuro por otras vías propias del debate académico, como seminarios, artículos, etc, con mayor sosiego y profundidad. Creo que el tema lo merece y que, por ello, la conversación deberá también abrirse a otras voces y perspectivas.

En primer lugar, una aclaración y unas disculpas. En ningún momento pretendí afirmar que el profesor Huergo fuera un integrante de la corriente denominada del formalismo jurídico cuando señalé en mi entrada que “sólo desde una perspectiva formalista puede sostenerse que programas como Bosco son equivalentes a mecanismos puramente de apoyo, como calculadoras, por ejemplo, y que los mismos no inciden en la decisión final”. Aquí, la mención a la perspectiva formalista no lo era al ámbito jurídico, sino a un significado vulgar o cotidiano de formalista como relativo a la forma, esto es, a una perspectiva que da preeminencia a la configuración externa de algo frente a la esencia. 

Aquí, la esencia, como indicaba, es que el programa sí incide en la decisión final, en mi opinión. No era por tanto una descalificación genérica de la opinión del profesor Huergo, que sí me gusta, pese a que no esté de acuerdo, por el momento, con los argumentos que ha empleado. Si bien, no descarto que nuestra conversación pueda continuar en el futuro y me llegue a convencer de lo contrario… Por todo ello, si en algún momento se pudo inducir a entender otra cosa, pido las correspondientes disculpas.

Tampoco era una descalificación genérica, ni mucho menos, mi referencia al “sesgo cognitivo judicial de grupo”. En realidad, estaba haciendo referencia, como es sabido, a la existencia de un error al valorar de forma homogénea, sea positiva o negativa, las actitudes, actos y opiniones de las personas de un mismo grupo. En el ámbito de la prueba pericial, un sesgo estudiado de grupo se ha dado históricamente en el sentido de que los/las jueces y juezas de lo contencioso han valorado más positivamente de forma automática los informes periciales elaborados por funcionarios/as públicos/as, lo que afortunadamente está dejando paso a pronunciamientos del Tribunal Supremo en el sentido de negar ese mayor peso por sistema de pericias aportadas por la Administración controlada. En este sentido, es interesante la STS de 17 de febrero de 2022 (rec. 5631/2019), que incluye un pequeño y acertado manual sobre el peso de la prueba pericial, señalando como erróneo el mencionado sesgo de grupo, que, en mi opinión, es el que ha concurrido en la sentencia de la Audiencia Nacional de 30 de abril pasado que he comentado.

Aclarado este punto, conviene subrayar en lo que estamos de acuerdo. Por un lado, en que sería deseable para prevenir errores y tener que recurrir conocer el funcionamiento interno del programa BOSCO. Por otro, que nadie defiende errores que tienen un efecto múltiple porque se repiten con la aplicación del programa. Finalmente, en que existe una transformación necesaria y no menor para convertir la norma (es decir los artículos que regulan el bono social) en programa informático.

A partir de aquí, nuestros puntos de vista difieren. Yo no me considero especialmente distópico ni con tendencia a generar confusión generalizando indebidamente, simplemente es que en el aspecto que nos ocupa parece razonable poder mantener argumentos distintos. 

Así, es evidente que pueden existir diversos tipos de funciones a desplegar por los algoritmos y los datos que los nutren. Y también que existen diversos tipos de IA. La definición del art. 3 del Reglamento Europeo de 2024, cuya claridad es discutible, por cierto, lo es a los efectos de aplicación de este reglamento, como señalé, pero no implica la definición de lo que sea la IA. El informe de 2022 del Consejo de Estado francés sobre IA y Administraciones Públicas realizó una interesante aproximación al concepto, en el que, como señalan especialistas no jurídicos, se incluye tanto la basada en reglas (o simbólica, o determinista o GOFAI, Good Old-Fashioned AI) en desarrollo desde los años 50 del pasado siglo hasta los 90 (por ejemplo, un programa básico del juego de ajedrez), basado en razonamientos lógicos del tipo de inferencia  deductiva, basada en premisas que llevan a una conclusión (si a y b, entonces c), como la IA que con uso de la estadística para inferencias inductivas conduce a la AI de aprendizaje automático o profundo (machine learning o deep learning por ejemplo), un tipo de IA entrenada para absorber una gran cantidad de datos, encontrar patrones entre ellos y arrojar ciertas conclusiones basadas en el análisis. 

Precisamente, respecto a esta segunda IA, la estadística, teniendo en cuenta el estado actual de la técnica y en aplicación del principio de precaución, llevo sosteniendo desde 2019 que no debería permitírsele adoptar decisiones discrecionales totalmente automatizadas sin intervención humana debido a sus limitaciones actuales respecto a su ausencia de empatía y su incapacidad para desarrollar inducciones abductivas, entre otros aspectos, debiendo ser empleada sólo, en mi opinión, la cual se alinea con legislaciones como la alemana o la catalana, para la asistencia al humano en la toma de su decisión discrecional.

Pero más allá de las denominaciones, lo cierto es que programas como BOSCO, que como dije parecen tomar decisiones automatizadas sin supervisión humana, pueden generar una mala administración sistémica, repetida cientos, miles de veces… el hecho de que se pueda saber sin acceder al código fuente la corrección o incorrección de cada resultado informático, dado que estaríamos ante una potestad totalmente reglada, ¿es una razón de peso para impedir que organizaciones como CIVIO, de claro interés social, pueda tener acceso al código fuente, detectar la existencia de errores y contribuir a poner fin a la mala administración sistémica y a cientos o miles de posibles recursos futuros con la posible responsabilidad patrimonial asociada?

Por otro lado, ¿realmente va a suponer una paralización de la actividad administrativa aplicar la necesaria participación pública en la elaboración de los algoritmos (que actúan como reglas de aplicación futuras)? ¿De verdad el acceso al código fuente, cuando se pida, va a ir en detrimento de la eficacia administrativa? ¿Tiene sentido contraponer eficacia administrativa a participación y transparencia, esto es al gobierno abierto? ¿Es posible aceptar que la Administración pública decida conforme a un código informático que es la ley sin que éste sea objeto de publicidad? En espera de una posible regulación futura específica, ¿podemos excepcionar a esta codificación en lenguaje informático de las exigencias de participación y publicidad propias de las normas reglamentarias o, ni que sea, de los actos administrativos dirigidos a una pluralidad indeterminada de personas?

Por otro lado, en el debate abierto sobre la rigidez del planeamiento urbanístico y su invalidez, que mi colega emplea como ejemplo comparable, a nadie se le ha ocurrido cuestionar la necesidad de trámites participativos ni el derecho de acceso a la información, sino que la cuestión gira sobre la trascendencia que hayan de tener los vicios procedimentales (o como se suele decir en España, “formales”). E incluso en este aspecto, habrá que tener cuidado con la solución normativa final que se adopte, dada la tendencia española, puesta de relieve por el profesor García de Enterría, de menospreciar el procedimiento de adopción de decisiones (también algorítmicas, añadimos nosotros), en el que el Derecho administrativo, en sus palabras, “viene a ser, como se decía en nuestra época clásica, el pecador arrepentido que había fundado un hospicio para acoger a los pobres que él mismo había despojado previamente, parece preferible que ese despojo previo no se produzca, aunque la generosidad posterior tenga luego menos ocasión de lucirse”.

Yo sí comentaba en mi entrada anterior los argumentos empleados por las dos sentencias en relación con la propiedad intelectual y los riesgos para la ciberseguridad, porque me parecían claves y equivocados. Sobre el segundo, ya quedó clara mi postura respecto al sesgo judicial, antes comentado, al aceptarse judicialmente acríticamente un informe administrativo puramente formal y exagerado sobre todos los riesgos apocalípticos que podría generar dar acceso al código fuente. 

En cuanto a la propiedad intelectual, no me parece acertado, por muy gráfico que pueda parecer, comparar la propiedad intelectual de una editorial de libros o de una base de datos, ambas de propiedad privada y con ánimo de lucro, que recogen normas jurídicas éstas sí ya previamente publicadas en diarios oficiales, publicidad conquistada desde la ilustración y requisito actual de su eficacia, con la codificación en lenguaje informático realizado por un poder público, que, sin publicidad de ningún tipo, pasa a ser regla futura de aplicación para todos.

Por eso, sigue pareciéndome de aplicación el art. 13 mencionado de la ley de propiedad intelectual, que excepciona de ésta “las disposiciones legales o reglamentarias y sus correspondientes proyectos, las resoluciones de los órganos jurisdiccionales y los actos, acuerdos, deliberaciones y dictámenes de los organismos públicos, así como las traducciones oficiales de todos los textos anteriores”.

En fin, gracias a los avances de las últimas décadas de las aportaciones conductuales, de la mano entre otros del premio Nobel Daniel Kahneman, recientemente fallecido, sabemos mucho sobre los sesgos cognitivos de los humanos, esos errores sistemáticos predecibles, incluidos los gestores públicos y los programadores. Entre ellos, por cierto, el sesgo de automatización, esto es, la confianza excesiva en las decisiones de las máquinas que arrastra al decisor humano a dar por bueno lo decidido por éstas, cada vez mejor estudiado entre nosotros en relación a sistemas que ya están siendo empleados por las Administraciones Públicas en España. En ese sentido, es evidente que no es correcto hablar de sanciones impuestas automáticamente en función de una fotografía y que el presunto infractor siempre puede alegar, desde luego, pero no lo es menos que frente a la falacia del falso dilema entre sistemas algorítmicos y analógicos es posible pretender una tercera vía posible: sistemas algorítmicos que hayan seguido un procedimiento de aprobación y de control de errores adecuado, con la debida participación y transparencia y con una adecuada supervisión humana (art. 14 del nuevo reglamento europeo) que nos evite a los ciudadanos tener que alegar y recurrir frente a errores.

Pero, por otro lado, también sabemos cada vez más sobre los sesgos de los algoritmos, sesgos que pueden proceder de los propios programadores humanos o de los datos manejados por el sistema, por ejemplo, una cuestión que le preocupa al nuevo Reglamento europeo sobre IA (art. 10 por ejemplo).

En consecuencia, el debate entre supuestos algoritmos eficaces, objetivos e imparciales en todo caso y supuestos humanos limitados y sesgados siempre es falso: los primeros pueden sufrir no sólo de errores, sino de alucinaciones y sesgos; los segundos aportan una capacidad típica y únicamente humana de decisión basada en el uso de la empatía, la realización de abducciones y el sentido común sobre cómo funciona el mundo, fuera del alcance de la IA estrecha actual. La clave está en cuanto de máquina y cuánto de humano se unen en cada caso para garantizar la buena administración. 

El programa BOSCO sí es un problema muy grave para muchas personas vulnerables que no van a recurrir las denegaciones del bono social basadas en un sistema (posiblemente) erróneo. De nuevo, en la falsa alternativa a la infradotación existente de personal administrativo, aspecto también de coincidencia, no es aceptar utópicamente un nuevo mundo de máquinas, ni negar tampoco distópicamente su utilidad, sino en establecer los procedimientos administrativos adecuados con la transparencia, participación y justificación suficientes para evitar la arbitrariedad, tanto la humana como la no humana. 

La regulación española existente en la actualidad en este ámbito es insuficiente y dispersa (así, por ejemplo, art. 41 Ley 40/2015, de 1 de octubre, LRJSP) y podemos y debemos mejorarla, en beneficio de todos. Pero, mientras tanto, realmente, ¿por qué impedir a CIVIO el acceso al código fuente de BOSCO? ¿Qué perjuicio real puede causarse a los intereses generales? ¿Por qué insistir en la opacidad? ¿Por qué no abrir el código fuente y rectificar lo que sea preciso? ¿Por qué obligar a CIVIO a recurrir judicialmente, hasta tres veces, y a otras a muchas personas sin recursos en el futuro para solucionar caso a caso una posible mala administración algorítmica sistémica que puede detectarse y solucionarse de manera global de una vez? 

Como es sabido, el Dr. Pangloss de la novela Cándido de Voltaire creía que vivía en el mejor de los mundos posibles. En cambio, Unamuno avanzó en 1913 cómo podría ser una sociedad distópica de máquinas en su obra Mecanópolis…En todo caso, de cara a futuras (y necesarias) regulaciones de la IA en España deberá hacerse un esfuerzo para aunar lo mejor de lo humano con lo mejor de la IA, para evitar así lo opuesto e indeseable: conjugar lo peor de ambos mundos. 

Seguro que en esa tarea nos encontraremos todos los humanos, incluidos los profesores de Derecho administrativo, unidos.