Los pasados días 10 y 13 de mayo los profesores Huergo y Ponce publicaron sendos artículos en el blog Almacen de Derecho comentando la reciente sentencia de la Audiencia Nacional de 30 de abril de 2024 sobre el llamado caso Bosco.
La sentencia puede leerse aquí por cortesía de CIVIO: Env_24035_002_A-2-2 – DocumentCloud
El artículo del profesor Huergo se puede leer aquÍ: Por qué aciertan las sentencias sobre el ‘algoritmo’ del bono social eléctrico – Almacén de Derecho (almacendederecho.org)
Y el del profesor Ponce aquí: Por qué se equivocan las sentencias sobre el algoritmo del bono social eléctrico – Almacén de Derecho (almacendederecho.org) Y también en el texto que a continuación se incluye, que refleja el contenido original del mismo:
Por qué se equivocan las sentencias sobre el “algoritmo” del bono social eléctrico: a propósito de la sentencia de la Audiencia Nacional de 30 de abril de 2024, núm. de rec. 51/2022, sobre el caso BOSCO.
Juli Ponce Solé
Catedrático de Derecho Administrativo
La enorme capacidad de la IA, mediante la combinación de algoritmos y Big Data conlleva también grandes riesgos de que si el sistema funciona inadecuadamente su impacto negativo sea a gran escala, mucho mayor que la supondría una mala administración humana. Es por ello por lo que se ha hablado en sendos importantes libros de la existencia de armas de destrucción matemáticas, capaces de automatizar la desigualdad, el primero, obra de O´NEIL, C., en 2018 y el segundo de EUBANKS, en 2021.
Así, si estos sistemas funcionan erróneamente, por ejemplo, por una programación inadecuada que incorpore errores – llamados bugs, parece ser que en honor de una polilla que en 1947 se coló en el sistema de un computador de la Universidad de Harvard, denominado Mark II – lo que es muy frecuente, y, señalan los especialistas, prácticamente inevitable, cuando se trata de miles y miles de líneas de código, el error puede extenderse afectando a muchísimas personas y en ocasiones con consecuencias dramáticas, como es el caso de importantes accidentes con coste de vidas humanas producidos en el ámbito de la aviación, los viajes espaciales o el uso de la radiación con fines sanitarios, entre otros supuestos.
Son así bien conocidos casos como, por ejemplo, los de Robodebt en Australia, Affelnet en Francia “Post Office” en el Reino Unido, que ha dado incluso lugar a una serie de televisión, ‘Mr. Bates vs the Post Office’ de la cadena ITV, todos ellos con resoluciones judiciales al respecto, que demuestran como los errores de programación pueden generar impactos sociales importantes con efectos jurídicos.
También pueden existir otro tipo de errores, en relación con la utilización de IA para hacer cumplir las obligaciones establecidas en zonas de bajas emisiones por diversos municipios. Así, se han impuesto sanciones administrativas basadas en información proporcionada por sistema que han cometido notables errores, al tratarse de vehículos que en realidad no circulaban, sino que iban cargados en una grúa camino del taller mecánico, pero el sistema no era capaz de discernir la diferencia. Véase a continuación la fotografía que fundamentó una de estas sanciones erróneas:
Estos errores no pueden asimilarse a los errores actualmente regulados en el art. 109. 2 LPAC, que indica que “Las Administraciones Públicas podrán, asimismo, rectificar en cualquier momento, de oficio o a instancia de los interesados, los errores materiales, de hecho o aritméticos existentes en sus actos”. No se trata de errores puramente materiales, de hecho o aritméticos: este tipo de errores producidos por la IA provocan un mal funcionamiento del sistema, una mala administración en este caso, que puede violar derechos de múltiples, miles, ciudadanos y conducir a la ilegalidad de todas las decisiones adoptadas con ellos y a la correspondiente responsabilidad patrimonial.
Está aún por elaborar una reflexión detenida entre nosotros sobre la relevancia jurídica de los errores en la IA, cuya prevención es, pues, de la mayor importancia. Errores aludidos, por cierto, en la STJUE de 6 de octubre de 2021, Top Systems c. Estado Belga (asunto C-13/20).
En todos estos supuesto, se produce un tipo específico de mala administración, una mala administración que puede denominarse sistémica: aquel supuesto de violación administrativa de la legalidad que tiene unas características (la conducta es recurrente o frecuente, es conocida o aceptada dentro de una administración, la mala administración está integrada en la estructura, las políticas o las prácticas de una administración…), frente a la cual podrían y deberían desplegarse medidas especiales, tanto por parte de órganos de control jurídico no judicial y de la jurisdicción contenciosa, para evitar la repetición ad infinitum de la violación del ordenamiento jurídico.
Pues bien, junto a los casos internacionales descritos de errores de programación, se ha suscitado en España un caso equivalente, el denominado caso Bosco, que ha sido objeto de dos sentencias de 2021 y 2024, en mi opinión equivocadas, por las razones que voy a exponer.
Los antecedentes de las decisiones judiciales, que más allá del caso español plantea cuestiones debatidas a nivel internacional, muy brevemente explicados, son los siguientes. De acuerdo con la Directiva 2009/72/CE del Parlamento Europeo y del Consejo, de 13 de julio de 2009, sobre normas comunes para el mercado interior de la electricidad (art. 3.2), el parlamento español aprobó una ley en la que se prevé la concesión de un bono social (Ley 24/2013, de 26 de diciembre, del Sector Eléctrico, art. 45, modificado diversas veces y desarrollado por diversos reglamentos posteriores, recogidos en la sentencia que comentaremos, que ha dado lugar a una alta litigiosidad). Este bono es una prestación de carácter social destinada a proteger a determinados consumidores con específicas circunstancias personales y de bajos ingresos (“los consumidores vulnerables”) consistente en aplicar un descuento en el precio de la electricidad consumida en su vivienda habitual, para evitar que sufran la denominada pobreza energética, que afecta a muchos ciudadanos europeos.
La Fundación Civio, una fundación privada comprometida con la transparencia y el buen gobierno en España detectó que la falta de información desde la administración y la complejidad del proceso tenían como consecuencia que miles de personas no se estaban acogiendo al nuevo modelo a tiempo. La fundación Civio denunció este hecho y a la vez creó su propia aplicación informática para ayudar a colectivos vulnerables a pedir las ayudas. Decenas de ayuntamientos, organizaciones sociales, colectivos y medios la insertaron en su web, llegando a muchos miles de personas.
El uso de esa aplicación de Civio puso de relieve que algo no funcionaba bien: utilizada la aplicación de Civio y el programa Bosco a la vez, los resultados no eran idénticos, denegando el segundo solicitudes de personas que tenían derecho al bono social, de acuerdo con la regulación vigente. La Fundación Civio colaboró entonces con el Gobierno para intentar paliar los problemas detectados y solicitó en 2018 acceso al código fuente de BOSCO, de acuerdo con la legislación española de transparencia, porque había indicios de errores en su configuración que impedían la aplicación correcta de la legislación.
La Fundación no obtuvo respuesta de la Administración española. Ante este silencio administrativo, la Fundación usando de nuevo la legislación de transparencia española acudió ese mismo año al Consejo de Transparencia y Buen Gobierno, organismo administrativo creado exprofeso para la protección del derecho de acceso a la información.
El Consejo dio la razón parcialmente a Civio en 2019 y obligó a la Administración a conceder acceso a la especificación técnica de dicha aplicación, al resultado de las pruebas realizadas para comprobar que la aplicación BOSCO cumple la especificación funcional y cualquier otro elemento que permitiera conocer el funcionamiento de la aplicación.
Sin embargo, denegó el acceso al código fuente, puesto que el Consejo consideró que era de aplicación el límite contenido en el artículo 14.1 letra j) de la legislación española de transparencia, relativo a la propiedad intelectual.
Civio decidió entonces acudir a la vía judicial.
Hay que subrayar que las cuestiones debatidas judicialmente se han limitado, hasta el momento, como vamos a ver, a la cuestión del acceso al código fuente y la aplicación de la legislación de transparencia. Pero BOSCO, en concreto, y el uso de sistemas algorítmicos, en general, presenta otros problemas muy relevantes. Así, las sentencias no abordan cuestiones como:
- Que en el inicio del caso que ha dado lugar a las sentencias surgió el auténtico problema de fondo sobre los posibles errores del programa. Es este un tema relevante, por cuanto es posible y necesario avanzar en la detección y evitación de posibles errores en los sistemas algorítmicos, para evitar problemas como los generados por BOSCO.
- Además, la Administración parece que aprobó el sistema algorítmico sin previa participación ciudadana ni publicidad de ningún tipo, lo que no es aceptable, se considere el sistema algorítmico fuente del Derecho o no, (siendo este caso uno de los supuestos encajables en la primera opción, de acuerdo con lo que se va a argumentar luego).
- Tampoco se considera el hecho de que las decisiones reglamentarias que diseñaron el procedimiento administrativo para conceder o denegar el bono social dieron un protagonismo aparentemente excesivo a las empresas privadas del sector (llamadas comercializadores de referencia), lo que parece conducir a una privatización de la actividad procedimental administrativa, al encargar a éstos, con un simple reglamento, el desarrollo de funciones administrativas como comprobar, denegar o aprobar y notificar. Ello violaría la imposibilidad de atribuir potestades administrativas a privados (recogida en la legislación española referida al Estatuto Básico del Empleado Público, art. 9.2) y de privatizar de este modo procedimientos administrativos, lo que ha sido declarado contrario a Derecho por el Tribunal Supremo español (STS 14 de septiembre de 2020).
- Por otro lado, las sentencias comentadas parecen cometer un error de interpretación de los hechos, pues, pese a lo que afirma, parece ser que no hay persona funcionaria que tome la decisión final, porque se trata de una decisión automatizada, adoptada por el programa denominado BOSCO empleado por la Administración estatal española. En la distinción entre algoritmos estadísticos que dan lugar a una inteligencia artificial no simbólica o conexionista (machine learning, deep learning) y algoritmos basados en reglas (rule-based), que dan lugar a una inteligencia artificial simbólica, BOSCO se sitúa en el segundo caso, lo que no impide hablar también en su caso de inteligencia artificial. De hecho, una lectura del art. 3 del Reglamento de la Unión Europea aprobado el pasado 14 de marzo por el Parlamento permite incluir este tipo de sistemas de IA en el ámbito de aplicación del Reglamento, aunque ello sea indiferente a los efectos del control judicial de su posible violación del ordenamiento jurídico vigente.
En cualquier caso, todo lo que se afirme en torno al programa Bosco se ha de hacer siempre con la máxima prudencia, porque, precisamente, la opacidad del sistema no ha permitido tras dos sentencias saber con exactitud cómo funciona exactamente.
Pues bien, las dos sentencias recaídas aludidas son las siguientes: la sentencia de 30 de diciembre de 2021 del Juzgado Central de lo Contencioso-Administrativo núm. 8, que fue la primera decisión judicial, salvo error u omisión, en relación con un sistema algorítmico, y la sentencia de la Audiencia Nacional de 30 de abril de 2024, núm. de rec. 51/2022, que resuelve el recurso de apelación contra la primera.
A continuación, comentaremos brevemente ambas sentencias (a y b) para terminar con algunas reflexiones finales (c).
a) En 2019 Civio presentó una demanda solicitando el acceso al código fuente de BOSCO. La mencionada sentencia de 30 de diciembre de 2021 resolvió dicha petición, denegándola.
Las alegaciones de Civio se centraron en la violación del principio de interdicción de la arbitrariedad (art. 9.3 Constitución española) y en la ausencia de protección legal de la propiedad intelectual en un programa elaborado por la propia Administración pública.
Respecto a la primera, Civio argumentó que la imposibilidad de acceso al código fuente de los programas provoca que el derecho vaya derivando en una aplicación automatizada mediante un código binario imposible de leer, alejándose de esta manera ya no sólo el principio de legalidad, sino todo tipo de posibilidades hermenéuticas, argumentativas y éticas que podrán utilizarse única y exclusivamente en los resultados generados, pero que no podrán entrar en ninguna de las causas y, mucho menos, en el sistema de racionalidad sobre el que se fundamenta la toma de una decisión, lo que vulnera el derecho a conocer la motivación de las resoluciones.
La sentencia de 30 de diciembre de 2021 del Juzgado Central de lo Contencioso-Administrativo núm. 8, en adelante, la sentencia de 2021, fue impermeable a esos argumentos y sostuvo que al reconocer el derecho al bono social la Administración española:
“ajusta su actuación a dicha normativa, dictando el correspondiente acto administrativo. Y para ello utiliza una aplicación informática, denominada “sistema de información BOSCO”, que se inserta en una fase del procedimiento administrativo, cuyo objeto es verificar el cumplimiento de los requisitos establecidos previamente por la normativa citada. Siendo lo anterior así, no puede considerarse que el acto administrativo se dicte por una aplicación informática, sino por un órgano administrativo, y en caso de que el destinatario de dicho acto esté disconforme con el mismo, podrá impugnarlo en vía administrativa, y en vía judicial. Por tanto, la legalidad del acto administrativo no está justificada por la aplicación informática que instrumentalmente se utiliza en una fase del correspondiente procedimiento administrativo, sino por la normativa que regula la materia”.
Según la sentencia, de la prueba practicada en el juicio:
“se ve cómo funciona el sistema informático, y si tal funcionamiento es correcto, careciendo por ello de fundamento la alegación de la entidad recurrente sobre la existencia de fallos o errores de cálculo en la aplicación, en particular para determinados colectivos. Y en los supuestos de “imposibilidad de cálculo”, por no contar con información suficiente del solicitante en las bases de datos conectadas a la aplicación, se le requiere al mismo para que aporte la documentación, y en base a ella se determina si existe el derecho al bono social o no. Son supuestos en que no es posible el cálculo automático mediante la aplicación, pero no supuestos de denegación del bono social”.
Por ello, la sentencia realiza una argumentación formalista llegando a la conclusión de que “En base a lo expuesto, hay que considerar que la denegación del acceso al código fuente de la aplicación informática no supone una vulneración del principio de legalidad, pues siempre, en último extremo, se podrá comprobar si el solicitante cumple los requisitos para que se le concede el bono social”
En cuanto a la segunda alegación referida a que no hay violación del límite de la legislación de transparencia española que impide acceder a información si hay violación de la propiedad intelectual, la sentencia señala que:
“el código fuente de la mencionada aplicación informática no está dentro de las exclusiones de la propiedad intelectual, mencionadas en el artículo 13 del Real Decreto Legislativo 1/1996, de 12 de abril, de propiedad intelectual, precepto invocado por la entidad recurrente, pues dicho código no es una norma ni un acto administrativo”.
La sentencia insiste en que “hay que considerar por ello que no existe ninguna norma que imponga a la Administración el desarrollo de aplicaciones con fuentes abiertas ni la adquisición de software libre”. Finalmente se rechaza la pretensión formulada por Civio respecto a que se le conceda el acceso a parte del código fuente, al ser ésta una pretensión nueva, no formulada en la demanda. Además, la sentencia añade consideraciones sobre la imposibilidad de dar acceso al código fuente, puesto que si así se hiciera se crearían problemas de vulnerabilidad del programa y afectaciones a la seguridad pública (?).
b) Presentado recurso de apelación contra esta decisión judicial, la sentencia de 30 de abril de 2024 de la Audiencia Nacional (rec. núm. 51/2022), en adelante la sentencia de 2024, desestima dicho recurso y condena en costas a Civio, pese a que la litigante había solicitado la aplicación del art. 139 LJCA y su no imposición al existir dudas de derecho en un caso novedoso.
El Consejo de Transparencia y Buen Gobierno, que en el primer litigio de 2021 compareció junto a la Administración del Estado, decidió luego no oponerse a la apelación presentada por Civio a la sentencia “por entender que dicha sentencia no se ajusta a derecho”, según un escrito de la nueva representación legal del Consejo. De hecho, el Consejo, enfrentado a una reclamación distinta presentada por un ciudadano en 2021 sobre el acceso al código fuente utilizado en la aplicación informática mediante la cual se procedió al sorteo de tribunales asociados a procesos selectivos de una Comunidad autónoma lo concede, negando que la propiedad intelectual impida dicho acceso (Resolución RT0253/2021, anulada luego por la en la Sentencia de 31 de octubre de 2022 del Juzgado Central de lo Contencioso-Administrativo núm. 11, con similares argumentos a los que vamos a ver a continuación).
Pese a ello, la Audiencia Nacional sostiene que:
“excluir a la Administración del derecho de la protección intelectual y señaladamente de los programas de ordenador (96 del TRLPI) carece de todo fundamento. El artículo 7.2 de la Ley 33/2003 de Patrimonio de las Administraciones Públicas atribuye la consideración de patrimoniales de la Administración a los derechos de propiedad incorporal hayan sido adquiridos de particulares o generados por la propia Administración. Y el artículo 157 de la Ley 40/2015, de Régimen Jurídico del Sector Público se refiere expresamente a los derechos de propiedad intelectual de que son titulares las Administraciones Públicas sobre las aplicaciones desarrolladas por sus servicios o que hayan sido objeto de contratación”.
Tras esta afirmación, la sentencia señala que “aunque esto sería suficiente para desestimar el recurso, la apelante no ha desvirtuado que la entrega del código fuente de la aplicación BOSCO pondría en grave riesgo derechos de terceros y atentaría a bienes jurídicos protegidos por los límites al derecho de acceso a la información pública del artículo 14.1 letras d), g), i) y k) LTAIBG”. Y procede a realizar una serie de consideraciones al respecto.
Así, la sentencia de 2024 declara que:
“la revelación del código aumenta de una manera objetiva la severidad de las vulnerabilidades de cualquier aplicación informática, más aún cuando se maneja información clasificada o sensible, no siendo exigible a la Administración que todas las aplicaciones que desarrolle lo sea con fuentes abiertas. Antes al contrario, un sistema informático ha de ser desarrollado sobre la base de unas garantías de seguridad en función de la sensibilidad de la información a la que da acceso; en el caso examinado existe el compromiso de intereses de terceros y de otros bienes jurídicos, se podrían producir vulnerabilidades para acceder a las bases de datos conectadas con la aplicación que contienen datos especialmente protegidos, como la discapacidad o la condición de víctima de violencia de género del solicitante, los datos tributarios a la AEAT, de la Seguridad Social, etc. y se pondría en riesgo la confidencialidad de la información tributaria, se posibilitaría la suplantación de los usuarios autorizados, la falsificación del consentimiento, etc”.
Para llegar a esta conclusión, la sentencia de 2024 se apoya en un informe de la Administración del Estado:
“Para alcanzar tal conclusión es concluyente el informe del Subdirector General de Tecnologías de la Información y las Comunicaciones del Ministerio de Industria, Comercio y Turismo, la unidad técnica que gestiona para MITECO el sistema de información BOSCO. El informe se sometió a contradicción con audiencia de las partes, no quedando duda al respecto de que es garantía de protección ante las vulnerabilidades la ocultación del código fuente de la aplicación, de forma que no se permita a un potencial atacante estudiar el código para descubrir una vulnerabilidad de día cero. Según el informe, develar el código fuente podría acarrear las siguientes consecuencias:
– Que el ataque sería muy difícil de detectar por parte de los encargados de la administración técnica de los sistemas de información y del equipo de ciberseguridad del Ministerio, puesto que dicho personal técnico no sería consciente de que sus sistemas de información están siendo atacados.
– El Ministerio no tendría a su disposición, en el momento en que se produce el ataque, de los medios técnicos (antivirus, sondas, parches de seguridad de los productos de Sistema Operativo y Middleware) necesarios para mitigar la vulnerabilidad, puesto que los fabricantes que dan soporte a estos productos tampoco serían conscientes de la vulnerabilidad en sus productos, o de que dicha vulnerabilidad sea detectada y eliminada por los productos específicos de seguridad informática.
– Debido a lo indicado en los anteriores puntos, el atacante dispondría del tiempo suficiente conseguir sus objetivos, entre los que se podrían a modo de ejemplo enumerar las siguientes actuaciones:
* Acceder o modificar, evidentemente con propósitos ilícitos, a los datos de la base de datos de la propia aplicación, que incluye datos personales de especial protección de los interesados en los trámites (niveles de renta de los individuos, situación familiar y laboral, o si existe calificación como víctima de violencia de género o de terrorismo, o si el interesado sufre alguna discapacidad).
* Intento de acceso y/o alteración de los datos almacenados en otras bases de datos, correspondientes a otras tramitaciones administrativas cuya responsabilidad recae en el Ministerio de Industria, Comercio y Turismo.
* Utilizar los medios de la infraestructura de cómputo del Ministerio para otros fines, como por ejemplo la minería de criptomonedas.
* Utilizar la imagen del Ministerio para pertrechar delitos basados en ingeniería social (blackmail o phishing).”.
Sobre una hipotética vulneración del principio de interdicción de la arbitrariedad del art. 9.3 CE, la sentencia de 2024 indica que:
“También nos vemos obligados aquí a disentir del argumento de la recurrente sobre la infracción del artículo 9.3 CE. El debate se centra en el derecho al acceso al código fuente de la aplicación con la que se gestiona el bono social, quedando fuera del valladar del debate determinar si es conforme a derecho el procedimiento de comprobación para verificar la condición de consumidor vulnerable (Real Decreto 897/2017 por el que se regula la figura del consumidor vulnerable, el bono social y otras medidas de protección para los consumidores domésticos de energía eléctrica y Orden ETU 943/2017, sobre el mecanismo de comprobación de los requisitos para ser consumidor vulnerable). Como dice el Abogado del Estado la aplicación informática no es más que una herramienta que se integra en el seno de un procedimiento administrativo que seguirá produciendo un acto administrativo plenamente sujeto al ordenamiento jurídico, de modo que el control de la legalidad de los actos administrativos sigue estando garantizado: la legalidad (o no) del acto administrativo no viene justificada por el uso de la aplicación informática sino por la adecuación al ordenamiento jurídico del acto producido”
c)Expuestos los puntos principales de ambas sentencias, y en espera de un posible recurso de casación, terminamos realizando algunas consideraciones de tipo general, más allá de los límites procesales, especialmente de los basados en la congruencia con la solicitud del demandante, art. 33.1 LJCA, aunque dada la relevancia del tema, y el riesgo de una mala administración sistémica, como vamos a ver, siempre está en manos judiciales utilizar la posibilidad abierta por el art. 33.2 de la misma ley, que señala, como es sabido, que “Si el Juez o Tribunal, al dictar sentencia, estimare que la cuestión sometida a su conocimiento pudiera no haber sido apreciada debidamente por las partes, por existir en apariencia otros motivos susceptibles de fundar el recurso o la oposición, lo someterá a aquéllas mediante providencia en que, advirtiendo que no se prejuzga el fallo definitivo, los expondrá y concederá a los interesados un plazo común de diez días para que formulen las alegaciones que estimen oportunas, con suspensión del plazo para pronunciar el fallo. Contra la expresada providencia no cabrá recurso alguno”.
Si bien se puede sostener que los juristas llevan cientos de años utilizando algoritmos (por ejemplo, Ley posterior deroga a anterior), la cuestión de los sistemas algorítmicos empleados en inteligencia artificial plantea problemas epistemológicos relacionados con el posible desconocimiento judicial y la falta de actitud para integrar ese necesario conocimiento. Las decisiones judiciales españolas mencionadas se apartan de las soluciones dadas en otros países europeos a casos similares y ponen encima de la mesa algunos de los problemas generales del control judicial de la IA, como el sesgo cognitivo judicial de grupo, en la valoración de los informes periciales elaborados por funcionarios públicos, que en este caso se demuestra en la total aceptación acrítica sin un análisis racional de los pros y contras del informe de la Administración del Estado (sobre el particular, me permito la remisión a mi artículo de próxima publicación: “ “Inteligencia artificial, decisiones administrativas discrecionales totalmente automatizadas y alcance del control judicial: ¿indiferencia, insuficiencia o deferencia?”, Revista de Derecho Público: Teoría y Método Vol. 9, pp. 9-56.)
El acceso al código fuente es relevante para saber si el programa funciona correctamente o si existen errores de programación. En este caso, la Administración española ha dado acceso a la especificación técnica de dicha aplicación y al resultado de las pruebas realizadas para comprobar que la aplicación BOSCO cumple la especificación funciona, pero ello puede no ser suficiente. Sería un caso similar a aquel en que se escribe una noticia que da cuenta de una sentencia judicial, comentándola, sin aportar la propia sentencia. Es imprescindible tener el texto de la sentencia para poder saber si lo que dice el periodista en la noticia es correcto o no.
En cuanto al problema de la propiedad intelectual sobre el código fuente y el derecho de acceso al mismo y los límites legales, un aspecto ciertamente complejo, no se acoge judicialmente el argumento de Civio respecto a que, de acuerdo con la legislación española de propiedad intelectual, sentencias y normas, así como los actos, acuerdos, deliberaciones y dictámenes de los organismos públicos no tienen propiedad intelectual (art. 13). En este sentido, cabe afirmar que, en definitiva, lo que hace el programa BOSCO es codificar en lenguaje informático una regulación legal previa, escrita en lenguaje natural originariamente, que arranca de una ley del parlamento español (la cual, en nuestra opinión, debería haber previsto la automatización y haber establecido unas mínimas pautas, como hemos sostenido en este estudio) y que es desarrollada luego por diversos reglamentos. En este caso, el código es ley, de acuerdo a la conocida expresión de LESSIG: se trata de fuente del derecho, de norma, por lo que cabría entender inaplicable el límite de acceso basado en la propiedad intelectual.
Por otro lado, debe tenerse en cuenta el RGPD, que, por su parte, prevé que la existencia de decisiones automatizas implica el ofrecimiento de información significativa sobre la lógica aplicada, así como la importancia y las consecuencias previstas de dicho tratamiento para el interesado.
Asimismo, todos los posibles riesgos enumerados en el informe de la Administración del Estado, aceptado acríticamente en la sentencia de 2024, conducirían a no ofrecer nunca acceso a ningún código fuente, que no es la solución adoptada por otros tribunales de nuestro entorno (así, por ejemplo, la jurisprudencia del Consejo de Estado italiano) y tampoco por órganos administrativos de protección del derecho de acceso (téngase en cuenta la decisión antes mencionada del Consejo de Transparencia y Buen Gobierno de 2021 o la Resolución de la Comisión de Garantía del Derecho al Acceso a la Información Pública de Cataluña de la reclamación 123/2016).
Esos riesgos podrían ser controlados mediante la adopción de medidas judiciales de acceso al código que impidan a ese desconocido y espectral “potencial atacante” la posibilidad de “estudiar el código para descubrir una vulnerabilidad de día cero” y dar lugar a toda la lista de hipotéticos desastres apocalípticos descritos en el informe estatal, y aceptados impávidamente por el órgano judicial, sin contextualización en el caso concreto[1], como órganos judiciales de otros países han hecho (así, EEUU, acceso al código fuente mediante una orden de protección a puerta cerrada, caso New Jersey v. Francisco Arteaga, entre otros).
Por otro lado, la falta de conocimiento del código fuente y de los posibles errores del sistema presenta también importantes riesgos a considerar, como es la multiplicación a gran escala de denegaciones erróneas provocadas por estos sistemas, que afectan en este caso, además, a colectivos vulnerables.
Finalmente, unas palabras sobre la comparación entre el código fuente de sistemas como Bosco y el cerebro del decisor humano. En primer lugar, la comparación no es posible, por cuanto el sistema actúa como regla de adopción de múltiples decisiones, que, en caso de error, serán múltiples errores repetidos ad nauseam, mientras que el decisor humano, en caso de decisiones regladas que afectan a una persona, como es el caso, adopta cada decisión de modo separado y distinto.
Pero un humano también puede tener un “errores de programación”, aunque no los llamemos así, contra los que el Derecho administrativo ha desarrollado a lo largo de siglos mecanismos de reacción jurídica. Así, los posibles sesgos del decisor humano pueden dar lugar a conflictos de intereses, con la necesidad de abstención o la exigencia de recusación, y a discriminaciones controlables judicialmente. Es más, la detección y control de la toma de decisión humana se ha perfeccionado durante las últimas décadas mediante la obligación de debida diligencia o debido cuidado, derivada del derecho a una buena administración, que da lugar a un examen del expediente, la decisión y su motivación para hallar no sólo errores (así, tomar en consideración elementos no relevantes, incongruencia entre esos tres aspectos…) sino incluso omisiones o deficiencias (no tomar en consideración elementos relevantes o no hacerlo con el debido cuidado).
En fin, sólo desde una perspectiva formalista puede sostenerse que programas como Bosco son equivalentes a mecanismos puramente de apoyo, como calculadoras, por ejemplo, y que los mismos no inciden en la decisión final, que en el caso de Bosco parece ser adoptada de modo automatizado y, en todo caso, pueden dar lugar al conocido sesgo de automatización.
Para concluir, cabe añadir algunas reflexiones finales. Frente a la inexistencia de suficiente prevención administrativa de errores en sus programas, y una vez ya se ha accedido a la vía judicial, siempre ardua y larga, el importante papel de la jurisdicción contenciosa es, desde luego, el que siempre ha tenido. En primer lugar, el de proteger los derechos de los ciudadanos afectados por la actividad administrativa controlando la legalidad de ésta (arts. 24 y 106.1 CE). Pero también debería reforzar, en segundo lugar, su otra relevante función, a veces olvidada e implícita en esta primera, dentro siempre, claro, de la legalidad: la de contribuir con su control a la buena gestión pública y a la defensa de la buena administración. A ella se refería ya la ley de la jurisdicción contenciosa de 1956, que lo decía con claridad en su Preámbulo:
«Y así, la necesidad de una Jurisdicción contencioso-administrativa eficaz trasciende de la órbita de lo individual y alcanza el ámbito colectivo…y de ahí la certeza del aserto de que cuando la Jurisdicción contencioso-administrativa anula los actos ilegítimos de la Administración, no tan sólo no menoscaba su prestigio y eficacia, sino que, por el contrario, coopera al mejor desenvolvimiento de las funciones administrativas y afirma y cimenta la autoridad pública»
Para ello, creemos que jueces y magistrados pueden y deben emplear a fondo las posibilidades que ya hoy en día otorga ya la Ley 29/1998, de 13 de julio, reguladora de la Jurisdicción Contencioso-administrativa. En ese sentido, y respecto a la lucha contra una violación del derecho a una buena administración repetida similarmente en muchos casos diversos – afectando no sólo al ciudadano litigante sino a otros muchos potenciales afectados por una mala administración sistémica – cabe reflexionar sobre el alcance de las pretensiones de reconocimiento de una situación jurídica individualizada, puesto que si no se aprovechan sus posibilidades, los riesgos de nuevas malas administraciones que afecten a otras personas en el futuro y sea un calco de las anteriores que afectaron al propio litigante, permanecerán, obligando a suscitar nuevos litigios sobre la misma cuestión, especialmente si pensamos en actos masa como pueden ser sistemas como BOSCO y otros (ej. no consideración de los márgenes de error de radares en sanciones de tráfico, ni inclusión de los mismos en la notificación automatizada que se realiza al presunto infractor: mala administración que se repite ad nauseam).
En este sentido, el art. 31.2 LJCA recordemos que señala que:
“También podrá pretender el reconocimiento de una situación jurídica individualizada y la adopción de las medidas adecuadas para el pleno restablecimiento de la misma, entre ellas la indemnización de los daños y perjuicios, cuando proceda”.
De ahí, que un recurrente futuro, ante supuestos de errores en IA, si pueden ser finalmente conocidos, pudiera incluir entre sus pretensiones la de obtener una orden judicial dirigida a la Administración para que ésta proceda a subsanar la fuente (sea institucional, sea organizativa, sea procedimental, generando esos errores de IA) de la mala administración sistémica, con el objeto de evitar daños a ciudadanos, en ocasiones vulnerables, y repetición de litigios costosos y futuros, que contribuirían, además, a sobrecargar a la jurisdicción contenciosa.
[1] El TS ha señalado que el supuesto perjuicio debe ser definido, sustancial, real y directamente relacionado con la divulgación de la información. La forma de acercarse a esta cuestión es la misma para todos los supuestos incluidos en el 14.1 de la LTAIBG, con independencia de la materia a la que afecte. La forma de realizar el test de daño debe ser idéntica en todas las ocasiones, al igual que a la hora de realizar el test el interés público. Son de interés, por ejemplo, las Sentencias del Tribunal Supremo de 11 de junio de 2020 (ECLI: ES:TS:2020:1558) y de 25 de enero de 2021 (ECLI:ES:TS:2021:574). En esta última se indica lo siguiente: “Por tanto, el precepto legal (14.2 LTAIBG) no permite una aplicación genérica de las limitaciones como justificación de una denegación del acceso a la información pública, válida para todos los procedimientos de una determinada materia, por ejemplo, la protección de las relaciones exteriores o la protección de la investigación y sanción de los ilícitos penales en los procedimientos de extradición, sino que exige una aplicación justificada y proporcionada de las limitaciones en relación al caso concreto, debiendo hacerse una ponderación de los intereses en juego, el de acceso a la información pública, por un lado, y el protegido por la limitación de que se trate.” (FJ. º).
Nudging aplicado a la Mejora de la Regulación y al Uso de Algoritmos y de Inteligencia Artificial 