BLOG

nudging

Presentación del Libro Nudging’s Contributions to Good Governance and Good Administration – Legal Nudges in Public and Private Sectors, EPLO Publications, 22 de febrero de 2023

El próximo 22 de febrero de 2023 tendrá lugar la presentación del libro Nudging’s Contributions to Good Governance and Good Administration – Legal Nudges in Public and Private Sectors. La obra, bajo la coordinación de Juli Ponce, analiza las conexiones entre las aportaciones conductuales y el buen gobierno y la buena administración en los sectores público y privado, constituyendo un esfuerzo transdisciplinar realizado por expertos en la materia procedentes tanto del campo del Derecho, como de la Economía o de la Lingüística.

La publicación trae origen en la creación de esta red temática de investigación transdisciplinar, El Nudging aplicado a la Mejora de la Regulación. La red fue creada tras ser ganadora de la convocatoria 2018 de ayudas correspondientes a las acciones de dinamización «Redes de Investigación», del Programa Estatal de Generación de Conocimiento y Fortalecimiento Científico y Tecnológico del Sistema de I+D+I (RED2018‐102761‐T).

Nudging’s Contributions to Good Governance and Good Administration – Legal Nudges in Public and Private Sectors ha sido publicado por la editorial de la European Public Law Organization, dentro de la European Public Law Series (EPLO Publications), debido al interés suscitado por el reciente original en español del libro, Acicates (nudges), buen gobierno y buena administración. Aportaciones de las ciencias conductuales, nudging y sectores público y privado (Editorial Marcial Pons). La presentación de la edición en español, que tuvo lugar en la Comisión Nacional de los Mercados y de la Competencia (CNMC), fue reflejada en el blog de la Red.

El Acto de presentación de Nudging’s Contributions to Good Governance and Good Administration – Legal Nudges in Public and Private Sectors tendrá lugar en un evento híbrido. La Escuela de Administración Pública de Cataluña (c/Girona, 20, Barcelona) es el anfitrión en esta ocasión. Para asistir in situ pueden inscribirse mediante correo electrónico a la dirección de la Red: redtem.nmr@gmail.comEn línea, el evento podrá seguirse a través de este enlace.

A las 16:00h, dará comienzo al Acto Ismael Peña-López, Director de la Escuela de Administración Pública de Cataluña y autor del Prólogo, con la Bienvenida e Introducción. Cass R. Sunstein, Robert Walmsley University Professor de la Harvard University, intervendrá en video. Juli Ponce, catedrático de Derecho Administrativo de la Universidad de Barcelona, director de la Red y editor de la obra, dará paso a las intervenciones de dos de los autores participantes que, en sendas reflexiones, abordarán la temática de los acicates (nudges).

Juli Ponce Solé, Oscar Capdeferro

INTELIGENCIA ARTIFICIAL Y SANDBOXES: HACIA LA MEJORA NORMATIVA MEDIANTE LA EXPERIMENTACIÓN

Aunque se diseñe y aplique con la mejor de las intenciones, junto a los indudables beneficios existentes en el uso de la inteligencia artificial (IA), que pueden promover el derecho a una buena administración de los ciudadanos, por ejemplo, se han identificado ya los riesgos de la inteligencia artificial (IA) en múltiples ámbitos, así, los relativos a la causación de discriminación, la parcialidad o la invasión de la privacidad, debido, entre otros motivos, a los errores y sesgos que puede tener la IA, a los que hemos dedicado diversas entradas previas en este blog.

Al respecto, existen muchos códigos éticos de la IA, procedentes de diferentes segmentos de la sociedad mundial y de diversas disciplinas, que tratan de evitar y/o remediar estos riesgos de la IA.  Algunos académicos y profesionales sostienen que un enfoque ético voluntario es apropiado para esta tecnología tan rápida y beneficiosa, y que debe evitarse la regulación legal porque podría sofocar la innovación y reducir los numerosos beneficios de la IA. 

No estamos, sin embargo, de acuerdo, con este punto de vista. 

Esta apelación pública continua sólo a la Ética deja de lado el Derecho, y debemos recordar que el Derecho es un mínimo básico de las sociedades civilizadas para evitar la jungla (digital). En realidad, ese interés en subrayar la Ética y orillar al Derecho podría tener motivaciones específicas. Así, se ha dicho que los debates actuales en la política y la industria de la IA están motivados por la imagen y las relaciones públicas, donde la etiqueta «ética» no es en realidad mucho más que el nuevo «verde», quizás utilizado para «lavar la ética».

En la misma línea, Yeung es especialmente clara cuando subraya que el actual discurso sobre la «ética de la IA» se enmarca de una manera que tiende a favorecer la autorregulación de la industria, basándose en suposiciones cuestionables de que se puede confiar en que la industria tecnológica marque sus propios deberes (AI and the law (birmingham.ac.uk)). Aún con más contundencia, MUNN señala que los principios éticos de la IA son inútiles, al no poder mitigar los daños raciales, sociales y medioambientales de las tecnologías de IA en ningún sentido significativo. El resultado es una brecha entre los principios de alto nivel y la práctica tecnológica. Según su opinión, el giro dominante hacia los principios de la IA no sólo es infructuoso, sino que constituye una peligrosa distracción que desvía inmensos recursos financieros y humanos de actividades potencialmente más eficaces, por lo que, cree que deberían desplegarse enfoques alternativos que reflexionen sobre la justicia de la IA y que vayan más allá de los principios éticos (MUNN, L. (2022): “The uselessness of AI ethics”, AI and Ethics, agosto).

Como uno de nosotros ha expuesto con detalle recientemente, sí creemos que la ética tiene un papel en relación con la IA, en aquellos espacios donde existe una discrecionalidad otorgada por la norma jurídica al decisor público, por ejemplo. Pero estamos de acuerdo con las opiniones expuestas que subrayan los riesgos de distracción y los intereses ocultos de aquellos que insisten sólo en la ética.

Afortunadamente, en el contexto europeo, últimamente las llamadas a la necesidad de la regulación se han hecho notablemente más frecuentes, lo que explica la propuesta de Reglamento la UE de regular la IA, actualmente en discusión. 

También empiezan a surgir regulaciones de hard law que intentan afrontar los riesgos apuntados, como son los casos en España del art. 23 de la Ley 15/2022, de 12 de julio, integral para la igualdad de trato y la no discriminación (BOE de 13 de julio), que se refiere a algunos de ellos, o el artículo 16.1.l de la Ley valenciana 1/2022, de 13 de abril, de Transparencia y Buen Gobierno, que considera como información con relevancia jurídica sometida a la obligación de publicidad activa por parte de la Administración la referida a “La relación de sistemas algorítmicos o de inteligencia artificial que tengan impacto en los procedimientos administrativos o la prestación de los servicios públicos con la descripción de manera comprensible de su diseño y funcionamiento, el nivel de riesgo que implican y el punto de contacto al que poder dirigirse en cada caso, de acuerdo con los principios de transparencia y explicabilidad”.

Por tanto, el Derecho es fundamental, ya que una regulación adecuada en determinados casos es imprescindible para proporcionar la mencionada confianza en la IA. Es necesario prevenir los graves riesgos que presenta la IA, de acuerdo con el principio de precaución en el ámbito social ante los daños que pueden causar las decisiones automatizadas – que, como dijimos, pueden sufrir errores (bugs) y sesgos, por ejemplo – y proporcionar seguridad jurídica a los operadores económicos.

Al igual que los elementos básicos de cualquier Estado de Derecho, el derecho de la IA está ligado a la necesidad de la existencia de una norma previa para la actuación administrativa con la IA, al reconocimiento de los derechos de los individuos y grupos que no pueden ser vulnerados por la IA (intimidad, igualdad, en el caso de las administraciones los principios bien establecidos del derecho administrativo, como el de buena administración, que incluye el deber de diligencia o cuidado debido, el debido proceso, el deber de motivación…), a la adecuada protección de estos derechos por vía administrativa y judicial, y al establecimiento de un sistema de responsabilidad por los daños que pueda causar la IA. 

Aunque estos elementos pueden estar ya presentes dondequiera que haya un Estado de Derecho, han sido diseñados y aplicados en contextos tradicionales en los que las decisiones públicas y privadas eran tomadas únicamente por humanos y no estaban hechas o informadas por la inteligencia artificial. Así, parece inevitable que el sistema jurídico deba adaptarse a esta nueva realidad con un nuevo Derecho afinado. Sin embargo, también es necesario reflexionar sobre este nuevo Derecho. Al referirse al futuro Derecho de la IA, ¿qué tipo de Derecho se puede considerar? El Derecho puede ser (y debe ser) un factor que permita la innovación en un marco de confianza y seguridad jurídica.

En consecuencia, la elección no es ni puede ser entre regulación ética, lo cual es una falacia. Es posible tener una regulación eficaz, flexible y moderna y una ética útil en los ámbitos abiertos a las decisiones de los actores de la IA en los que el Derecho no puede o no quiere entrar. De la misma manera, no hay un dilema entre regulación y autorregulación, sino que hay que estudiar en cada caso qué es lo que conviene al interés general y qué alternativa es la más conveniente. En la UE hay casos en los que la autorregulación revela problemas, y no puede funcionar correctamente sola, como ha subrayado también la OCDE. Por lo tanto, no es posible decidir cómo regular utilizando modelos apriorísticos, que a veces se utilizan en el debate público como resultado de evidentes intereses ideológicos y económicos a favor o en contra de la actividad pública o privada.

La regulación en general, y la regulación de la IA, puede ser, en primer lugar, una autorregulación y en segundo lugar una regulación, prohibiendo y sancionando ciertas conductas en determinados casos (command and control). Sin embargo, este tipo de regulación puede ser complementada o incluso sustituida, dependiendo de las circunstancias, por una regulación conductual, basada en conocimientos sobre el comportamiento y que utiliza acicates (nudges), de los que hemos hablado repetidamente en este blog, para lograr los intereses generales con medidas menos restrictivas, favoreciendo el principio de proporcionalidad.

Además, la regulación clásica y la conductual pueden, a su vez, utilizar mecanismos modernos para garantizar una mejor regulación que permita alcanzar las compensaciones que los reguladores deben afrontar entre los diferentes conjuntos de intereses públicos y privados. 

Es el caso de la regulación experimental, como por ejemplo en el caso de los sandboxes, esto es, cajas de arena o areneros, un término que proveniente del ámbito de la computación designa un entorno de pruebas para nuevos modelos de negocio supervisados por las instituciones regulatorias.   

La propuesta de la UE para una regulación de la IA incluye, precisamente, esta posibilidad en los arts. 53 y ss .

Pues bien, es en este marco descrito, que el pasado 8 de noviembre de 2022 tuvo lugar el Living Lab de Buen gobierno y regulaciónque, en esta ocasión, se desarrolló en formato online.  El tema de la sesión fue la experimentación, con especial consideración de los sandboxes, en el marco de la evaluación de políticas públicas y la calidad normativa. Dado el interés de la sesión, pasamos a explicar brevemente los puntos principales tratados y su posible relevancia para la IA.

La sesión se inició con la bienvenida del Prof. Juli Ponce, Catedrático de Derecho Administrativo de la Universitat de Barcelona, y de los representantes de las instituciones colaboradoras en el Living Lab y en el posterior Anuario del Buen Gobierno y de la Calidad de la Regulaciónque será publicado por cuarta vez por la Fundación Democracia y Gobierno Local en 2023, y en el que se recogerán y desarrollarán algunas de las ideas que surgieron durante la sesión. 

Así, dieron la bienvenida el Sr. Moreno (Fundación Democracia y Gobierno Local) y el Sr. López (Comisión Nacional del Mercado y de la Competencia, CNMC). A continuación, los Profs. Ponce, Villoria y Capdeferro, y el Sr. Menéndez, presentaron el tema objeto del Living Lab y expusieron la estructura de la jornada.

Se recordó que un Living Lab es un sistema para innovar en retos sociales de manera colaborativa.  Las principales diferencias entre el modelo Living Lab y otros modelos participativos tradicionales serían que aporta contextos más creativos, con horizontalidad y empatía; más representativos, pues la comunidad que participa (que va más allá de la puramente académica) se articula en función del reto a resolver; y más innovadores, pues busca la experimentación, la co-creación con líneas de maduración más largas.  

Además, este tipo de Living Lab puede constituirse en un hub para compartir información y experiencias. Cada vez más, las universidades utilizan esta metodología.  

Específicamente, en el campo que ocupa al Anuario, los Living Lab, sirven para:  

  • Evaluar midiendo los impactos de las normas ex -ante.  
  • Iniciar prácticas de evaluación ex -post, muy escasas aún en España. La tarea académica de un Living Lab permite, en las apenas desarrolladas evaluaciones ex post confiar en la institución universitaria pública para diseñar protocolos de evaluación, recoger datos, evaluarlos, etc.; y ponerlos a disposición imparcial de reguladores y de regulados, con objetividad, imparcialidad y neutralidad.  
  • Realizar formación en buen gobierno y mejora de la regulación.  
  • Labor de banco de pruebas regulatorio, realizando test, pruebas piloto, sandboxes, etc, antes de aprobar una normativa. Ello es posible hacerlo en una fase temprana, incluyendo los momentos temporales anteriores al inicio, del procedimiento administrativo formal de aprobación de reglamentos o proyectos de ley.  
  • Foro de diálogo entre administraciones y ciudadanos, entre reguladores y regulados, que permita avanzar en el conocimiento de los intereses públicos y privados implicados para la definición reguladora del interés general.   
  • Ofrecer inputs valiosos desde la sociedad a los autores de las contribuciones del Anuario a publicar al año siguiente. 

El V Living Lab y el futuro Anuario se dedican a la experimentación en el desarrollo de políticas públicas y normas jurídicas, con especial atención al mundo local, porque se trata de un tema poco explorado aún en España y necesitado de reflexión para su creciente aplicación en la práctica. En otros países, es una cuestión que ha preocupado ya a prestigiosas instituciones, como el Conseil d´État francésque dedicó un informe monográfico a este tema a petición del Primer Ministro francés, o la Universidad de Harvard, que ha impulsado una publicación en la revista Science sobre estas cuestiones en el ámbito jurídico.

Tras la presentación de la jornada, se dio paso al primer bloque de trabajo, dedicado a la innovación en la regulación estatal a partir de los sandboxes regulatorios.

En este bloque, la primera intervención fue introductoria, y corrió a cargo del Sr. Joaquín López y el Sr. Juan Manuel Contreras (CNMC). En especial, se destacaron varios ámbitos en los que, desde la CNMC, se ha propuesto emplear sandboxes, como son el fintech (sector financiero), la movilidad urbana y el sector energético, aunque al menos dos tipos de problemas en relación a la competencia podrían surgir con el empleo de esta técnica: problemas de selección (referidos a la posible desigualdad entre las empresas que efectivamente acceden al sandbox y las que no) y de participación (por posibles ventajas derivadas de haber accedido al sandbox, como podría ser una ventaja informativa que generara desigualdad entre empresas).  

Asimismo, se enmarcó conceptualmente el sandbox regulatorio, a partir de las características que identifica el informe The role of sandboxes in promoting flexibility and innovation in the digital age, publicado por la OCDE en 2020: debe existir una auténtica innovación, por un uso alternativo de tecnología existente o novedosa; deben poder generarse beneficios para los consumidores; el proyecto de la empresa debe ser suficientemente maduro; la duración de las pruebas debe ser limitada, así como el ámbito geográfico; y deben establecerse mecanismos de salvaguarda para los diversos intervinientes en las pruebas.

A continuación, el Sr. Andrés Barragán, director del gabinete técnico y de análisis financiero de la Secretaría General del Tesoro y Financiación Internacional, Ministerio de Asuntos Económicos y Transformación Digital, presentó el sandbox previsto en el sector financiero.

Este es el primer sandbox regulado en el Estado español, y se encuentra previsto en la Ley 7/2020, de 13 de noviembre, para la transformación digital del sistema financiero

En el preámbulo de dicha ley, se presenta el sandbox regulatorio en los siguientes términos: “El Título II se configura como la parte central de la Ley, ya que regula el espacio controlado de pruebas, es decir, con características propias, lo que en el ámbito europeo e internacional viene llamándose regulatory sandbox. Se trata de un conjunto de disposiciones que amparan la realización controlada y delimitada de pruebas dentro de un proyecto que puede aportar una innovación financiera de base tecnológica aplicable en el sistema financiero, definida como aquella que pueda dar lugar a nuevos modelos de negocio, aplicaciones, procesos o productos con incidencia sobre los mercados financieros, la prestación de todo tipo de servicios financieros y complementarios o el desempeño de las funciones públicas en el ámbito financiero”.

El Sr. Barragán expuso el funcionamiento de dicho sandbox. El mismo se puso en práctica en 2021 y cuenta con 4 cohortes de presentación de proyectos al sandbox. Señaló como ya se cuenta con 100 proyectos acumulados, lo que es número muy elevado en comparación con otros países, que se situaría en línea con la situación en el Reino Unido, lo que demuestra el interés en el sector. Para el ponente, se está ante una revolución en el sector financiero, por la transformación digital. Entre los proyectos, existe mucho interés en temas identidad digital y biometría.

El Sr. Barragán enfatizó la necesidad de agilidad en la valoración por parte de las autoridades regulatorias intervinientes (Banco de España, CNMC y Dirección General de Seguros), puesto que tienen que coordinarse para emitir un informe dando luz verde al sandbox.

Art. 7: 2 de la ley mencionada. “En el mes siguiente a la fecha de finalización del plazo de admisión de solicitudes previsto en el artículo 6.3 de esta Ley, las autoridades supervisoras evaluarán mediante informe motivado las solicitudes que afecten a su ámbito de competencia y remitirán a la Secretaría General del Tesoro y Financiación Internacional el listado de proyectos que aporten valor añadido sobre los usos ya existentes y que cumplan con los demás requisitos previstos en el artículo 5.”

Una vez admitido el proyecto, se negocia un protocolo con el promotor para la fase de pruebas

Artículo 8 de la ley mencionada “Protocolo de pruebas.

1. Cuando un proyecto reciba una evaluación previa favorable conforme a lo dispuesto en el artículo 7, en el plazo de tres meses desde la publicación de la misma se suscribirá un protocolo de pruebas entre el promotor y la autoridad o autoridades supervisoras que, conforme al apartado 3 de dicho artículo, hayan sido designadas responsables del seguimiento del proyecto por razón de su competencia material.

2. El protocolo establecerá las normas y condiciones a las que se sujetará el proyecto piloto en el que se desarrollarán las pruebas e incluirá, entre otras, las siguientes cuestiones:

a) La limitación en cuanto al volumen de usuarios y operaciones, importe de estas últimas y tiempo de realización de las pruebas.

b) La forma en la que se llevará a cabo el seguimiento de las pruebas conforme a lo dispuesto en el artículo 15 de esta Ley. En particular, se detallará la información que se facilitará a las autoridades y el modo de acceder a dicha información.

c) Las fases del proyecto y los objetivos a alcanzar en cada una de las fases junto con el alcance de cada prueba y la duración de las mismas.

d) Los recursos con los que tendrá que contar el promotor para llevar a cabo las pruebas.

e) Un completo sistema de garantías e indemnizaciones de acuerdo con lo previsto en el apartado 3 de este artículo y en el Capítulo II del presente Título y, en concreto, el régimen de garantías que resulte adecuado para cubrir la eventual responsabilidad del promotor conforme a lo previsto en el artículo 13.

f) En su caso, cláusulas de confidencialidad, así como disposiciones, sujetas a la regulación específica, sobre los derechos de propiedad industrial e intelectual o secretos empresariales que pudieran verse afectados durante la realización de las pruebas.

g) Cualquier otra cuestión que a juicio del promotor o de la autoridad responsable del seguimiento de las pruebas pueda resultar relevante para su desarrollo.

3. En el protocolo se establecerán todas las cautelas necesarias para garantizar en cada prueba un sistema específico de protección de los participantes que sea proporcionado al nivel de riesgo del proyecto, conforme a los objetivos establecidos en la legislación vigente en materia de protección de datos, protección de los usuarios de servicios financieros y prevención del blanqueo de capitales y financiación del terrorismo. Asimismo, se establecerán cuantas cautelas sean necesarias para garantizar que la realización de las pruebas no afectará a la estabilidad financiera, la integridad de los mercados financieros o a terceros no participantes en las pruebas.

Los tratamientos de datos de carácter personal de las personas físicas se realizarán con estricta sujeción a lo dispuesto en el Reglamento (UE) 2016/679 del Parlamento Europeo y el Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de sus datos personales y a la libre circulación de estos datos y en el resto de la normativa sobre protección de datos personales.

4. La Secretaría General del Tesoro y Financiación Internacional podrá publicar en su sede electrónica ejemplos de protocolos tipo u orientaciones generales sin carácter vinculante sobre el contenido de dichos protocolos.

Los protocolos podrán modificarse en cualquiera de sus previsiones por causas sobrevenidas, bien a instancia de las autoridades supervisoras o bien, previo visto bueno de estas últimas, a petición de los promotores, siempre que dicha modificación sea motivada y redunde en el buen desarrollo de las pruebas.”

El sistema se cierra con la previsión de la responsabilidad por posibles daños sufridos por los participantes.

Artículo 12 de la repetidamente citada ley: “Responsabilidad.

1. La responsabilidad por los daños sufridos por los participantes como consecuencia de su participación en las pruebas será exclusivamente del promotor cuando se produzcan por un incumplimiento suyo del protocolo, se deriven de riesgos no informados por él o cuando medie culpa o negligencia por su parte. En caso de daños derivados de fallos técnicos o humanos durante el transcurso de las pruebas la responsabilidad será igualmente del promotor.

Las autoridades que intervengan durante el desarrollo de las pruebas no serán responsables de los posibles daños y perjuicios que pudieran originarse.

2. No se considerarán daños las pérdidas que deriven de la fluctuación de los mercados conforme a lo establecido para cada caso en el correspondiente protocolo.

3. Los participantes serán resarcidos conforme al régimen previsto en el protocolo de las pérdidas patrimoniales y otros daños derivados directamente de dicha participación siempre que el promotor sea responsable del perjuicio causado conforme a lo previsto en este artículo.

4. En ningún caso podrá el protocolo prever que el promotor sea resarcido por la Administración de las pérdidas patrimoniales resultantes de su participación en el espacio controlado de pruebas.

Artículo 13. Garantías por daños.

En el momento de comienzo de las pruebas, los promotores dispondrán, conforme a lo establecido en el protocolo, de garantías financieras para cubrir la responsabilidad por los daños y perjuicios en los que pudieran incurrir conforme a lo previsto en el artículo anterior. Dichas garantías serán proporcionadas a los riesgos y podrán formalizarse o estar formalizadas, entre otros instrumentos, a través de seguros, avales bancarios o fianzas.”)

El Sr. Barragán cerró su exposición inicial con unas valoraciones finales, en las que subrayó la necesidad de coordinación de todas las instituciones y sectores, puesto que en su opinión esta técnica necesitará avanzar de forma horizontal en diversos sectores; destacó que en el específico campo del sandbox considerado la transformación digital es muy ágil muy rápida; y que el sandbox financiero en España tiene éxito en términos de atracción de promotores.

A efectos informativos, podemos indicar que resulta de interés la consulta de diversas páginas webs que ofrecen información sobre el funcionamiento de este sandbox, como ésta Sandbox financiero | Tesoro Público, ésta Banco de España – Servicios – Instituciones – Facilitadores de la innovación (bde.es) y ésta CNMV – Innovación financiera.

En concreto, es especialmente interesante la información del Banco de España, ya que esta institución elabora, conforme al artículo 17.3 de la Ley 7/2020, un documento de conclusiones valorando el desarrollo y resultados de las pruebas de los proyectos finalizados.  En el momento de redactar esta nota, se encuentran disponibles los documentos de conclusiones de la primera cohorte, en la que, entre otros proyectos, se pueden leer las referidas a un proyecto sobre inteligencia artificial explicable para la calificación del riesgo crediticio, que mitigue el efecto de caja negra y sea explicable y transparente (NeuroDecision Technology – IA explicable en la gestión de riesgos). 

Tras esta primera exposición, continuó la jornada con la Sra. Lucía Blanco, Subdirectora Adjunta de Prospectiva, Estrategia y Normativa en materia de Energía del Ministerio para la Transición Ecológica y el Reto Demográfico,con una presentación sobre las características del modelo de sandbox en el ámbito energético.

En este ámbito, el Real Decreto-ley 23/2020, de 23 de junio, por el que se aprueban medidas en materia de energía y en otros ámbitos para la reactivación económica, en su art. 4.11 introdujo una disposición adicional vigésima tercera en la Ley 24/2013, de 26 de diciembre, del Sector Eléctrico, según la cual “se podrán establecer bancos de pruebas regulatorios en los que se desarrollen proyectos piloto con el fin de facilitar la investigación e innovación en el ámbito del sector eléctrico”, amparados en convocatorias del Gobierno en las que se podrán establecer las particularidades y, en su caso, determinadas exenciones de las regulaciones del sector eléctrico que corresponda. 

Finalmente, el modelo previsto legislativamente se ha desarrollado mediante el Real Decreto 568/2022, de 11 de julio, por el que se establece el marco general del banco de pruebas regulatorio para el fomento de la investigación y la innovación en el sector eléctrico.

“De este modo, en virtud de la habilitación que la disposición adicional vigésima tercera de la Ley 24/2013, de 26 de diciembre, otorga al Gobierno, mediante este real decreto se contribuirá a la transformación del sector eléctrico facilitando el proceso innovador pretendido al amparar, de forma controlada, delimitada y supervisada por la Administración competente, la realización de pruebas para el desarrollo de proyectos piloto con alto potencial innovador que redundarán finalmente en beneficio del consumidor, del sector eléctrico y de la sociedad en general.”

La ponente explicó sus características y cómo próximamente se publicará la primera convocatoria.  

Expuso como les ha servido de modelo el sandbox financiero y como el desarrollo del sandbox en materia energética está incluido en el componente 8 del Plan estatal de Recuperación, Transformación y Resiliencia, transición energética justa e inclusiva 16062021-Componente8.pdf (lamoncloa.gob.es) (C8 R4 sandboxes o bancos de pruebas regulatorios).

La estructura se articula en torno a la preexistencia del marco normativo expuesto, la Convocatoria de acceso específica con evaluación previa de solicitudes y la suscripción de un protocolo de pruebas para cada proyecto. El reglamento mencionado contiene un concepto interesante en torno a las pruebas, el concepto de aprendizaje regulatorio, un ciclo de retroalimentación y mejora regulatoria.

Artículo 23.  Aprendizaje regulatorio.

La información extraída del desarrollo de los proyectos piloto, así como de la memoria prevista en el artículo 19, será tenida en cuenta en el procedimiento de elaboración de normas con rango de ley y de reglamentos, de acuerdo con lo establecido en el artículo 26.1 de la Ley 50/1997, de 27 de noviembre, del Gobierno”

Se observan puntos de conexión en la regulación de ambos sandboxes estatales (centrados en el diseño de un procedimiento, con indicaciones de requisitos de participación, forma de las convocatorias, evaluación, etc.), si bien cabría plantearse si la orientación de ambos sandboxes es la misma, ya que en el caso del sector financiero parece que el foco se pondría en la innovación tecnológica (así, el art. 1 de la Ley 7/2020 se refiere a “un entorno controlado de pruebas que permita llevar a la práctica proyectos tecnológicos de innovación en el sistema financiero con pleno acomodo en el marco legal y supervisor”), mientras que en el caso del sector de la energía podría atribuirse la centralidad a la innovación regulatoria (“llevar a cabo ensayos que permitan el desarrollo de proyectos piloto con el fin de facilitar la investigación, la innovación y la mejora regulatoria en el ámbito del sector eléctrico”, indica el art. 1 del Real Decreto 568/2022).

Se cerró este bloque de intervenciones con una conversación entre las personas asistentes al Living Lab, en el que se plantearon interesantes cuestiones y observaciones. Así, el sr. Joaquín López de la CNMC subrayó como los sandboxes pueden ofrecer seguridad jurídica y contribuir a la evaluación ex post, puesto que permiten identificar qué hay que cambiar. En ese sentido, se sostuvo, mejoran la capacidad de las AAPP de aprender. Planteó tres cuestiones referidas a:

  1. Seguridad jurídica: ¿con qué detalle se publican las pruebas para que otras empresas que no participen puedan aprender?
  2. Revisión de regulación: ¿hay obligación de revisar la regulación?
  3. Control de las autoridades regulatorias: ¿Puede existir algo de utilidad extraíble para mejorar el desarrollo de las tareas públicas?

El diálogo en torno a estas cuestiones con los dos ponentes destacó como, respecto a la seguridad jurídica, en estos espacios de prueba se detectan proyectos que se relacionan con ausencia de regulación, incertidumbre e inseguridad jurídica, lo que es útil para conocer lagunas jurídicas. Por otro lado, si bien no existe obligación jurídica de revisión de la regulación, estas pruebas ayudan mucho a comprender el sector y proveen de expertise a los reguladores, siendo también positivos para las empresas privadas que concurren y ven sus proyectos avalados como interesantes por los mismos. 

También se suscitó, por intervención del Prof. Vaquer, una reflexión sobre el concepto de participantes. Una cosa es el promotor, otra distinta es el participante. No parece decirse mucho en las regulaciones mencionadas sobre los participantes. Eso ¿podría generar un riesgo de perder objetividad? Por ejemplo, los promotores podrían retribuir a los participantes, con la posible introducción de un sesgo.

Tras el debate y un descanso se inició el segundo bloque, dedicado específicamente al ámbito local.

En este segundo bloque, de turno abierto de palabra, el Prof. Ponce aludió al caso francés, con la llamada Loi Elan, una ley que prevé la experimentación en el ámbito de los límites al precio de los alquileres, estableciendo una evaluación ex post de las decisiones municipales (Loi n° 2018-1021 du 23 novembre 2018 portant évolution du logement, de l’aménagement et du numérique), que será analizada en el futuro Anuario por la profesora Chambas. 

Asimismo, puso de relieve que la experimentación, al menos en la letra de la ley, no era desconocida entre nosotros antes de la era sandbox, pero las iniciativas han sido escasas, sino inexistentes. Al respecto se refirió a las pruebas piloto regulatorias que contempla la legislación desde 1989, y ahora en la ley catalana de transparencia, acceso a la información y buen gobierno (en la que se indica que “La Administración pública puede promover pruebas piloto previas a la aprobación de las nuevas medidas reguladoras para verificar su idoneidad. Estas pruebas piloto deben aplicarse mediante convenios suscritos con las entidades representativas de los sectores afectados, con los efectos y condiciones que determine el convenio”, art. 64.4 de la Ley 19/2014, de 29 de diciembre, de transparencia, acceso a la información pública y buen gobierno). 

Finalmente destacó como la experimentación no es extraña ni ajena al mundo local español, aludiendo a la previsión de sandboxes en materia de movilidad urbana sostenible previsto mediante ordenanza del Ayuntamiento de Madrid (Ordenanza 10/2021, de 13 de septiembre, por la que se modifica la Ordenanza de Movilidad Sostenible de 5 de octubre de 2018, art. 233).

A continuación, en un turno abierto de intervenciones, la Sra. Isabel Buatas, Directora de Expodronica, dio cuenta del proyecto europeo de investigación U-ELCOME (U-Space European Common Deployment) para la integración de los drones pilotados remotamente en el espacio aéreo controlado, en el que participan varias administraciones españolas (también locales, como el Ayuntamiento de Zaragoza) y entidades de otros Estados, proyecto que prevé el uso de un sandbox.  A partir de esta experiencia, se comentó que el principal problema que se han encontrado es la determinación de la responsabilidad civil en caso de daños producidos por la aeronave tripulada remotamente. 

También se hizo referencia a la posibilidad de derogar normas temporalmente, como elemento de experimentación en el campo de la regulación (las llamadas cláusulas sunset, no utilizadas en España, pero si a nivel europeo y en otros países), y se sugirió la necesidad de contar con un marco normativo general sobre experimentación regulatoria que podría encuadrarse en una futura regulación de la ley 39/2015, de 1 de octubre, del procedimiento administrativo común, en el marco de los principios de buena regulación. 

También se hizo referencia a la iniciativa de la CNMC Municipios y Competencia, puesto que en ella se ha propuesto el empleo de sandboxes en ámbito local respecto de la movilidad urbana compartida, tal y como lo recoge la Autoridad Catalana de Competencia (ACCO) en un documento de recomendaciones.    

Seguidamente, tuvo lugar la última ponencia de la jornada, a cargo del Prof. Juan Luís Jiménez, del Departamento de Análisis Económico Aplicado de la Universidad de Las Palmas de Gran Canaria.  En su interesante intervención, defendió la necesidad de evaluar las políticas públicas y la forma en que podría hacerse, para lo que se refirió a metodologías empíricas de evaluación.  Aplicando técnicas de evaluación, tal y como ejemplificó el ponente, algunas políticas públicas podrían considerarse poco efectivas, ya que no habían conseguido su propósito. 

Finalmente, el acto se cerró con la intervención de las personas organizadoras del Living Lab, en que agradecieron a ponentes y asistentes su participación en la sesión. 

Creemos que las reflexiones y debates de la sesión han de ser de especial interés también para la regulación de la inteligencia artificial. Sobre todo teniendo en cuenta que se anuncia que el Gobierno de España presenta, en colaboración con la Comisión Europea, el primer piloto del sandbox de regulación de Inteligencia Artificial en la UEque habrá que seguir con el máximo interés, y no es el único nivel de poder que en España se interesa por esta cuestión, puesto que Aragón, por ejemplo, parece seguir un camino semejante.

El video completo de la jornada puede visionarse aquí: 

https://us06web.zoom.us/rec/play/X1WfLqecuqaCVJo1df_KQ8HezDo2AW9pJWs9JjMB8OtphjbsVxsi7J7VpkBLjyybTsnPlOpxR6IrSqz1.YYlsyiXtkGlwOfQO

Passcode: E1e@KHa9

Juli Ponce Solé

Realizado el tercer Seminario del ciclo del Derecho y del Revés Tecnológico, a cargo de la Dra. Helena Matute

El pasado 2 de noviembre, en el marco del ciclo de seminarios periódicos Del Derecho y del Revés tecnológico: diálogos entre programadores y juristas, se celebró el tercero, bajo el título Sesgos cognitivos humanos y sesgos de la Inteligencia Artificial, a cargo de la Dra. Helena Matute

Helena Matute es Doctora en Psicología y Catedrática de Psicología Experimental en la Universidad de Deusto (Bilbao), donde imparte clases en el grado y el doctorado de Psicología, y dirige el equipo de investigación del Laboratorio de Psicología Experimental, reconocido como equipo de alto rendimiento por el Gobierno Vasco. 

Ha dirigido 12 tesis doctorales, ha impartido seminarios y cursos de doctorado en numerosas universidades nacionales y extranjeras, y ha sido investigadora visitante en las universidades de Málaga, Minnesota (USA), Gante (Bélgica), Sídney (Australia) y Queensland (Australia).

Investiga sobre aprendizaje y memoria, concretamente en las áreas de sesgos cognitivos, ilusiones causales, y pseudociencias, así como sobre la relación de las personas con las nuevas tecnologías. Parte de su investigación ha estado también encaminada al desarrollo de métodos innovadores de investigación en Psicología, incluyendo la creación de tareas computacionales para poder estudiar el aprendizaje, la memoria, y los juicios causales, tanto en laboratorio como en Internet. 

Ha publicado dos libros sobre la relación de las personas con las nuevas tecnologías y otros dos sobre psicología del aprendizaje. Ha publicado numerosos artículos de investigación en las principales revistas científicas internacionales de su especialidad, y ha sido Editora Asociada del Quarterly Journal of Experimental Psychology, revista de la Experimental Psychology Society.

Matute ha sido Presidenta de la Sociedad Española de Psicología Experimental, y de la Sociedad Española de Psicología Comparada. Ha formado parte de la Comisión Permanente del Proyecto ENCIENDE, de COSCE, y ha sido colaboradora de la Dirección General de Investigación en la gestión del Plan Nacional de I+D en el área de Psicología. Forma parte de Consejo Científico Asesor de FECYT, la Fundación Española para la Ciencia y la Tecnología y de Jakundie, la Academia Vasca de Ciencias, Artes y Letras. Su trabajo ha sido reconocido con el premio Prisma y el premio JotDown-DIPC.

Con este impresionante currículum, era lógico invitar a la Dra. Matute para que nos hablara de sesgos cognitivos humanos y sus relaciones con los sesgos de la inteligencia artificial. Su intervención no decepcionó, pues fue amena e interesante, y dio lugar a diversas preguntas posteriores que hicieron que la sesión se quedara corta, dado el interés despertado.

De la sesión, que quedó registrada en video y puede ser visionada aquí (passcode: #d$Kxq3*), pueden destacarse diversos aspectos. 

Así, que el enfoque transdisciplinar en materia de inteligencia artificial es imprescindible, aunque no fácil, si bien algunas estrategias sensatas pueden contribuir a su adecuado desarrollo, como puede comprobarse aquí (4-2018.pdf (ub.edu)). Por otro lado, que las aportaciones de la psicología tienen mucho interés para el Derecho y la gestión pública, puesto que ambos se ocupan de humanos tomando decisiones (legislativas, judiciales, ejecutivas) por lo que su conducta es relevante para evitar ilegalidades y mal gobierno y mala administración, y promover el respeto del Derecho y el buen gobierno y la buena administración, y de ahí que las aportaciones conductuales lo sean también.

Otro aspecto destacado por la Dra. Helena Matute fue, y así acabó la primera parte de su exposición, que los humanos no podemos fiarnos de nuestro cerebro, pues no infrecuentemente nos engaña, de forma sistemática y previsible, dando lugar, precisamente, a los sesgos cognitivos a los que se refirió.

Sesgos que han pasado a ser no sólo un concepto de la Psicología, sino también un concepto jurídico. Efectivamente, la aprobación de la Ley 15/2022, de 12 de julio, integral para la igualdad de trato y la no discriminación ha traído la alusión a los sesgos en su artículo 23:

Artículo 23. Inteligencia Artificial y mecanismos de toma de decisión automatizados.

1. En el marco de la Estrategia Nacional de Inteligencia Artificial, de la Carta de Derechos Digitales y de las iniciativas europeas en torno a la Inteligencia Artificial, las administraciones públicas favorecerán la puesta en marcha de mecanismos para que los algoritmos involucrados en la toma de decisiones que se utilicen en las administraciones públicas tengan en cuenta criterios de minimización de sesgos, transparencia y rendición de cuentas, siempre que sea factible técnicamente. En estos mecanismos se incluirán su diseño y datos de entrenamiento, y abordarán su potencial impacto discriminatorio. Para lograr este fin, se promoverá la realización de evaluaciones de impacto que determinen el posible sesgo discriminatorio.

Como vemos, la ley alude a los sesgos, pero no los define. De ahí que sea tan importante acudir a otras ciencias, como la Psicología, para no cometer un posible y trágico error: entender que un sesgo implica discriminación siempre y que, por tanto, si no hay discriminación, no hay sesgo. Pero, siguiendo el juego de palabras, ocurre que puede existir sesgo y no discriminación, al igual que puede existir discriminación sin sesgo.

De forma implícita, en los medios de comunicación y también en el mundo jurídico, cuando se habla de sesgo se entiende que hay una discriminación por violación del derecho a la igualdad. Pero las cosas no son tan simples.

Efectivamente, en Derecho español, la palabra sesgo me da la impresión que no ha tenido tradicionalmente un papel destacado, a diferencia de otros derechos, donde el concepto de sesgo sí tiene un significado jurídico (como bias, en Derecho angloamericano). De hecho, si buscamos sesgo en el Diccionario Panhispánico del Español Jurídico, no aparece. Si lo hacemos en el Diccionario de la RAE, aparece la palabra sesgo con las siguientes acepciones:

1. adj. Torcido, cortado o situado oblicuamente.

2. adj. Grave, serio en el semblante.

3. adj. p. us. quieto (‖ pacífico, sosegado).

4. m. Oblicuidad o torcimiento de una cosa hacia un lado, o en el corte, o en la situación, o en el movimiento.

5. m. Corte o medio término que se toma en los negocios dudosos.

6. m. Curso o rumbo que toma un negocio.

7. m. Estad. Error sistemático en el que se puede incurrir cuando al hacer muestreos o ensayos se seleccionan o favorecen unas respuestas frente a otras.

8. f. nesga.

al sesgo

1. loc. adv. oblicuamente.

Ante esta falta de significado específico jurídico, otras ciencias si han usado históricamente la palabra sesgo. La Dra. Matute nos habló del uso de este término que se realiza en la psicología cognitiva, y su adopción en la Economía y el Derecho conductuales, como hemos destacado en este blog en otro momento, que define al sesgo como un error sistemático de la mente al emplear heurísticos o atajos cognitivos. Desde esta perspectiva conductual, no cabe contraponer los sesgos cognitivos humanos a su supuesta ausencia en los programas informáticos. Porque, en primer lugar, los sesgos cognitivos humanos de los programadores, que pueden ser inconscientes, pueden traspasarse a los algoritmos. Dichos sesgos no sólo pueden producir discriminación, sino que el panorama es más rico y complicado: sesgos como el de disponibilidad o del de confirmación pueden provocar que la información seleccionada para nutrir el sistema no sea discriminatoria quizás, pero en todo caso, no será la adecuada para obtener un buen funcionamiento. 

Además, en segundo lugar, los datos con que se alimenta el sistema probablemente estarán sesgados, como lo está nuestra sociedad, por lo que, en el caso de sistemas de aprendizaje automático, el sistema va a usar datos sesgados y además se va a sesgar conforme “aprenda” autónomamente. Aquí es de aplicación la conocida frase en este ámbito relativa a que “si entra basura, sale basura” (garbage in garbage out). El sesgo de los datos no solo tiene relación con los sesgos sociales preexistentes (machismo, racismo…) sino que además se ve reforzado por el hecho de los conjuntos de datos que se emplean en programación provienen de un puñado de instituciones, muchas de ellas corporativas occidentales. En concreto, los estudios disponibles ponen de relieve que hay una creciente desigualdad en el uso de conjuntos de datos a nivel mundial, y que más del 50% de todos los usos de conjuntos de datos en la muestra empleada correspondieron a conjuntos de datos introducidos por doce instituciones de élite, principalmente occidentales, como la Universidad de Stanford, Microsoft, Princeton, Facebook, Google, el Instituto Max Planck y AT&T, siendo cuatro de las diez principales fuentes de conjuntos de datos provenientes de instituciones corporativas

Por otro lado, la Estadística también emplea la palabra sesgo con un significado específico. Además, pues, pueden producirse sesgos estadísticos a añadir a los anteriores, cognitivos y de datos. El sesgo estadístico es una inclinación sistemática que está presente en el proceso de recopilación de datos y que da lugar a resultados desviados y engañosos, que hacen divergente la teoría y la realidad. Este sesgo puede aparecer por diversas razones. Así, por la manera de seleccionar la muestra, siendo la aleatoriedad la clave para reducir ese posible sesgo. También por la manera de recopilar los datos, conectando con lo que dijimos antes sobre los datos sesgados.

En consecuencia, pueden existir sesgos cognitivos humanos, de disponibilidad (el programador atiende a la información más disponible descartando otras), de confirmación (el programador toma en consideración sólo información que confirma su visión del mundo), de automatización (el programador o el usuario confían excesivamente en el correcto funcionamiento de la IA), que influyan en el uso de la Inteligencia Artificial, no provocando necesariamente discriminación alguna, pero si un uso inadecuado de ésta y posibles violaciones del ordenamiento jurídico, por ejemplo en el ámbito público, por no tener en cuenta el sistema todos los hechos relevantes para la toma de la decisión.

Por tanto, el mensaje es sencillo: los sesgos son negativos, incluso pueden dar lugar a ilegalidades, pero no siempre ni necesariamente a discriminaciones.

Por último, es preciso destacar que los sesgos son errores sistemáticos y predecibles de nuestro cerebro, que no tienen porqué ser inducidos por nadie más. Esto es, nuestra mente nos engaña a nosotros mismos por sí sola. Pero tampoco hay que descartar que ese engaño sí sea inducido por otros, esto es que se nos manipule para explotar nuestros sesgos. 

A ello se refirió también la Dra. Matute y, como hemos tenido ocasión de exponer en este blog en otro momento, es un problema que preocupa a instituciones como el Comité de Ministros del Consejo de Europa, que en una declaración de 13 de febrero de 2019 ha alertado sobre el riesgo aquí apuntado (Declaration by the Committee of Ministers on the manipulative capabilities of algorithmic processes, Adopted by the Committee of Ministers on 13 February 2019 at the 1337 meeting of the Ministers’ Deputies). Aquí, de nuevo, el Derecho y la regulación tienen un papel para evitar dicha manipulación, como sucede en el caso del uso de patrones oscures (dark patterns), que pueden ser potenciados por la IA, fenómeno al que también hemos hecho aquí referencia.

En fin, el diálogo posterior con la Dra. Matute supo a poco y, junto con su ponencia, nos abrió un mundo a explorar conjuntamente. Pero, afortunadamente, en espera de la siguiente ocasión en que pueda estar con nosotros, contamos ya con la posibilidad de leer y consultar sus trabajos y opiniones contenidos en su página Helena Matute | Experimental Psychologist / Psicóloga Experimental (wordpress.com), así como con un magnífico libro dirigido a no especialistas cuya lectura es muy recomendable y con cuya portada cerramos esta entrada:

Seminario

Information about the Research Seminar Series: ARTIFICIAL INTELLIGENCE GOVERNANCE: ETHICS and LAW

We would like to inform about the Research Seminar Series organized by AIGEL.

AIGEL is a joint initiative of the UAB Institute of Law and Technology (IDT-UAB) and the Institute for Artificial Intelligence of the Spanish Research Council (IIIA-CSIC) (Barcelona), supported by the Faculty of Law of the Autonomous University of Barcelona, La Trobe Law School LawTech Research Group (Melbourne), and the Thomas More Law School of the Australian Catholic University.

The main objective of the Seminar Series, Artificial Intelligence Governance: Ethics and Law which ethical and legal instruments are needed to face challenges in the field of AI constitute a common task for computer scientists, philosophers, and social, political, and legal scholars in the 21st century.

This first Seminar will explore new trends and their relationships with ethical and legal governance approaches in computer science. A wide range of digital and blockchain environments stemming from European and national projects will be examined, paying a particular attention to the financial and banking areas.

Lectures and presentations will take place from November 2nd to December 19th, 2022The Sessions will be offered both in situ and online and will be recorded.

All Sessions will be held at Saló de Graus of the UAB Faculty of Law, from 2.30 pm to 4pm. 

Each session (except the first one) will last 1.30 hours, divided into two different times of 45 minutes each:  Lectures, followed by questions-answers. The Chair of the session will conduct the question/answer process. 

The Seminar will end up with a whole-day Scientific Workshop on December 19th

Papers will be available at CEUR by the end of December 2022.

Here you can find the list of lectures and details about the Scientific Workshop as well as the links at the end of the explanation:

Lectures

2 November

  1. 2 pm – 2.15 pm. Susana Navas (Dean Faculty of Law UAB), Esther Zapater (UAB Secretary and IDT Director), Patrick Keyzer (Dean of the Thomas More Law School), and Carles Sierra (IIIA-CSIC Head): Welcome and Opening Session
  2. 2.20 pm – 2.30 pm. Pompeu Casanovas (UAB-LTU) and Pablo Noriega (IIIA-CSIC): Present Issues in AI, Ethics and Law.
  3. 2.30 pm – 3.15 pm. Louis de Koker (LawTech, La Trobe University): The Application of AI Technologies to Support the Combating of Money Laundering and the Financing of Terrorism and Weapons of Mass Destruction.
  4. 3.15 pm – 4.00 pm. Discussion. Chair : Carles Sierra

9 November

  1. 2.30 pm –3.15 pm. John Zeleznikow (La Trobe LawTech Research Group): Online Dispute Resolution Governance: Ethics and Law.
  2. 3.15 pm – 4.00 pm. Discussion. Chair : Louis de Koker

16 November

  1. 2.30 pm – 3.15 pm. Pablo Noriega and Enric Plaza (IIIA-CSIC): Policy Simulation as an Instance of the Value Alignment Problem.
  2. 3.15 pm – 4.00 pm. Discussion. Chair :  Nardine Osman

23 November

  1. 2.30 pm – 3.15 pm. Mustafa Hashmi (La Trobe LawTech Research Group):  Business and Legal Compliance: A Formal Approach
  2. 3.15 pm – 4.00 pm. Discussion. Chair:  Pompeu Casanovas

30 November

  1. 2.30 pm – 3.15 pm. Nadia Pocher (IDT-UAB): Detecting Anomalous Cryptocurrency Transactions: AML/CFT/CPF applications of Machine Learning-based Forensics.
  2. 3.15 pm – 4.00 pm. Discussion. Chair: Carles Górriz.

14 December

  1. 2.30 pm – 4.00 pm Carles Sierra and Nardine Osman (IIIA-CSIC): Value Engineering in AI
  2. 3.15 pm – 4.00 pm. Discussion. Chair: Enric Plaza.

Scientific Workshop

19 December

  1. 9.00 am – 9.20 am. Assumpció Malgosa (UAB Vice-chancellor Research Deputy), Patrick Keyzer (Dean of the Thomas More Law School, Australia), Carles Sierra (Head of IIIA-CSIC) and Esther Zapater (UAB Secretary and Head of IDT-UAB)  

First Session: Legal Governance, Compliance, and Policy

Chair: Nardine Osman

  1. 9.20 am 9.40am. Pablo Noriega (IIIA-CSIC): Online Institutions.
  2. Harko Verhagen, Julian Padget, Mark d’Inverno and Pablo Noriega:  Ethical (Online) Systems through Conscientious Design.
  3. 10.00 am – 10.20 am. Víctor Rodríguez-Doncel (Universidad Politécnica de Madrid): Ethics and the Web of Linked Data
  4. 10.20 am – 10.45 am. Open Discussion.

10.45 -11.15 Coffee Break

Second Session: Legal Governance, Compliance, and Policy

Chair: Marta Poblet

  1. 11.15 am – 11.35 am. Patrick Keyzer (Australian Catholic University): Constitutional Open Rights
  2. 11.35 am – 11.55 am.   Pompeu Casanovas (IDT-UAB-LawTech LTU), Mustafa Hashmi (LawTech-LTU) and Louis de Koker (LawTech-LTU): Legal Governance Systems and Ethics.
  3. 11.55 am – 12.15 pm. Nicholas Morris and Sue Jaffer (La Trobe LawTech Research Group): Trust, Wealth, and Governance in Developing Countries.
  4. 12.15 am – 12.35 pm José Antonio Fernández Amor (IDT-UAB): Criptoactives as Taxable Wealth.
  5. 12.35 pm – 13.00 pm. Open Discussion

13.00 – 14.00 Lunch (Catering)

Third Session: AI Applications in Health, Mobility and Corporate Environments

 Chair: Pompeu Casanovas

  1. 14.00 pm – 14.20 pm. José Ibeas (Nephrology Service of the Parc Taulí University Hospital (Sabadell, Barcelona) and oordinator of the Clinical, Interventional and Computational Nephrology Group (CICN) of the Research and Innovation Institute Parc Taulí):  Artificial Intelligence Applied to Kidney Disease or the Challenge of Decision Support in Complex Patients
  2. 14.20 am – 14.40 am. Eliseo Sierra (IDT-UAB): Connected and Automated Mobility: Shaping Europe’s digital future.
  3. 14.40 pm – 15.00 pm. Carles Górriz (IDT-UAB): Big Tech and AntiTrust: Lessons from a Transatlantic Comparison.
  4. 15.00 pm – 15.30 pm. Open Discussion

Fourth Session: Ethics and Law in Online Dispute Resolution, Blockchain and Industry 4.0

Chair: Louis de Koker

  1. Ethics and Law. Marta Poblet (Royal Melbourne Institute of Technology, RMIT): Blockchain Governance.
  2. 15.50 pm – 16. 10 pm. Josep Suquet (IDT-UAB): Protecting the consumers of Over-the-Top Platforms.
  3. 16.10 pm – 16. 30 pm. Emma Teodoro and Andrea Guillén (UAB-IDT): Ethical and Legal aspects of Human-centricity in Smart Factories.
  4. 16.30 pm – 16.55 pm. Open Discussion

17.00– 17.20 Tea Break

5th Session: Ethics, Politics and Philosophy

Chair: Esther Zapater

  1. 17.20 pm – 17.40 pm. Wendy R. Simon (IDT-International University of Catalonia): Identity and the Foundations of Liberal Democracy
  2. . Mario Macías (IDT-UAB): The Double Effect Principle: From Thomas Aquinas to its Current Meaning.
  3. 18.00 pm – 18.20 pm Open Discussion

Closing Session

  1. 18.20 pm – 18.35 pm. Pompeu Casanovas, Pablo Noriega and Louis de Koker: Summaryand Wrapping Up.
  2. 18.35 pm – 18.45 pm. Esther Zapater (UAB Secretary and Head of IDT-UAB) and Carles Sierra (Head of IIIA-CSIC): Closing and Final Words

Links

LINK for the afternoon sessions.

LINK for the Scientific Workshop (December 19th)

The activities are developed in the framework of several research projects:

National Projects

Project Reorientación de los instrumentos jurídicos para la transición empresarial hacia la economía del dato. Proyectos de Generación de Conocimiento 2021 del Ministerio de Ciencia e Innovación. PID2020-113506RB-100 (2021-2024)

Project Conducción autónoma y seguridad jurídica del transporte. Proyectos de Generación de Conocimiento 2021 del Ministerio de Ciencia e Innovación. PID2021-123070NB-I00 (2022-2025)

H2020 EU Projects

OPTIMAI. A Decision Support Framework for quality control in produced industrial parts. Quality control in smart manufacturing H2020-(IA) DT-FOF-11-2020

I ITFLOWS. Tools and Methods for Managing Migration Flows, SU- BES01-2018-2019-2020 Grant Agreement ID: 882986.

RIoE. Rights of the Internet of Everything EU project 814177 – LAST-JD-RIoE, H2020-MSCA-ITN-2018 (Marie Skłodowska-Curie Innovative Training Networks) Law, Science and Technology Joint Doctorate.

Seminario

“Sesgos cognitivos humanos y sesgos de la Inteligencia Artificial”, 3r seminario periódico, a cargo de la Dra. Helena Matute

Dentro del marco del ciclo de seminarios periódicos Del Derecho y del Revés Tecnológico: Diálogos entre Programadores y Juristas el próximo 2 de noviembre de 2022 se celebra el tercer Seminario Sesgos cognitivos humanos y sesgos de la Inteligencia Artificial

La ponente invitada en esta ocasión es la catedrática de Psicología Experimental de la Universidad de Deusto, la Dra. Helena Matute. La Dra. Matute dirige el Laboratorio de Psicología Experimental, de la misma institución, enfocado en el aprendizaje de contingencias (aprendizaje de relaciones causales y predictivas, sesgos cognitivos, ilusiones causales, aprendizaje de lectoescritura y pseudociencias), y es experta también en Psicología de las Nuevas Tecnologías.

El Seminario, con inicio a las 12.00h., se ofrece de manera presencial en el Salón de Grados de la Facultad de Derecho de la Universidad de Barcelona (Av. Diagonal, 684, Barcelona), así como on-line.

La asistencia a la actividad es gratuita y abierta a toda persona interesada. Recordamos que al aforo es limitado, por lo que rogamos confirmación de asistencia antes del 1 de noviembre por email a petia.guintchev@ub.edu

Para quien desee asistir remotamente, a la recepción de la inscripción se le remitirán por correo electrónico los enlaces y los códigos para la conexión.

Pueden encontrar toda la información aquí

Crónicas de los seminarios periódicos Del Derecho y del Revés tecnológico: diálogos entre programadores y juristas:

Seminario 2: “El bono social energético y el programa Bosco: sobre algoritmos, errores y código fuente. A propósito de la primera decisión judicial recaída en 2021” con el Dr. Javier de la Cueva

Seminario 1: «Decisiones automatizadas. Problemas y soluciones jurídicas: más allá de la protección de datos» con la Dra. Alba Soriano

Recordamos que este ciclo de seminarios es desarrollado en el marco del proyecto de investigación PID2020-115774RB-I00, Investigadores principales: JULIO PONCE SOLE i AGUSTÍ CERRILLO i MARTÍNEZ / Título: PERSONALIZACION DE LOS SERVICIOS PUBLICOS, SESGOS E INTELIGENCIA ARTIFICIAL: HACIA LA CONSOLIDACION DE LOS DERECHOS DIGITALES EN LAS ADMINISTRACIONES PUBLICAS.

Juli Ponce Solé

The energy social bonus and the Bosco program: about algorithms, bugs and source code. Regarding the first court decision handed down in 2021: a bad judgment that we hope will be corrected soon

Last Friday, September 23rd, 2022 took place the second activity of the periodic Seminars called Del Derecho y del Revés tecnológico: Dialogues between programmers and jurists at the Faculty of Law of the University of Barcelona, in the framework of the research project PID2020-115774RB-I00, entitled PERSONALIZATION OF PUBLIC SERVICES, BIASES AND ARTIFICIAL INTELLIGENCE: TOWARDS THE CONSOLIDATION OF DIGITAL RIGHTS IN PUBLIC ADMINISTRATIONS, whose Principal Investigators are Juli Ponce and Agustí Cerrillo.

On this occasion we had as special guest Dr. Javier de la Cueva. Javier de la Cueva has a degree in Law, a Master in Advanced Studies in Philosophy and a PhD in Philosophy from the Complutense University of Madrid. He works as a lawyer, as a lecturer at the University of the Instituto de Empresa, and as a researcher. As a lawyer, he specializes in Information and Communication Technologies (ICT) Law. He lectures and writes books on his specialization. He has been a GNU/Linux user since 1998 and a system administrator under this operating system since 2003. He is a trustee of the Civio Citizen Foundation.

The purpose of the activity was the analysis of the Spanish judgment of December 30, 2021 (Central Court for Contentious-Administrative Proceedings No. 8). This judgment has analyzed for the first time in Spain the automated decision making and the obligations of transparency with respect to these, especially with regard to the source code of the program called BOSCO used by the Spanish Administration. Javier de la Cueva himself, in collaboration with Ana Valdivia, has reported on this court decision in English in the German open discussion forum Verfassungsblog.

The background of the judicial decision very briefly explained is as follows. In accordance with Directive 2009/72/EC of the European Parliament and of the Council of 13 July 2009 concerning common rules for the internal market in electricity (art. 3.2), the Spanish parliament passed a law providing for the granting of a social bonus (Law 24/2013, of 26 December, on the Electricity Sector, art. 45, amended several times and developed by various subsequent regulations, included in the judgment we will comment on, which has given rise to high litigation). This voucher is a social benefit aimed at protecting certain consumers with specific personal circumstances and low income («vulnerable consumers») consisting of applying a discount on the price of electricity consumed in their usual home, to prevent them from suffering the so-called energy poverty, which affects many European citizens.

Fundación Civio, a private foundation committed to transparency and good governance in Spain that does extraordinarily valuable work, detected that the lack of information from the administration and the complexity of the process meant that thousands of people were not applying for the new model on time. The Civio Foundation denounced this fact and at the same time created its own app to help vulnerable groups to apply for the aid. Dozens of municipalities, social organizations, groups and media inserted it on their websites, reaching many thousands of people.

The use of that Civio application highlighted that something was not working properly: using the Civio application and the Bosco program at the same time, the results were not identical, with the second one denying applications from people who were entitled to the social bonus, according to the current regulation. Fundación Civio then collaborated with the Spanish Government to try to alleviate the problems detected and requested in 2018 access to the source code of BOSCO, in accordance with Spanish transparency legislation, because there were indications of errors in its configuration that prevented the correct application of the legislation.

The Foundation did not receive any response from the Spanish Administration. Faced with this administrative silence, an «aberrant practice» of maladministration, the Foundation, again using Spanish transparency legislation, went that same year to the Council for Transparency and Good Governance, an administrative body created specifically for the protection of the right of access to information.

The Council partially agreed with Civio in 2019 and obliged the Administration to grant access to the technical specification of said application, to the result of the tests carried out to verify that the BOSCO application complies with the functional specification and any other element that would allow to know how the application works.

However, it denied access to the source code, since the Council considered that the limit contained in Article 14.1 letter j) of the Spanish transparency legislation, relating to intellectual property, was applicable.

Civio then decided to go to court. That same year 2019, it filed a lawsuit requesting access to BOSCO’s source code. The aforementioned judgment of December 30, 2021 resolved said request, denying it and closing a first phase of the conflict, which is going to continue, since an appeal has already been filed before a second court.

What were Civio’s arguments and why did this judicial denial occur?

Javier de la Cueva explained that in the face of Civio’s allegations of violation of the principle of prohibition of arbitrariness (art. 9.3 of the Spanish Constitution) and the absence of legal protection of intellectual property in a program developed by the public administration itself, the judicial body was impervious.

Regarding the first, Civio argued that the impossibility of accessing the source code of the programs causes the law to become an automated application through a binary code that is impossible to read, thus removing not only the principle of legality, but all kinds of hermeneutic, argumentative and ethical possibilities that can be used only and exclusively in the results generated, but that cannot enter into any of the causes and, much less, in the system of rationality on which the decision making is based, which violates the right to know the motivation of the resolutions.

However, the court decision holds that by recognizing the right to the bono social the Spanish Administration (translations are ours):

 «It adjusts its actions to the aforementioned regulations, issuing the corresponding administrative act. And for this purpose, it uses a computer application, called «BOSCO information system», which is inserted in a phase of the administrative procedure, the purpose of which is to verify compliance with the requirements previously established by the aforementioned regulations. This being so, it cannot be considered that the administrative act is dictated by a computer application, but by an administrative body, and in the event that the addressee of said act is not in agreement with it, he/she can challenge it through administrative and judicial channels. Therefore, the legality of the administrative act is not justified by the computer application that is instrumentally used in a phase of the corresponding administrative procedure, but by the regulations governing the matter».

According to the judgment, from the evidence at trial:

 «The allegation of the appellant entity regarding the existence of failures or calculation errors in the application, particularly for certain groups, is therefore unfounded. And in the cases of «impossibility of calculation», due to the lack of sufficient information of the applicant in the databases connected to the application, the applicant is required to provide the documentation, and based on this, it is determined whether the right to the social bonus exists or not. These are cases in which the automatic calculation through the application is not possible, but not cases of denial of the social voucher«.

Therefore, the judgment makes a formalistic argument, reaching the conclusion that «Based on the foregoing, it must be considered that the denial of access to the source code of the computer application does not imply a violation of the principle of legality, since, ultimately, it will always be possible to verify whether the applicant meets the requirements for the social bonus to be granted«.

Regarding the second allegation that there is no violation of the limit of the Spanish transparency legislation that prevents access to information if there is an infringement of intellectual property, the ruling states that:

 «The source code of the aforementioned computer application does not fall within the exclusions of intellectual property, mentioned in article 13 of Royal Legislative Decree 1/1996, of April 12, 1996, on intellectual property, a precept invoked by the appellant entity, since said code is neither a norm nor an administrative act».

The sentence insists that «it must therefore be considered that there is no rule that imposes on the Administration the development of open-source applications or the acquisition of free software«. Finally, the claim formulated by Civio to be granted access to part of the source code is rejected, as this is a new claim, not formulated in the lawsuit. In addition, the sentence adds considerations on the impossibility of granting access to the source code, since doing so would create problems of vulnerability of the program and affect public security (?).

Javier de la Cueva considered the context and content of the judgment, explained above, in the first part of his presentation. He pointed out that although jurists have been using algorithms for hundreds of years (e.g., later law repeals earlier law), the issue of algorithmic systems used in artificial intelligence raises epistemological problems related to judicial ignorance and the lack of attitude to integrate this necessary knowledge. He also underlined how the Spanish judicial decision departs from the solutions given in other European countries to similar cases.

In his opinion, access to the source code is essential to know if the program works correctly or if there are programming errors. For De la Cueva, the documents to which access has been given (remember, the technical specification of the application and the result of the tests carried out to check that the BOSCO application complies with the functional specification) are insufficient. He used a comparison: it would be a case similar to that in which a news item is written about a judicial sentence, commenting on it, without providing the sentence itself. It is essential to have the text of the sentence to be able to know if what the journalist says in the news item is correct or not.

Regarding the problem of intellectual property, Javier de la Cueva alluded to Spanish legislation on intellectual property and the fact that sentences, rules and regulations and the acts, agreements, deliberations and opinions of public bodies do not have intellectual property rights (art. 13). Moreover, there are works protected by copyright that the Administration has no problem in offering to the public, such as cartography or statistical tables, for example. The interpretation of the Intellectual Property Law must be done systematically: copyright only refers to private activity.

On the other hand, in De la Cueva’s opinion, the sentence commits a mistake in the interpretation of the facts, since, despite what it states, there is no official to make the decision because it is an automated decision.

Pending the decision of the court (Audiencia Nacional) that will review the sentence, De la Cueva explained how the Council for Transparency and Good Governance, which in this first litigation appeared alongside the State Administration, has decided, has now decided that it does not now oppose the appeal filed by Civio to the sentence «as it understands that said sentence is not in accordance with the law», according to a letter from the new legal representation of the Council. In fact, the Council, faced with a different claim filed by a citizen in 2021 on the access to the source code used in the computer application through which proceeded to the draw of courts associated with selective processes of an autonomous community grants it, denying that intellectual property prevents such access.

As De la Cueva pointed out, just by facilitating this change in the Council’s position, the litigation has already had positive consequences.

After Javier de la Cueva’s presentation, Professor Joost Joosten made a presentation on the same, highlighting some points. First, Professor Joosten emphasized that he agreed that there are many different types of algorithms and that in each case it is necessary to specify which of them we are dealing with. An important distinction for Joosten is the distinction between statistical algorithms (machine learning, etc.) and rule-based algorithms such as BOSCO, a distinction that does not prevent us from speaking of artificial intelligence in both cases, as stated, for example, in Annex I of the draft EU Regulation on artificial intelligence.

Professor Joosten pointed out that at the beginning of the case that has given rise to the judgment, the problem of possible program errors arose. This is a relevant issue, since it is possible and necessary to advance in the detection and avoidance of possible errors in algorithmic systems, in order to avoid problems such as those generated by BOSCO.

Professor Joosten stated that he does not believe that having access to the source code is the solution to problems such as the one that has arisen, since such code may be incomprehensible. He considered that in any case, access to the source code of the BOSCO program should be given, since it is a program developed by the Public Administration that should serve the citizens and with the use of public resources. He pointed out that progress should be made towards the use of a language that is understandable to non-technicians in relation to AI. He also mentioned the existence of an application that can check that what is stated in the technical specifications document (which for him is very important) coincides with what the program actually does in each case, although it is a verification system that is still in the process of being perfected.

Professor Joost concluded with a question about the ruling, from a non-lawyer’s perspective, related to what might be the background that may exist in such a ruling.

A lively round of interventions was then opened among those present in person and online. Among other issues, it was pointed out that there could indeed be a background to the judgment that is not strictly legal, but linked to sociological aspects, which could oscillate between the objections to showing a defective source code that could embarrass the Administration and the attitude of the judge, who, faced with a lack of knowledge of the subject matter, would have preferred to adopt the position of supporting the Administration. This support could arise from a certain understanding of the judicial function and the role of judges, some of whom consider themselves to be public employees rather than members of a branch of the State responsible for controlling the Administration and who, when in doubt, opt for the administrative arguments because they consider that the public interest is represented by the Administration by default.

However, as was emphasized in the debate, it is necessary to bear in mind that judicial deference cannot derive in judicial indifference to the rights of citizens; that the Public Administration should serve the general interest objectively, but it is the judicial responsibility to control that in each case this service really exists and that good administration has been respected; and that the presumption of validity enjoyed by the Spanish Administration´s decisions, like other European administrations, does not mean that there is a presumption iure et de iure of the legality of the administrative activity, but rather that, once the burden of appealing against the administrative decision has been exercised, it is the Administration that must justify that the decision adopted is in accordance with the Law and the appellant can destroy the presumption of legality.

On the other hand, the debate also raised the question of the principle of legality and the reservation of certain decisions to the law as a norm approved by democratically elected representatives. The decision to automate administrative acts, and how to do so, should not be given by law as a blank check to administrative offices. This blank remission of the law should not occur in cases where important citizens’ rights such as this one are affected. Furthermore, the Administration approved the algorithmic system without prior citizen participation or publicity of any kind, which is not acceptable, whether the algorithmic system is considered a source of law or not.  In short, what BOSCO does is to codify in computer language a previous written legal regulation, which starts from a law of the Spanish parliament, which should have foreseen automation and established minimum guidelines, and goes through several regulations. What guarantees are there that the translation into computer language is correct and that the existing legal framework has not been altered?

Furthermore, in the case of the BOSCO program, the regulatory decisions that designed the administrative procedure for granting or denying the social bonus gave an apparently excessive protagonism to private companies in the sector (called reference marketers), which seems to lead to a privatization of the administrative procedural activity, by entrusting to them, with a simple regulation, the development of administrative functions such as checking, denying or approving and notifying. This would violate the impossibility of attributing administrative powers to private parties (contained in the Spanish legislation referred to in the Basic Statute of the Public Employee, art. 9.2) and thus privatize administrative procedures, which has been declared unlawful by the Spanish Supreme Court.

The session was closed with the intention of following the case with interest, paying attention to the second judgment that will be handed down on the BOSCO case, which we hope will be of better quality and much better argued than the first one, giving rise, finally, to the proper access to the source code.

The session can be viewed on video here. (Passcode: AfL%6OBQ)

Juli Ponce Solé

El bono social energético y el programa Bosco: sobre algoritmos, errores y código fuente. A propósito de la primera decisión judicial recaída en 2021: una mala sentencia que esperamos sea corregida pronto

El pasado viernes 23 de septiembre de 2022 tuvo lugar la segunda actividad de los Seminarios periódicos denominados Del Derecho y del Revés tecnológico: diálogos entre programadores y juristas en la Facultad de Derecho de la Universidad de Barcelona, en el marco del del proyecto de investigación PID2020-115774RB-I00, titulado PERSONALIZACION DE LOS SERVICIOS PUBLICOS, SESGOS E INTELIGENCIA ARTIFICIAL: HACIA LA CONSOLIDACION DE LOS DERECHOS DIGITALES EN LAS ADMINISTRACIONES PUBLICAS, cuyos Investigadores principales son Juli Ponce y Agustí Cerrillo.

En esta ocasión tuvimos como invitado especial al Dr. Javier de la Cueva. Javier de la Cueva es licenciado en Derecho, Máster en Estudios Avanzados en Filosofía y doctor en Filosofía por la Universidad Complutense de Madrid. Trabaja como abogado, como docente en la Universidad del Instituto de Empresa, y como investigador. Como abogado, está especializado en Derecho de las Tecnologías de la Información y Comunicación (TIC). Imparte conferencias y escribe obras sobre su especialización. Es usuario de GNU/Linux desde 1998 y administrador de sistemas bajo dicho sistema operativo desde 2003. Es patrono de la Fundación Ciudadana Civio.

La actividad tuvo como objeto el análisis de la sentencia española de 30 de diciembre de 2021 (Juzgado Central de lo Contencioso-Administrativo núm. 8). Esta sentencia ha analizado por primera vez en España la toma de decisiones automatizadas y las obligaciones de transparencia respecto a éstas, especialmente por lo que se refiere al código fuente del programa denominado BOSCO empleado por la Administración española. El propio Javier de la Cueva, en colaboración con Ana Valdivia, ha dado noticia de esta decisión judicial en inglés en el fórum de debate abierto alemán Verfassungsblog.

Los antecedentes de la decisión judicial muy brevemente explicados son los siguientes. De acuerdo con la Directiva 2009/72/CE del Parlamento Europeo y del Consejo, de 13 de julio de 2009, sobre normas comunes para el mercado interior de la electricidad (art. 3.2), el parlamento español aprobó una ley en la que se prevé la concesión de un bono social (Ley 24/2013, de 26 de diciembre, del Sector Eléctrico, art. 45, modificado diversas veces y desarrollado por diversos reglamentos posteriores, recogidos en la sentencia que comentaremos, que ha dado lugar a una alta litigiosidad). Este bono es una prestación de carácter social destinada a proteger a determinados consumidores con específicas circunstancias personales y de bajos ingresos (“los consumidores vulnerables”) consistente en aplicar un descuento en el precio de la electricidad consumida en su vivienda habitual, para evitar que sufran la denominada pobreza energética, que afecta a muchos ciudadanos europeos.

La Fundación Civio, una fundación privada comprometida con la transparencia y el buen gobierno en España que realiza una labor de extraordinario valor, detectó que la falta de información desde la administración y la complejidad del proceso tenían como consecuencia que miles de personas no se estaban acogiendo al nuevo modelo a tiempo. La fundación Civio denunció este hecho y a la vez creó su propia app para ayudar a colectivos vulnerables a pedir las ayudas. Decenas de ayuntamientos, organizaciones sociales, colectivos y medios la insertaron en su web, llegando a muchos miles de personas.

El uso de esa aplicación de Civio puso de relieve que algo no funcionaba bien: utilizada la aplicación de Civio y el programa Bosco a la vez, los resultados no eran idénticos, denegando el segundo solicitudes de personas que tenían derecho al bono social, de acuerdo con la regulación vigente. La Fundación Civio colaboró entonces con el Gobierno para intentar paliar los problemas detectados y solicitó en 2018 acceso al código fuente de BOSCO, de acuerdo con la legislación española de transparencia, porque había indicios de errores en su configuración que impedían la aplicación correcta de la legislación.

La Fundación no obtuvo respuesta de la Administración española. Ante este silencio administrativo, una “práctica aberrante” de mala administración, la Fundación usando de nuevo la legislación de transparencia española acudió ese mismo año al Consejo de Transparencia y Buen Gobierno, organismo administrativo creado exprofeso para la protección del derecho de acceso a la información.

El Consejo dio la razón parcialmente a Civio en 2019 y obligó a la Administración a conceder acceso a la especificación técnica de dicha aplicación, al resultado de las pruebas realizadas para comprobar que la aplicación BOSCO cumple la especificación funcional y cualquier otro elemento que permitiera conocer el funcionamiento de la aplicación.

Sin embargo, denegó el acceso al código fuente, puesto que el Consejo consideró que era de aplicación el límite contenido en el artículo 14.1 letra j) de la legislación española de transparencia, relativo a la propiedad intelectual.

Civio decidió entonces acudir a la vía judicial. Ese mismo año 2019, presentó una demanda solicitando el acceso al código fuente de BOSCO. La mencionada sentencia de 30 de diciembre de 2021 resolvió dicha petición, denegándola y cerrando una primera fase del conflicto, que va a continuar, puesto que ha sido interpuesto ya recurso frente a un segundo tribunal.

¿Cuáles fueron los argumentos de Civio y por qué se produjo esa denegación judicial?

Javier de la Cueva explicó que frente a las alegaciones de Civio de violación del principio de interdicción de la arbitrariedad (art. 9.3 Constitución española) y ausencia de protección legal de la propiedad intelectual en un programa elaborado por la propia Administración pública, el órgano judicial se mostró impermeable.

Respecto a la primera, Civio argumentó que la imposibilidad de acceso al código fuente de los programas provoca que el derecho va derivando en una aplicación automatizada mediante un código binario imposible de leer, alejándose de esta manera ya no sólo el principio de  legalidad, sino todo tipo de posibilidades hermenéuticas, argumentativas y éticas que  podrán utilizarse única y exclusivamente en los resultados generados, pero  que  no podrán  entrar  en  ninguna de las causas y, mucho menos, en el sistema de racionalidad sobre el que se fundamenta la toma de una decisión, lo que vulnera el derecho a conocer la motivación de las resoluciones.

Sin embargo, la decisión judicial sostiene que al reconocer el derecho al bono social la Administración española:

 “ajusta su actuación a dicha normativa, dictando el correspondiente acto administrativo. Y para ello utiliza una aplicación informática, denominada “sistema de información BOSCO”, que se inserta en una fase del procedimiento administrativo, cuyo objeto es verificar el cumplimiento de los requisitos establecidos previamente por la normativa citada. Siendo lo anterior así, no puede considerarse que el acto administrativo se dicte por una aplicación informática, sino por un órgano administrativo, y en caso de que el destinatario de dicho acto esté disconforme con el mismo, podrá impugnarlo en vía administrativa, y en vía judicial. Por tanto, la legalidad del acto administrativo no está justificada por la aplicación informática que instrumentalmente se utiliza en una fase del correspondiente procedimiento administrativo, sino por la normativa que regula la materia”.

Según la sentencia, de la prueba practicada en el juicio:

 “se ve cómo funciona el sistema informático, y si tal funcionamiento es correcto, careciendo por ello de fundamento la alegación de la entidad recurrente sobre la existencia de fallos o errores de cálculo en la aplicación, en particular para determinados colectivos. Y en los supuestos de “imposibilidad de cálculo”, por no contar con información suficiente del solicitante en las bases de datos conectadas a la aplicación, se le requiere al mismo para que aporte la documentación, y en base a ella se determina si existe el derecho al bono social o no. Son supuestos en que no es posible el cálculo automático mediante la aplicación, pero no supuestos de denegación del bono social”.

Por ello, la sentencia realiza una argumentación formalista llegando a la conclusión de que “En base a lo expuesto, hay que considerar que la denegación del acceso al código fuente de la aplicación informática no supone una vulneración del principio de legalidad, pues siempre, en último extremo, se podrá comprobar si el solicitante cumple los requisitos para que se le concede el bono social

En cuanto a la segunda alegación referida a que no hay violación del límite de la legislación de transparencia española que impide acceder a información si hay violación de la propiedad intelectual, la sentencia señala que:

el código fuente de la mencionada aplicación informática no está dentro de las exclusiones de la propiedad intelectual, mencionadas en el artículo 13 del Real Decreto Legislativo 1/1996, de 12 de abril, de propiedad intelectual, precepto invocado por la entidad recurrente, pues dicho código no es una norma ni un acto administrativo”.

La sentencia insiste en que “hay que considerar por ello que no existe ninguna norma que imponga a la Administración el desarrollo de aplicaciones con fuentes abiertas ni la adquisición de software libre”. Finalmente se rechaza la pretensión formulada por Civio respecto a que se le conceda el acceso a parte del código fuente, al ser ésta una pretensión nueva, no formulada en la demanda. Además, la sentencia añade consideraciones sobre la imposibilidad de dar acceso al código fuente, puesto que si así se hiciera se crearían problemas de vulnerabilidad del programa y afectaciones a la seguridad pública (?).

Javier de la Cueva expuso el contexto y contenido de la sentencia, antes explicados, en la primera parte de su exposición. Señaló que si bien los juristas llevamos cientos de años utilizando algoritmos (por ejemplo, Ley posterior deroga a anterior), la cuestión de los sistemas algorítmicos empleados en inteligencia artificial plantea problemas epistemológicos relacionados con el desconocimiento judicial y la falta de actitud para integrar ese necesario conocimiento. Asimismo, subrayó como la decisión judicial española se aparta de las soluciones dadas en otros países europeos a casos similares.

En su opinión, el acceso al código fuente es fundamental para saber si el programa funciona correctamente o si existen errores de programación Para De la Cueva, los documentos a los que sí se ha dado acceso (recordemos, especificación técnica de dicha aplicación y resultado de las pruebas realizadas para comprobar que la aplicación BOSCO cumple la especificación funcional) son insuficientes. El ponente usó una comparación: sería un caso similar a aquel en que se escribe una noticia que da cuenta de una sentencia judicial, comentándola, sin aportar la propia sentencia. Es imprescindible tener el texto de la sentencia para poder saber si lo que dice el periodista en la noticia es correcto o no.

En cuanto al problema de la propiedad intelectual, Javier de la Cueva aludió a la legislación española de propiedad intelectual y al hecho de que sentencias, normas y los actos, acuerdos, deliberaciones y dictámenes de los organismos públicos no tienen propiedad intelectual (art. 13). Pero que hay obras protegidas por derechos de autor que la Administración no tiene ningún problema en ofrecer al público, como cartografía o tablas de estadística, por ejemplo. La interpretación de la Ley de Propiedad intelectual debe hacerse sistemáticamente: los derechos de autor sólo se refieren a actividad privada.

Por otro lado, en opinión de De la Cueva, la sentencia comete un error de interpretación de los hechos, pues, pese a lo que afirma, no hay funcionario que tome la decisión porque se trata de una decisión automatizada.

En espera de la decisión del tribunal (Audiencia Nacional) que revisará la sentencia, De la Cueva explicó como el Consejo de Transparencia y Buen Gobierno, que en este primer litigio compareció junto a la Administración del Estado, ha decidido ahora que no se opone a la apelación presentada por Civio a la sentencia “por entender que dicha sentencia no se ajusta a derecho”, según un escrito de la nueva representación legal del Consejo. De hecho, el Consejo, enfrentado a una reclamación distinta presentada por un ciudadano en 2021 sobre el acceso al código fuente utilizado en la aplicación informática mediante la cual se procedió al sorteo de tribunales asociados a procesos selectivos de una Comunidad autónoma lo concede, negando que la propiedad intelectual impida dicho acceso.

Como señaló De la Cueva, sólo por haber facilitado este cambio de postura del Consejo, el litigio ya ha tenido consecuencias positivas.

Tras la exposición de Javier de la Cueva, el profesor Joost Joosten realizó una intervención sobre la misma, destacando algunos puntos. En primer lugar, el profesor Joosten destacó que estaba de acuerdo en el hecho de que existen muchos tipos distintos de algoritmos y que en cada caso hay que precisar frente a cuál de ellos nos encontramos. Una distinción importante para Joosten es la distinción entre algoritmos estadísticos (machine learning, etc.) y algoritmos basados en reglas (rule-based) como es el caso de BOSCO, una distinción que no impide hablar de inteligencia artificial en ambos casos, como recoge, por ejemplo, el Anexo I del borrador de Reglamento de la UE sobre inteligencia artificial.

El profesor Joosten destacó que en el inicio del caso que ha dado lugar a la sentencia surgió el problema de posibles errores del programa. Es este un tema relevante, por cuanto es posible y necesario avanzar en la detección y evitación de posibles errores en los sistemas algorítmicos, para evitar problemas como los generados por BOSCO.

El profesor Joosten expuso que no cree que tener acceso al código fuente sea la solución a problemas como el surgido, puesto que tal código puede ser incomprensible. Consideró que en todo caso debería darse acceso al código fuente del programa BOSCO, puesto que se trata de un programa elaborado por la Administración Pública que debe servir a los ciudadanos y con uso de recursos públicos. Señaló que debería avanzarse hacia el uso de un lenguaje comprensible para no técnicos en relación con la IA. Asimismo, expuso la existencia de una aplicación que puede comprobar que lo expuesto en el documento de especificaciones técnicas (que para él es muy importante) coincide con lo que el programa hace realmente en cada caso, si bien es un sistema de comprobación aún en fase de perfeccionamiento.

El profesor Joost concluyó con una pregunta sobre la sentencia, desde la perspectiva de un no jurista, relacionada con cuál podría ser el trasfondo que puede existir en dicha sentencia.

Se abrió entonces un animado turno de intervenciones entre los asistentes presenciales y en línea. Entre otras cuestiones, se puso de relieve como podía existir, efectivamente, un trasfondo no estrictamente jurídico de la sentencia, sino vinculado a aspectos sociológicos, que podría oscilar entre los reparos en mostrar un código fuente de defectuosa factura que pudiera avergonzar a la Administración y la actitud del juez, el cual ante un desconocimiento de la temática habría preferido adoptar la postura de respaldar a la Administración. Este respaldo podría surgir de un determinado entendimiento de la función judicial y del papel de los jueces, algunos de los cuales se consideran más bien empleados públicos que miembros de un poder del Estado responsable de controlar la Administración y que ante la duda se decantan por los argumentos administrativos pues consideran que el interés público por defecto viene representado por la Administración.

Sin embargo, como se subrayó en el debate, es preciso tener en cuenta que la deferencia judicial no puede derivar en una indiferencia judicial frente a los derechos de los ciudadanos; que la Administración Pública debería servir con objetividad a los intereses generales, pero es responsabilidad judicial controlar que en cada caso ese servicio realmente existe y se ha respetado la buena administración; y que el privilegio de ejecutividad de que goza la Administración española, como otras europeas, no significa que exista una presunción iure et de iure de la legalidad de la actividad administrativa, sino que, una vez ejercida la carga de recurrir contra la decisión administrativa, es la Administración la que debe justificar que la decisión adoptada es conforme a Derecho y el recurrente puede destruir la presunción de legalidad.

Por otro lado, el debate también puso encima de la mesa la cuestión del principio de legalidad y de reserva de ciertas decisiones a la ley como norma aprobada por representantes democráticamente elegidos. La decisión de automatizar actos administrativos, y de cómo hacerlo, no debería ser entregada por la ley como un cheque en blanco a las oficinas administrativas. Esta remisión en blanco de la ley no debería producirse en casos en los que se afectan derechos importantes de los ciudadanos como éste. Además, la Administración aprobó el sistema algorítmico sin previa participación ciudadana ni publicidad de ningún tipo, lo que no es aceptable, se considere el sistema algorítmico fuente del Derecho o no. En definitiva, lo que hace BOSCO es codificar en lenguaje informático una regulación legal previa escrita, que arranca de una ley del parlamento español, que debería haber previsto la automatización y haber establecido unas mínimas pautas, y pasa por diversos reglamentos. Regulación escrita en lenguaje natural originariamente. ¿Qué garantías existen de que la traducción efectuada a lenguaje informático es correcta y no está alternado el marco legal previo existente?

Además, en el caso del programa BOSCO, las decisiones reglamentarias que diseñaron el procedimiento administrativo para conceder o denegar el bono social dieron un protagonismo aparentemente excesivo a las empresas privadas del sector (llamadas comercializadores de referencia), lo que parece conducir a una privatización de la actividad procedimental administrativa, al encargar a éstos, con un simple reglamento, el desarrollo de funciones administrativas como comprobar, denegar o aprobar y notificar. Ello violaría la imposibilidad de atribuir potestades administrativas a privados (recogida en la legislación española referida al Estatuto Básico del Empleado Público, art. 9.2) y de privatizar de este modo procedimientos administrativos, lo que ha sido declarado contrario a Derecho por el Tribunal Supremo español.

La sesión se cerró con la intención de seguir el caso con interés, con atención a la segunda sentencia que recaerá sobre el caso BOSCO, que esperamos sea de mejor calidad y mucho más argumentada que la primera, dando lugar, finalmente al debido acceso al código fuente.

La sesión puede ser consultada en video aquí. (Passcode: AfL%6OBQ)

Juli Ponce Solé

Regulating Artificial Intelligence – Is Global Consensus Possible? Some ideas from the Conference “Transatlantic Dialogue on Humanity and AI Regulation”, HEC, Paris, May 2022

Several members of our research project participated last May in the Conference “Transatlantic Dialogue on Humanity and AI Regulation” which was held at HEC Paris and co-organized with Virginia Tech, Ostrom Workshop and Telecom Paris.

The Conference brought together scholars and experts from across the Americas and Europe for interdisciplinary discussions about Artificial Intelligence. It was developed under the excellent coordination of  David Restrepo AmarilesJanine HillerAngie Raymond, and Winston Maxwell.

These discussions took place over four panels in which professors Joosten and Ponce participated: Ethics and Regulation (Ponce); Standards and Values; AI Human Decision Loops (Joosten); and Humanity and Risk Management.

Each panel and subsequent discussions provided diverse ideas on different topics. Some of the common concerns were: the relationships between Law and Ethics in the field of Artificial Intelligence; the viability of explainable Artificial Intelligence; questions about Big Data; and observations on the effectiveness and potential of the EU proposal for a regulation of Artificial Intelligence under discussion currently.

Now, after some months since our meeting, we want to share that HEC Paris has just published an article with Forbes with some of the highlights of the discussions during the Transatlantic Dialogue on AI Regulation and Humanity:

You will find the article here

Curso, nudging and compliance

BUEN GOBIERNO, PREVENCIÓN DE LA MALA ADMINISTRACIÓN E INTEGRIDAD PÚBLICA. Abierta la Preinscripción al Título de Experto (2022-2023)

El Curso Buen Gobierno, Prevención de la Mala Administración e Integridad Pública encuentra su fundamento en aportar los conocimientos imprescindibles para hacer frente a los retos y necesidades actuales del sector público, y en proporcionar las habilidades prácticas precisas en los ámbitos del buen gobierno y de la buena administración.

La gran relevancia de la calidad institucional, la ética pública o la gestión de los riesgos de fraude y corrupción, unidas a las exigencias normativas en materia de transparencia, acceso a la información y buen gobierno de 2014; de lucha contra el fraude, el favoritismo y la corrupción, vigente desde 2017; o la apertura de canales de denuncia seguros y efectivos exigidos por la Directiva 2019/1937, pone de relieve la necesidad de desarrollo de procesos de planificación, prevención, y gestión y control de los riesgos.

Garantizar el derecho a la buena administración de la ciudadanía y cumplir con altos estándares de calidad en los servicios públicos requiere de formación especializada tanto para el sector público como para las organizaciones privadas que colaboran con las Administraciones ofreciéndoles soporte técnico.

Para ello, este Título de Experto se estructura en 3 módulos dirigidos a la adquisición de conocimientos y destrezas específicos en prevención de la mala administración y promoción de la buena gestión del sector público y el bueno gobierno. Los contenidos prestan atención también a herramientas de compliance, de prevención algorítmica de la corrupción y usos de Big Data, o nudging y psicología conductual para el buen gobierno.

Contando con un cuadro docente compuesto por académicos especialistas en Derecho, Ciencias Políticas y disciplinas conexas, y por profesiones destacados expertos en la materia, el curso está dirigido a profesionales de los sectores público y privado, y egresados universitarios interesados en profundizar sus conocimientos en ,ética e integridad pública, y lucha contra la corrupción.

El curso está organizado por la Universidad de Barcelona, bajo la dirección de los Dres. Juli Ponce y Oscar Capdeferro, y cuenta con la colaboración de la Oficina Antifrau de Catalunya, la Diputació de Barcelona, y la Fundació Transparència i Bon Govern Local, con el soporte de la Fundació Municipis de Catalunya i el Col·legi de Secretaris, Interventors i Tresores d’Administració Local de Barcelona.

Pueden encontrar todos los detalles del Título de Experto en Buen Gobierno, Prevención de la Mala Administración e Integridad Pública en este enlace

Número de créditos: 21,00
Duración: 1 curso académico
Modalidad: Presencial
Lugar de impartición: Facultad de Derecho, UB

Fecha límite de preinscripción: 14/10/2022

PLAZAS LIMITADAS

Seminario

Webinar «Behavioral Insights, Public Consultation, and Regulatory Policy: Perspectives from Europe», con la Prof. Nicoletta Rangone

El Penn Program on Regulation (PPR) de la Universidad de Pannsylvania organiza el próximo 21 de septiembre de 2022 el webinar Behavioral Insights, Public Consultation, and Regulatory Policy: Perspectives from Europe sobre la consulta pública como herramienta esencial para la mejora de la regulación y los sesgos cognitivos que acompañan al proceso consultivo.

En el evento, la Dra. Nicoletta Rangone presentará una nueva investigación sobre sesgos cognitivos presentes en gestores, stakeholders y ciudadanía, y de sus efectos sobre las consultas públicas. La Dra. Rangone es Profesora de Derecho Administrativo en la Università di Roma LUMSA e investigadora visitante del Penn Carey Law y del Penn Program on Regulation (PPR), y durante el webinar se referirá a la optimización de las consultas públicas en Europa – y fuera de la UE – atendiendo a estos sesgos.

El programa del webinar cuenta también con la Dra. Christiane Arndt-Bascle, que lidera el Programme on Measuring Regulatory Performance de la OCDE y que ofrecerá algunos comentarios respecto a los trabajos de la Organización sobre consulta pública. Moderará el webinar el director del Programa y Profesor de Derecho Edward B. Shils y de Ciencias Políticas de la U. Pennsylvania, el Dr. Cary Coglianese.

El evento es abierto al público y pueden encontrar toda la información aquí.

Pueden inscribirse al webinar Behavioral Insights, Public Consultation, and Regulatory Policy: Perspectives from Europe en el este enlace