La necesaria publicidad de los algoritmos que usan las AA.PP.

Ahora que muchas conversaciones se generan en las redes sociales, las tengo que coger como punto de partida para las entradas del blog. El otro día Juan García de Blogoff (qué tiempos aquellos en que teníamos más blogs activos…) retuiteaba una noticia sobre la publicidad de los algoritmos que usan las Administraciones Públicas en sus sistemas digitales.

Conteste al tweet constreñido por la escasez de espacio de Twitter. Pero me lo apunté porque es un tema que vi interesante y con varias facetas diferentes para abordarlo. Además, quería comentaro porque une mi formación formal (derecho) con la informal (informática). También porque en una etapa extensa de mi vida estuve convirtiendo norma interna de la empresa y cada vez más norma legal (algún día hablaré de todo el tiempo que se invierte en los Departamentos de Informática para adaptarse a las diferentes y variadas normativas de todas las administraciones españolas) en reglas operativas del software.

Vamos a empezar por el principio. Si comentamos la necesidad de hacer públicos los algoritmos que se emplean para aplicar normas legales estamos en primera instancia dentro del mundo del Derecho. La llegada de la informatización es un cambio enorme para el mundo jurídico (creo que lo comenté hace mucho tiempo, pero en mis tiempos de estudiante tenía un profesor de Filosofía del Derecho adelantado a su tiempo que cuando hablaba del impacto del ordenador en el derecho era pesimista, porque como decía: “Si la imprenta se inventó hace 500 años y para muchos juristas y profesores de derecho es un invento desconocido, como esperar que usen la informática para mejorar el derecho”).

Los Parlamentos aprueban las leyes. Pero muchas veces la Ley aprobaba no baja a los detalles de su aplicación. Para ello están los reglamentos que aparecen luego. Hasta hace unos años el reglamento era el que marcaba la aplicación práctica de la Ley. Como se le atribuye al Conde de Romanones: “Ustedes hagan las leyes y déjenme a mí los reglamentos” como forma de adecuar al final la aplicación de la Ley a sus propios fines. Sin embargo, hoy en día son los algoritmos de los sistemas informáticos de las Administraciones Públicas los que se encargan de trasladar la Ley a la práctica y a la vida real.

Pero hay una diferencia entre los reglamentos y los algoritmos: los primeros son públicos y los segundos no. Así que creo que lo primero que necesitamos es “un cambio normativo” para dar personalidad jurídica a los algoritmos. Es decir que su existencia sea reconocida como una entidad que forma parte del ordenamiento jurídico. Así deberían publicarse como los reglamentos y estar sujetos a la seguridad jurídica. Esto no significa que mediante el algoritmo no se puede desvirtuar la aplicación de la Ley. Pero por lo menos podríamos saberlo y denunciarlo. Aquí lo explican con mejores argumentos que yo.

Luego ya tenemos un motivo para hacer públicos los algoritmos: igualarlos a los reglamentos y dar publicidad y seguridad a los mismos.

Llegados a este punto viene otro: la bondad del algoritmo y su gestión y control. El ser capaces de racionalizar una norma escrita en papel no es fácil. Yo recuerdo cuando estaba en mi anterior fase en mi empresa de por las mañanas: analista funcional. Trabajábamos en la primera planta de edificio. A veces veíamos subir a los gerifaltes de asociaciones, de administraciones públicas… a reunirse con los gerifaltes de la caja de ahorros en la planta noble. Y nos poníamos a temblar. Eso significaba que se firmaría algún convenio de colaboración para fomentar cualquier cosa que Marketing pensara que convenía para aumentar el negocio. El problema era que muchas de las cosas que se firmaban tan alegremente sobre el papel era luego casi imposible de trasladar a un algoritmo. Recuerdo una ocasión en que los políticos de distintas administraciones compitieron para dar ayudas a los compradores de nuevas viviendas. Poder racionalizar aquellas ayudas nos llevó meses. El tema era tan complejo que teníamos situaciones en las que la pareja compradora de la vivienda podía acceder a diferentes ayudas que no siempre eran complementarias. Al final tuvimos que hacer otro algoritmo para mostrar al compañero de la Oficina los casos y que éste se lo comentase a los clientes para que decidiesen como lo querían formalizar. Pero si esto no era suficiente teníamos que estar luego atentos a los posibles cambios de la reglamentación para cambiar los sistemas.

Aquí el problema es que el político y el legislador siguen pensando en papel. Ello genera:

1. Casos no legislados o no pensados por el legislador: estos se quedan en los estereotipos o en lo que conocen… y el mundo real es caótico, diverso y muy variado. Esto crea zonas grises o directamente negras.
   
2. La realidad no se queda quieta: el mundo evoluciona y tenemos nuevas situaciones que no se tuvieron en cuenta cuando se creó la ley y se programó el algoritmo.
   
3. El legislador se apoya en definiciones de otras leyes que tal vez no son claras o ya están anticuadas.
   
4. Aparecen cambios legislativos tanto de la propia ley como de otros que afectan al hecho jurídico definido
   
5. Podemos tener reclamaciones de otras Administraciones Públicas o de los ciudadanos que reclaman ante los tribunales. Y estos pueden interpretar la ley de una forma no contemplada en el algoritmo. Aquí se plantearía un problema divertido: funcionario que haciendo caso al algoritmo realiza un acto administrativo que luego un tribunal declara ilegal: ¿quién es el responsable: el funcionario o el algoritmo? Si es el segundo caso ¿la responsabilidad es del técnico que ha creado el algoritmo o del funcionario que lo ha aprobado?
   

Alguien me dirá que esto ya sucedía en un mundo no digital y se funcionaba. Claro, pero en un mundo no digital queda más libertad para el funcionario a la hora de aplicar la ley. Así que teníamos la ayuda de la costumbre y de la interpretación judicial para poder aplicar bien las leyes y los reglamentos. Además, que antes de la implosión de legislación y legisladores las normas eran más sencillas. Además los actos administrativos se podían fundamentar y explicar. Esto daba un soporte documental para entender la resolución y poder recurrirla. Cuando la decisión es “automática” no hay opción de recurso. Hace unos días estaba con un cliente que es asesor. Estaba tratando de racionalizar la última reforma de pensiones para que el resto de los miembros del bufete tuviesen una guía rápida de consulta. Le era imposible resumir dada la amplitud y complejidad de la norma a aplicar.

Para poder minimizar los problemas anteriores la publicidad de los algoritmos es indispensable. Y aunque sería para otro día la consideración de la publicidad y de darle entidad jurídica a los algoritmos debería extenderse al código fuente con el que se implantan.

Ahora nos vamos al otro lado: al técnico. Como he dicho antes durante varios años estuve trabajando en la definición y diseño de algoritmos que trasladaban las normas internas de una entidad financiera a los ordenadores de los empleados. Mi anterior empresa tenía una política (que a mi me gustaba, no como la actual que no lo hace igual) por la que la normativa debía controlarse desde los sistemas digitales. Me explico. Si la norma decía que para conceder un préstamo a un sindicato se necesitaba la aprobación de un órgano de alto nivel el sistema era capaz de detectar cuando el préstamo lo solicitaba un sindicato y no permitía que un órgano de nivel inferior lo pudiese aprobar si por error trataban de hacerlo. Esta política tenia una ventaja: la red comercial era más rápida en la toma de decisiones y trabajaban con menos tensión. Pero la desventaja era que obligaba a sistemas a gestionar una complejidad añadida en los programas. Esto al final generaba:

1. Los técnicos terminábamos siendo parte muchas veces de los comités que decidían la norma. El motivo era tratar de guiar a los compañeros de marketing y de asesoría jurídica para que la norma que se aprobase fuese racional y trasladable al mundo real de los sistemas de la Caja de Ahorros. Siempre decíamos lo mismo: “Si mañana queréis penalizar la concesión de los préstamos a las personas con pecas no podemos automatizarlo: en las tablas de personas no se pregunta si una persona tiene pecas”.

• Debía existir una comunicación fluida y rápida entre los Departamentos para que en IT se conociesen con antelación los cambios que se iban a introducir: si la política de concesión de crédito cambiaba debíamos saberlo con antelación y preparar todos los sistemas relacionados.

• La tarea de los Departamentos de Supervisión y Control cambió radicalmente: antes eran centros donde se miraba sobre todo papeles. Tuvieron que cambiar y empezar a revisar salidas de programas y a proponer y ejecutar pruebas para comprobar que los resultados de los algoritmos de los sistemas estaban alineados con la normativa externa y interna que debíamos cumplir.

• Muchas veces (más de las debidas y necesarias) el técnico acababa siendo la fuente de decisión en los casos grises o complejos. A veces era absurdo tener a la plana mayor esperando a que los técnicos deliberasen cual sería el resultado del algoritmo para un caso gris.

• Se tenía que vigilar mucho los errores y situaciones no pensadas. Un algoritmo que llevaba varios años funcionando bien podía fallar si por un cambio normativo en otra parte del sistema de la Caja de Ahorros se habían introducido cambios. Aquí las unidades del CAU (Centro de Atención al Usuario) eran indispensables. Eran las primeras que detectaban quejas de la red comercial porque los sistemas de decisión automática fallaban. Y entonces había que investigar para detectar el origen del error.

Y en mi trabajo anterior jugábamos con una ventaja: los algoritmos los conocíamos todos. Otra cosa es que se entendisen, pero siempre se podía consultar la documentación, el análisis funcional, el análisis orgánico, los cuadernos de carga, los resultados de las pruebas… y al final el código fuente vivo. Y así y todo teníamos problemas y errores. Así que no quiero ni pensar lo que será en un sistema más complejo como es el de la Administraciones Públicas donde los usuarios no conocen el algoritmo.

En resumen: los algoritmos y la automatización de las decisiones en el trabajo diario de los funcionarios son una realidad actual. Y debemos poner los controles necesarios para gestionarlos bien y sin errores. Y para ello el primer paso es que dichos algoritmos y el código fuente de los programas deben ser públicos y conocidos.