{"id":18826,"date":"2022-02-14T06:37:24","date_gmt":"2022-02-14T04:37:24","guid":{"rendered":"https:\/\/changlonet.com\/blog\/?p=18826"},"modified":"2022-02-14T21:22:26","modified_gmt":"2022-02-14T19:22:26","slug":"la-necesaria-publicidad-de-los-algoritmos-que-usan-las-aa-pp","status":"publish","type":"post","link":"https:\/\/changlonet.com\/blog\/la-necesaria-publicidad-de-los-algoritmos-que-usan-las-aa-pp\/","title":{"rendered":"La necesaria publicidad de los algoritmos que usan las AA.PP."},"content":{"rendered":"

Ahora que muchas conversaciones se generan en las redes sociales, las tengo que coger como punto de partida para las entradas del blog. El otro d\u00eda Juan Garc\u00eda de Blogoff (qu\u00e9 tiempos aquellos en que ten\u00edamos m\u00e1s blogs activos\u2026) retuiteaba una noticia sobre la publicidad de los algoritmos<\/a> que usan las Administraciones P\u00fablicas en sus sistemas digitales.
\n<\/span><\/p>\n

\"\"
\n<\/span><\/p>\n

Conteste al tweet constre\u00f1ido por la escasez de espacio de Twitter. Pero me lo apunt\u00e9 porque es un tema que vi interesante y con varias facetas diferentes para abordarlo. Adem\u00e1s, quer\u00eda comentaro porque une mi formaci\u00f3n formal (derecho) con la informal (inform\u00e1tica). Tambi\u00e9n porque en una etapa extensa de mi vida estuve convirtiendo norma interna de la empresa y cada vez m\u00e1s norma legal (alg\u00fan d\u00eda hablar\u00e9 de todo el tiempo que se invierte en los Departamentos de Inform\u00e1tica para adaptarse a las diferentes y variadas normativas de todas las administraciones espa\u00f1olas) en reglas operativas del software.
\n<\/span><\/p>\n

Vamos a empezar por el principio. Si comentamos la necesidad de hacer p\u00fablicos los algoritmos que se emplean para aplicar normas legales estamos en primera instancia dentro del mundo del Derecho<\/strong>. La llegada de la informatizaci\u00f3n es un cambio enorme para el mundo jur\u00eddico (creo que lo coment\u00e9 hace mucho tiempo, pero en mis tiempos de estudiante ten\u00eda un profesor de Filosof\u00eda del Derecho adelantado a su tiempo que cuando hablaba del impacto del ordenador en el derecho era pesimista, porque como dec\u00eda: “Si la imprenta se invent\u00f3 hace 500 a\u00f1os y para muchos juristas y profesores de derecho es un invento desconocido, como esperar que usen la inform\u00e1tica para mejorar el derecho”).
\n<\/span><\/p>\n

Los Parlamentos aprueban las leyes. Pero muchas veces la Ley aprobaba no baja a los detalles de su aplicaci\u00f3n. Para ello est\u00e1n los reglamentos que aparecen luego. Hasta hace unos a\u00f1os el reglamento era el que marcaba la aplicaci\u00f3n pr\u00e1ctica de la Ley. Como se le atribuye al Conde de Romanones<\/a>: “Ustedes hagan las leyes y d\u00e9jenme a m\u00ed los reglamentos<\/em>” como forma de adecuar al final la aplicaci\u00f3n de la Ley a sus propios fines. Sin embargo, hoy en d\u00eda son los algoritmos de los sistemas inform\u00e1ticos de las Administraciones P\u00fablicas los que se encargan de trasladar la Ley a la pr\u00e1ctica y a la vida real.
\n<\/span><\/p>\n

Pero hay una diferencia entre los reglamentos y los algoritmos: los primeros son p\u00fablicos y los segundos no. As\u00ed que creo que lo primero que necesitamos es “un cambio normativo<\/strong>” para dar personalidad jur\u00eddica a los algoritmos. Es decir que su existencia sea reconocida como una entidad que forma parte del ordenamiento jur\u00eddico. As\u00ed deber\u00edan publicarse como los reglamentos y estar sujetos a la seguridad jur\u00eddica. Esto no significa que mediante el algoritmo no se puede desvirtuar la aplicaci\u00f3n de la Ley. Pero por lo menos podr\u00edamos saberlo y denunciarlo. Aqu\u00ed lo explican con mejores argumentos que yo<\/a>.
\n<\/span><\/p>\n

Luego ya tenemos un motivo para hacer p\u00fablicos los algoritmos: igualarlos a los reglamentos y dar publicidad y seguridad a los mismos<\/strong>.
\n<\/span><\/p>\n

Llegados a este punto viene otro: la bondad del algoritmo y su gesti\u00f3n y control<\/strong>. El ser capaces de racionalizar una norma escrita en papel no es f\u00e1cil. Yo recuerdo cuando estaba en mi anterior fase en mi empresa de por las ma\u00f1anas: analista funcional. Trabaj\u00e1bamos en la primera planta de edificio. A veces ve\u00edamos subir a los gerifaltes de asociaciones, de administraciones p\u00fablicas\u2026 a reunirse con los gerifaltes de la caja de ahorros en la planta noble. Y nos pon\u00edamos a temblar. Eso significaba que se firmar\u00eda alg\u00fan convenio de colaboraci\u00f3n para fomentar cualquier cosa que Marketing pensara que conven\u00eda para aumentar el negocio. El problema era que muchas de las cosas que se firmaban tan alegremente sobre el papel era luego casi imposible de trasladar a un algoritmo. Recuerdo una ocasi\u00f3n en que los pol\u00edticos de distintas administraciones compitieron para dar ayudas a los compradores de nuevas viviendas. Poder racionalizar aquellas ayudas nos llev\u00f3 meses. El tema era tan complejo que ten\u00edamos situaciones en las que la pareja compradora de la vivienda pod\u00eda acceder a diferentes ayudas que no siempre eran complementarias. Al final tuvimos que hacer otro algoritmo para mostrar al compa\u00f1ero de la Oficina los casos y que \u00e9ste se lo comentase a los clientes para que decidiesen como lo quer\u00edan formalizar. Pero si esto no era suficiente ten\u00edamos que estar luego atentos a los posibles cambios de la reglamentaci\u00f3n para cambiar los sistemas.
\n<\/span><\/p>\n

Aqu\u00ed el problema es que el pol\u00edtico y el legislador siguen pensando en papel. Ello genera:
\n<\/span><\/p>\n

    \n
  1. \n
    Casos no legislados o no pensados por el legislador: estos se quedan en los estereotipos o en lo que conocen\u2026 y el mundo real es ca\u00f3tico, diverso y muy variado. Esto crea zonas grises o directamente negras.
    \n<\/span><\/div>\n<\/li>\n
  2. \n
    La realidad no se queda quieta: el mundo evoluciona y tenemos nuevas situaciones que no se tuvieron en cuenta cuando se cre\u00f3 la ley y se program\u00f3 el algoritmo.
    \n<\/span><\/div>\n<\/li>\n
  3. \n
    El legislador se apoya en definiciones de otras leyes que tal vez no son claras o ya est\u00e1n anticuadas.
    \n<\/span><\/div>\n<\/li>\n
  4. \n
    Aparecen cambios legislativos tanto de la propia ley como de otros que afectan al hecho jur\u00eddico definido
    \n<\/span><\/div>\n<\/li>\n
  5. \n
    Podemos tener reclamaciones de otras Administraciones P\u00fablicas o de los ciudadanos que reclaman ante los tribunales. Y estos pueden interpretar la ley de una forma no contemplada en el algoritmo. Aqu\u00ed se plantear\u00eda un problema divertido: funcionario que haciendo caso al algoritmo realiza un acto administrativo que luego un tribunal declara ilegal: \u00bfqui\u00e9n es el responsable: el funcionario o el algoritmo<\/a>? Si es el segundo caso \u00bfla responsabilidad es del t\u00e9cnico que ha creado el algoritmo o del funcionario que lo ha aprobado?
    \n<\/span><\/div>\n

    \n<\/li>\n<\/ol>\n

    Alguien me dir\u00e1 que esto ya suced\u00eda en un mundo no digital y se funcionaba. Claro, pero en un mundo no digital queda m\u00e1s libertad para el funcionario a la hora de aplicar la ley. As\u00ed que ten\u00edamos la ayuda de la costumbre y de la interpretaci\u00f3n judicial para poder aplicar bien las leyes y los reglamentos. Adem\u00e1s, que antes de la implosi\u00f3n de legislaci\u00f3n y legisladores las normas eran m\u00e1s sencillas. Adem\u00e1s los actos administrativos se pod\u00edan fundamentar y explicar. Esto daba un soporte documental para entender la resoluci\u00f3n y poder recurrirla. Cuando la decisi\u00f3n es “autom\u00e1tica” no hay opci\u00f3n de recurso. Hace unos d\u00edas estaba con un cliente que es asesor. Estaba tratando de racionalizar la \u00faltima reforma de pensiones para que el resto de los miembros del bufete tuviesen una gu\u00eda r\u00e1pida de consulta. Le era imposible resumir dada la amplitud y complejidad de la norma a aplicar.
    \n<\/span><\/p>\n

    Para poder minimizar los problemas anteriores la publicidad de los algoritmos es indispensable. Y aunque ser\u00eda para otro d\u00eda la consideraci\u00f3n de la publicidad y de darle entidad jur\u00eddica a los algoritmos deber\u00eda extenderse al c\u00f3digo fuente con el que se implantan.
    \n<\/span><\/p>\n

    Ahora nos vamos al otro lado: al t\u00e9cnico. Como he dicho antes durante varios a\u00f1os estuve trabajando en la definici\u00f3n y dise\u00f1o de algoritmos que trasladaban las normas internas de una entidad financiera a los ordenadores de los empleados. Mi anterior empresa ten\u00eda una pol\u00edtica (que a mi me gustaba, no como la actual que no lo hace igual) por la que la normativa deb\u00eda controlarse desde los sistemas digitales. Me explico. Si la norma dec\u00eda que para conceder un pr\u00e9stamo a un sindicato se necesitaba la aprobaci\u00f3n de un \u00f3rgano de alto nivel el sistema era capaz de detectar cuando el pr\u00e9stamo lo solicitaba un sindicato y no permit\u00eda que un \u00f3rgano de nivel inferior lo pudiese aprobar si por error trataban de hacerlo. Esta pol\u00edtica tenia una ventaja: la red comercial era m\u00e1s r\u00e1pida en la toma de decisiones y trabajaban con menos tensi\u00f3n. Pero la desventaja era que obligaba a sistemas a gestionar una complejidad a\u00f1adida en los programas. Esto al final generaba:
    \n<\/span><\/p>\n

      \n
    1. \n
      Los t\u00e9cnicos termin\u00e1bamos siendo parte muchas veces de los comit\u00e9s que decid\u00edan la norma. El motivo era tratar de guiar a los compa\u00f1eros de marketing y de asesor\u00eda jur\u00eddica para que la norma que se aprobase fuese racional y trasladable al mundo real de los sistemas de la Caja de Ahorros. Siempre dec\u00edamos lo mismo: “Si ma\u00f1ana quer\u00e9is penalizar la concesi\u00f3n de los pr\u00e9stamos a las personas con pecas no podemos automatizarlo: en las tablas de personas no se pregunta si una persona tiene pecas”.<\/div>\n<\/li>\n<\/ol>\n
        \n
      • \n
        Deb\u00eda existir una comunicaci\u00f3n fluida y r\u00e1pida entre los Departamentos para que en IT se conociesen con antelaci\u00f3n los cambios que se iban a introducir: si la pol\u00edtica de concesi\u00f3n de cr\u00e9dito cambiaba deb\u00edamos saberlo con antelaci\u00f3n y preparar todos los sistemas relacionados.<\/div>\n<\/li>\n<\/ul>\n

         <\/p>\n

          \n
        • \n
          La tarea de los Departamentos de Supervisi\u00f3n y Control cambi\u00f3 radicalmente: antes eran centros donde se miraba sobre todo papeles. Tuvieron que cambiar y empezar a revisar salidas de programas y a proponer y ejecutar pruebas para comprobar que los resultados de los algoritmos de los sistemas estaban alineados con la normativa externa y interna que deb\u00edamos cumplir.<\/div>\n<\/li>\n<\/ul>\n

           <\/p>\n

            \n
          • \n
            Muchas veces (m\u00e1s de las debidas y necesarias) el t\u00e9cnico acababa siendo la fuente de decisi\u00f3n en los casos grises o complejos. A veces era absurdo tener a la plana mayor esperando a que los t\u00e9cnicos deliberasen cual ser\u00eda el resultado del algoritmo para un caso gris.<\/div>\n<\/li>\n<\/ul>\n

             <\/p>\n

              \n
            • \n
              Se ten\u00eda que vigilar mucho los errores y situaciones no pensadas. Un algoritmo que llevaba varios a\u00f1os funcionando bien pod\u00eda fallar si por un cambio normativo en otra parte del sistema de la Caja de Ahorros se hab\u00edan introducido cambios. Aqu\u00ed las unidades del CAU (Centro de Atenci\u00f3n al Usuario) eran indispensables. Eran las primeras que detectaban quejas de la red comercial porque los sistemas de decisi\u00f3n autom\u00e1tica fallaban. Y entonces hab\u00eda que investigar para detectar el origen del error.<\/div>\n<\/li>\n<\/ul>\n

               <\/p>\n

              Y en mi trabajo anterior jug\u00e1bamos con una ventaja: los algoritmos los conoc\u00edamos todos. Otra cosa es que se entendisen, pero siempre se pod\u00eda consultar la documentaci\u00f3n, el an\u00e1lisis funcional, el an\u00e1lisis org\u00e1nico, los cuadernos de carga, los resultados de las pruebas\u2026 y al final el c\u00f3digo fuente vivo. Y as\u00ed y todo ten\u00edamos problemas y errores. As\u00ed que no quiero ni pensar lo que ser\u00e1 en un sistema m\u00e1s complejo como es el de la Administraciones P\u00fablicas donde los usuarios no conocen el algoritmo.<\/p>\n

              En resumen: los algoritmos y la automatizaci\u00f3n de las decisiones en el trabajo diario de los funcionarios son una realidad actual. Y debemos poner los controles necesarios para gestionarlos bien y sin errores. Y para ello el primer paso es que dichos algoritmos y el c\u00f3digo fuente de los programas deben ser p\u00fablicos y conocidos.<\/p>\n","protected":false},"excerpt":{"rendered":"

              Ahora que muchas conversaciones se generan en las redes sociales, las tengo que coger como punto de partida para las entradas del blog. El otro d\u00eda Juan Garc\u00eda de Blogoff (qu\u00e9 tiempos aquellos en que ten\u00edamos m\u00e1s blogs activos\u2026) retuiteaba una noticia sobre la publicidad de los algoritmos que usan las Administraciones P\u00fablicas en sus […]<\/p>\n","protected":false},"author":1,"featured_media":18825,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"footnotes":""},"categories":[13,7],"tags":[3880,3601,2276],"class_list":["post-18826","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-software","category-general","tag-administraciones-publicas","tag-algoritmos","tag-publicidad"],"_links":{"self":[{"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/posts\/18826","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/comments?post=18826"}],"version-history":[{"count":0,"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/posts\/18826\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/media\/18825"}],"wp:attachment":[{"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/media?parent=18826"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/categories?post=18826"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/tags?post=18826"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}