Sistemas automatizados: qué se puede examinar desde fuera
Casi nunca se consigue ver el código. Casi siempre se puede observar el comportamiento, que es una prueba distinta y también válida.
Casi nunca se ve el código
La expectativa habitual es acceder al sistema y examinarlo por dentro. En la práctica casi nunca ocurre: hay secreto comercial, hay sistemas contratados a terceros y hay administraciones que ni siquiera disponen del código de lo que utilizan.
Eso no cierra el trabajo. Un sistema puede estudiarse por su comportamiento: qué entra, qué sale y qué relación hay entre ambas cosas. Es una prueba distinta de la inspección interna, con límites propios, y perfectamente válida si se explica bien.
Qué se puede observar desde fuera
| Enfoque | Qué muestra | Qué no permite afirmar |
|---|---|---|
| Casos comparables | Diferencias de trato ante entradas equivalentes | Cuál es la causa interna de la diferencia |
| Distribución de resultados | Concentraciones y patrones | Que exista intención |
| Documentación oficial | Finalidad declarada y criterios | Que el sistema haga lo que dice |
| Testimonios de afectados | Efectos reales sobre personas | La frecuencia del problema |
| Pliegos y contratos | Qué se compró y con qué requisitos | Cómo se implementó |
| Evaluaciones publicadas | Riesgos identificados por la propia entidad | Que se hayan corregido |
Dónde suele estar la documentación
Antes de diseñar ninguna prueba conviene agotar lo que ya está publicado. Los pliegos de contratación describen con detalle qué se pidió; las memorias explican para qué se utiliza; las evaluaciones de impacto, cuando existen, señalan los riesgos que la propia entidad identificó. Y lo que no esté publicado puede solicitarse.
Cómo se diseña una comparación honesta
- Fije la hipótesis antes de mirar los datos, por escrito. Buscar el patrón después de verlo produce hallazgos que no resisten.
- Construya casos equivalentes que difieran sólo en la variable de interés.
- Repita: una diferencia observada una vez puede ser ruido.
- Registre todo: fechas, entradas exactas, resultados obtenidos.
- Busque explicaciones alternativas y descártelas explícitamente.
- Pregunte a la entidad antes de publicar, con los datos concretos por delante.
El marco normativo se está moviendo
El Reglamento europeo de inteligencia artificial introduce obligaciones escalonadas de información, documentación y registro para determinados sistemas, con un calendario de aplicación progresivo. Al mismo tiempo, el Reglamento (UE) 2016/679 ya reconoce derechos frente a las decisiones individuales automatizadas, incluido el de obtener información sobre la lógica aplicada.
Como el terreno cambia, aquí no se recogen plazos ni artículos concretos: conviene comprobar el estado vigente en el momento de trabajar, en las fuentes oficiales de la Unión Europea y en la Agencia Española de Protección de Datos.
Escribir lo que se sabe y lo que no
En este terreno la honestidad sobre los límites es parte del resultado. Un texto que dice «hemos observado esto, no hemos podido comprobar aquello y la entidad no ha respondido a estas preguntas» es más sólido, y más difícil de rebatir, que uno que afirma más de lo que su método permite.