Leer el ensayo
Non Dubito

Las disciplinas · 08

Una vez escrito como parámetro, ¿quién sigue respondiendo?

Entrar en el código no hace que una elección deje de serlo. Si los resultados deciden repetidamente situaciones humanas, también deben conservarse las razones y la posibilidad de reabrir la elección.

Han Qin ·

Imaginemos una entidad de crédito con un sistema de puntuación. Llega una solicitud, se calcula la cifra y, si alcanza una línea, se aprueba. En la ventanilla dicen que así lo establece el sistema; el desarrollador, que solo cumplió los requisitos. La línea no cayó del cielo, pero con cada uso puede resultar más difícil encontrar a quien deba explicarla.

No importa aquí si la computadora puede juzgar, sino cómo elecciones ya hechas se convierten en operaciones de efecto continuo. Si una configuración tramita diez mil solicitudes al día, la cifra es imaginada. Sirve para mostrar que una misma elección no aclarada puede recaer una y otra vez en personas distintas sin volver a discutirse.

Primero está la elección del objetivo. Predecir si se pagará a tiempo no es juzgar si alguien merece ayuda; juzgar si conviene conceder cierto préstamo no es juzgar las necesidades de una vida. Cada objetivo puede tener razones, pero no son intercambiables porque todos terminen produciendo una puntuación.

Antes aún, ¿por qué los datos representan ese objetivo? El gasto pasado no equivale necesariamente a necesidad real: no gastar puede deberse a no poder pagar. En un programa de ayuda imaginado, usar el gasto anterior como representante de la necesidad puede calcularse con precisión y aun requerir una explicación de esa sustitución. Reproducir fielmente el indicador indirecto no responde a la elección del objetivo.

El umbral distribuye otro coste. Subirlo puede reducir un tipo de error y aumentar otro. Quién recibe un rechazo erróneo y quién paga una aprobación errónea no desaparecen porque la cifra esté bien escrita. El corte puede mantenerse, pero requiere razones. El formato de parámetro no es una razón.

Ni siquiera la equidad es un interruptor único ya disponible. Unas exigencias preguntan si una puntuación igual tiene el mismo significado; otras, si es igual la proporción de personas aptas rechazadas por error o de no aptas admitidas por error. Primero hay que explicar qué protege cada una, no limitarse a llamar equidad al indicador final.

El estudio de Kleinberg, Mullainathan y Raghavan trata un conjunto específico: calibración dentro de cada grupo y equilibrio entre grupos de las puntuaciones medias para los positivos reales y, por separado, para los negativos reales. Positivo y negativo aluden al resultado real, no a personas buenas o malas. Salvo condiciones como una predicción perfecta o tasas base iguales entre grupos, las tres exigencias no pueden cumplirse a la vez. No declara imposible cualquier terna de criterios de equidad.

Otro estudio, de Chouldechova, trata la igualdad del valor predictivo positivo y la igualdad de los dos tipos de tasa de error: bajo las condiciones pertinentes de tasas base diferentes y predicción imperfecta, entran en conflicto. No deben mezclarse las definiciones de ambos resultados. Calibración no es otro nombre de tasa de falsos positivos, y las matemáticas no han elegido por nosotros qué sacrificar.

Los teoremas no demuestran que un sistema real concreto sea necesariamente injusto ni que esforzarse carezca de sentido. Impiden una promesa fácil: entregar varias palabras buenas a los ingenieros y esperar que todas se realicen sin coste. Una vez explicado el conflicto, la elección necesita aún más visibilidad, razones y posibilidad de volver a cuestionarla.

Si se pregunta a la entidad por qué adoptó cierto objetivo de equidad y solo responde que su predicción está calibrada, puede haber un desajuste de alcance. La calibración sostiene una afirmación predictiva concreta, no responde automáticamente a por qué elegirla como criterio de equidad. Primero la pregunta original, después la prueba presentada: que sea técnica no le permite responder a más cosas.

La automatización también tiene condiciones. Si el resultado decide realmente, o se copia de rutina sin un nuevo juicio genuino, el mismo parámetro aplica repetidamente su elección. Si alguien puede cambiar de verdad la decisión, el caso es distinto. Ver «revisión humana» en la pantalla no demuestra que cada elección se haya deliberado de nuevo.

También hay que preguntar hasta dónde llega la revisión. Corregir la entrada de datos de una solicitud no es tener facultad para cuestionar el objetivo, las variables indirectas y el umbral. Corregir un caso merece reconocimiento, pero no demuestra que puedan revisarse los parámetros que producen otros parecidos. Pueden necesitarse ambos caminos, sin que uno se haga pasar por el otro.

Publicar parámetros es solo un paso. Se puede ver una cifra sin saber por qué se usa; obtener el código sin encontrar las elecciones escondidas en configuraciones, requisitos de compra o historiales de versiones. El coste de preguntar no consiste solo en leer programas, sino también en remontarse de la operación a sus razones.

Eso no hace culpable al programa. La ejecución estable puede reducir cambios arbitrarios y el registro de versiones ayudar a reconstruirlos. La pregunta es si, al multiplicar una elección pendiente, el sistema conserva también caminos de explicación y revisión. Culpar de todo a la máquina puede esconder precisamente la decisión de adoptarla.

El cumplimiento de normas ofrece otra conexión que exige delimitar el alcance. El régimen de normas armonizadas de la Ley de Inteligencia Artificial de la UE concede una presunción específica de conformidad respecto de los requisitos efectivamente cubiertos. Ese arreglo jurídico no es erróneo por existir. Que tenga un alcance obliga a preguntar hasta dónde llega.

El anuncio de la Comisión Europea del 19 de octubre de 2026 presenta la norma de gestión de calidad EN 18286, ya publicada en el Diario Oficial, y explica su relación con el artículo 17 y la limitación de la presunción a lo cubierto. No garantiza sin límite todas las actividades de una organización, todos sus usos concretos ni cada elección de valor.

El original no leyó el anexo correspondiente del texto completo de la norma ni encontró un registro real de que esa prueba limitada se usara para dar por respondida una cuestión externa a su alcance. Deben conservarse ambos huecos. Que la ubicación de una disposición suscite dudas no basta para declarar ilegal la norma: hay que comprobar juntos la solicitud de normalización modificada, el texto real y su correspondencia.

Por tanto, este ensayo no declara que el sistema europeo haya cerrado las preguntas éticas. Hay que comprobar qué plantea una objeción concreta, qué cubre realmente la prueba y si después alguien la empleó para cerrar lo no tratado. No encontrar un registro de abuso no permite declarar que no exista ni adivinar por qué no se encontró.

La objeción formal tampoco es una respuesta universal. La guía de la Comisión sobre reglas de productos explica que objetar una referencia de norma armonizada puede conducir a mantenerla, restringirla o retirarla. Eso ajusta un efecto jurídico específico, no permite a cualquiera reabrir ahí cualquier cuestión de valor. Alcance y condiciones de activación deben comprobarse para esta pregunta.

Volvamos al sistema de puntuación. Quienes asumen adoptarlo y usarlo no pueden remitirlo todo al autor del modelo. Adoptar no es transportarlo físicamente: introduce un conjunto de juicios en un proceso propio real. Tampoco convierte de pronto al usuario institucional en garante de todo el conocimiento algorítmico. Debe responder por lo que hizo, por qué adoptó y cómo trata cuestiones nuevas.

Que haya alguien responsable no significa que todas las premisas puedan reabrirse. Una institución puede explicar enseguida un resultado y negarse a discutir por qué predice solo ese objetivo. O permitir discutirlo sin ofrecer una forma de iniciar cambios. Son dos hechos que deben comprobarse por separado, no sustituirse por una lista de responsables.

Passi y Barocas llevan la atención a lo que ocurre antes del modelo. Durante seis meses observaron sobre el terreno un equipo empresarial de ciencia de datos y mostraron cómo la formulación del problema toma forma mediante negociación: qué resolver, con qué indicadores representarlo y qué variables indirectas admitir. Es un estudio de un equipo concreto, no una estimación de proporciones para todos los proyectos.

Ese trabajo y nuestras preguntas se complementan, no repiten lo mismo. El primero hace visibles las elecciones durante la formulación del problema; aquí se pregunta además adónde puede volver quien usa el sistema para exigir respuesta y revisión una vez formado. Registrar la negociación deja materiales, pero no crea automáticamente esa facultad.

Imaginemos que una solicitante rechazada consigue al fin una revisión. Se corrige un error al introducir sus ingresos y el resultado no cambia. Si ahora pregunta por qué cierto ingreso inestable pero continuo nunca entra en la evaluación, no basta responder «ya hemos revisado». La primera comprobación miró los datos de entrada; no significa que la premisa siguiente haya recibido preguntas.

Tampoco tiene por qué obtener el préstamo por eso. Prestar implica riesgos reales y la necesidad de una parte no borra los costes. La entidad puede negarse a cambiar, pero debe identificar qué rechaza y explicar qué lugar puede tratar ese nivel de cuestión. Poder preguntar no garantiza ganar; ser prudente tampoco significa conservar siempre la configuración original.

Las demostraciones más detalladas, la correspondencia entre disposiciones jurídicas y el examen de las normas completas quedan para lecturas posteriores. Aquí mantenemos visibles algunas transformaciones: objetivos en variables, elecciones en umbrales, equidad en indicadores y pruebas limitadas usadas para ciertas preguntas. Cada paso puede tener razones. Ninguno queda exento de ellas por entrar en una máquina.

Cuando mañana llegue la primera solicitud, el parámetro de ayer quizá siga siendo apropiado. No se trata de empezar una reunión desde cero cada día, sino de encontrar una entrada real cuando deje de serlo o alguien señale un coste omitido. El código seguirá funcionando; las respuestas no deberían detenerse por eso.

Fuente y alcance de la lectura

Versión española de los ensayos chinos. Las personas y escenas de ventanillas, puntuaciones, reuniones y traspasos entre procedimientos sin otra fuente indicada son imaginadas. Los textos, estudios y reglas citados conservan sus fechas y los límites de lo que permiten afirmar. Que las divisiones dejan algo fuera y que las personas son más que instrumentos son puntos de partida filosóficos y normativos asumidos por el original, no leyes empíricas. La evaluación de pruebas puede tratar valores; los límites profesionales, la autorización limitada y la conservación de un criterio tras revisarlo no son faltas por definición. No se completan como hechos probados los casos que no se han encontrado, ni se declara inexistente una facultad no verificada, ni se deducen frecuencias de una búsqueda sin resultados. Estos ensayos no prescriben diagnósticos, umbrales de crédito ni intervenciones clínicas, y no ofrecen asesoramiento jurídico ni instrucciones profesionales.

Artículo original ↗

Kleinberg, Mullainathan y Raghavan: conflictos condicionados entre exigencias de equidad en puntuaciones de riesgo ↗

Chouldechova: conflicto entre paridad predictiva y las dos tasas de error ↗

Anuncio de la Comisión Europea de octubre de 2026: EN 18286 y presunción limitada de conformidad ↗

Texto del artículo 40 en el servicio de asistencia de la Comisión sobre la Ley de IA ↗

Guía Azul de la Comisión de 2022: alcance de las objeciones formales a normas armonizadas ↗

Passi y Barocas: formulación de problemas en ciencia de datos ↗