Las disciplinas · 04
Aprobar la revisión no es haber respondido a esta pregunta
Una conclusión puede ser fiable y enviarse a responder algo que nunca trató. Lo que debe compararse no es la actitud, sino el alcance.
En 1972, Alvin Weinberg habló de preguntas que pueden formularse en lenguaje científico, pero que, en las condiciones reales, resultan difíciles de responder mediante experimentos directos. Puso el ejemplo de la radiación de baja dosis: bajo los supuestos de su artículo, detectar una variación muy pequeña exigiría unos ocho mil millones de ratones. La cifra no sirve para asustar, sino para mostrar la distancia entre poder plantear una pregunta y poder responderla por completo.
A partir de esa distancia, el original imagina otro traspaso. Unos experimentos de dosis altas se han revisado con rigor y la conclusión se limita a su alcance. Alguien pregunta por qué se ha elegido cierto modelo para extrapolar a dosis bajas y recibe por respuesta que la ciencia ya lo ha revisado. No es un caso real narrado por Weinberg ni un juicio de este ensayo sobre las normas de radiación vigentes.
La escena aclara el problema: una revisión puede ser enteramente fiable y su conclusión enviarse a responder una pregunta que no trató. No se examina la honestidad de los científicos, sino si encajan la pregunta, el registro de su tratamiento y las consecuencias atribuidas a la conclusión.
Una revisión tiene, al menos, varios alcances distintos. Lo que está autorizada a examinar puede ser amplio en los documentos; lo que examinó realmente puede ser más estrecho en los registros; la eficacia que le atribuye después quien la adopta puede ser todavía mayor. No cabe comprimirlos todos en «revisado».
Estar autorizado a hacer algo no demuestra haberlo hecho esta vez. A la inversa, tocar en la práctica una cuestión ajena a la autorización no concede la facultad de tratarla. Que la revisión se exceda y que alguien amplíe después el uso de su conclusión son actos que necesitan comprobaciones distintas.
Cumplir el procedimiento tampoco demuestra por sí solo una respuesta sustantiva. Que una norma se presente, vote y archive conforme a las reglas prueba esos actos; saber si se trató determinada elección de riesgos requiere leer el informe. No se menosprecia el procedimiento: se evita pedir a su certificado toda la demostración.
Un alcance limitado no es un error. El trabajo profesional suele necesitar estrechar su campo para hacerlo bien. El problema aparece cuando lo que queda fuera se registra como resuelto dentro de esa conclusión. Ser limitado no es atribuirse un mérito ajeno; una conclusión no garantiza automáticamente sus usos.
La revisión de pruebas tampoco trata siempre solo hechos. Juzgar si la evidencia basta puede incluir ya el coste de equivocarse. La palabra evidencia no demuestra ausencia de valores; que expertos hayan considerado valores tampoco prueba que revisaron todas las premisas normativas. Hay que concretar cuál se trató esta vez.
Preguntar cómo calcular según un umbral no es preguntar de dónde viene ese umbral. Un método estadístico correcto puede responder bien a lo primero. Si se usa para cerrar lo segundo, siguen pendientes el origen, las alternativas y las posibilidades de cambio. Cuanta más soltura tenemos al calcular, más fácil puede resultar omitir la distinción.
Para comprobarlo, conviene escribir primero la pregunta real, buscar si el encargo de revisión la incluía, quién tenía facultades, hasta dónde llegó su tratamiento, qué condiciones declara la conclusión y qué consecuencias se le dieron finalmente. Son herramientas para localizar responsabilidades, no una escala para puntuar disciplinas.
El original llama respuesta mal remitida a una consecuencia concreta: no se trató la objeción, o el alcance declarado de la conclusión no basta, pero se registra como respondida. Responder no significa solo que alguien mencionó la misma palabra: el asunto debe haber entrado realmente en el examen.
Esa remisión puede fallar en dos direcciones. Quien entrega la conclusión de una revisión limitada la amplía hacia delante y afirma que la premisa quedó confirmada. Quien recibe una objeción la devuelve a una revisión anterior que no la trató y cierra así el asunto. Cambia la dirección y también el lugar donde buscar responsabilidad.
Pero una respuesta que sí abordó la cuestión y decidió mantener el criterio no es una respuesta mal remitida solo porque no satisfaga a quien pregunta. Pueden haberse explicado las razones para descartar una alternativa o mantener el juicio con las pruebas actuales. Responder y responder a mi gusto deben separarse; de lo contrario, ninguna revisión podría terminar.
El original llama además uso fuera de alcance a emplear una conclusión más allá de lo que demuestra. No todos esos usos declaran resuelta una objeción. Usar un resultado de investigación para decidir una política no es lo mismo que afirmar que la investigación eliminó todas las preguntas sobre esa elección.
El desajuste no necesita villanos. El revisor trabaja cuidadosamente según su autorización; quien adopta sigue una regla que permite usar lo aprobado; quien responde cierra los asuntos revisados conforme a la costumbre. Cada paso tiene un motivo y, aun así, la pregunta inicial puede haber recorrido el camino sin ser tratada.
Buscar solo motivos ocultos puede hacer que se pierdan de vista esas reglas de traspaso. Alguien puede usar la ciencia para promover una posición: es otro mecanismo que necesita pruebas. Ambos pueden coexistir, pero el engaño no es condición necesaria de cada desajuste de alcance. La crítica no debería exigir inventar primero un impostor.
La reparación más inmediata es ampliar la autorización para que la revisión de pruebas también reciba cuestiones normativas. Puede ayudar. Pero si ser miembro sigue exigiendo no negar la premisa cuestionada, añadir palabras no crea una posibilidad independiente de examinarla.
Una institución puede cambiar sus prácticas desde dentro. No debe negarse esa posibilidad, pero tampoco demuestra que hoy exista un lugar localizable con facultades para exigir respuesta y revisión. Que alguna vez haya ocurrido un cambio y que las personas afectadas puedan iniciarlo requieren explicaciones separadas.
Las reglas reales pueden empezar por aclarar el alcance. La Junta de Revisión de Normas del Instituto Nacional Estadounidense de Estándares explica que no evalúa el contenido de las normas ni las apelaciones sobre cuestiones técnicas en sí mismas, pero sí puede examinar si las objeciones técnicas recibieron el debido tratamiento procedimental. Es un límite funcional público, no prueba de una respuesta ya mal remitida.
Si después alguien invoca una conclusión de cumplimiento procedimental para declarar respondida una objeción a una premisa técnica, habría que examinar los registros de ese traspaso. El original no encontró ese caso real de cierre y lo deja como un lugar posible. Un buen ejemplo no autoriza a completar con imaginación el último paso que las pruebas no dan.
Tampoco debe presentarse GRADE apresuradamente como un contraejemplo negativo. Antes de evaluar las pruebas, su manual de 2013 pide considerar qué resultados importantes para los pacientes deben incluirse y cuánto importan. No finge que esa elección no exista. Quién participa y si la revisión es suficiente requieren otro examen.
Por eso, para saber si una evaluación de bajo riesgo de sesgo se usó para cerrar preguntas sobre la elección de resultados del estudio, hay que encontrar su invocación real. Para saber si una revisión por pares de un análisis estadístico se usó para confirmar la aplicabilidad de un umbral, hacen falta registros. Poder ocurrir no significa haber ocurrido.
El original propone además una vía pendiente de demostración: si el cierre solo admite conclusiones de la revisión de pruebas y las preguntas sobre premisas normativas tampoco pueden entrar en otros procedimientos eficaces, ambas condiciones podrían permitir que elecciones sin explicar sigan funcionando como pura técnica.
Si falta una de las condiciones, no se puede completar la historia. Si otro lugar tiene facultades para recibir la pregunta, quizá no haya exclusión total. Si el cierre acepta otras bases, tampoco tiene que pedir prestada su respuesta únicamente a un certificado de evidencia. En las reglas examinadas, el original no encontró un caso que reuniera ambas condiciones.
Ese resultado negativo importa. No demuestra que las respuestas mal remitidas sean raras ni omnipresentes: solo indica hasta dónde llegan los materiales actuales. Un método que exige reconocer los límites de lo demostrado no puede presentar una posibilidad propia como un hecho establecido.
El objeto de la pregunta sigue siendo concreto: qué objeción, qué encargo, qué autorización, qué tratamiento, qué límite declarado y qué cierre. Pueden ayudar a separar una confusión estable e involuntaria, o mostrar que esta vez la pregunta sí recibió respuesta.
Este ensayo no decide qué modelo de radiación, umbral estadístico o resultado clínico debe elegirse. Protege entradas distintas para preguntas distintas: seguir evaluando rigurosamente la calidad de las pruebas y discutir las razones de una elección sin tener que disfrazarlas de errores de datos.
El sello de aprobado puede conservarse, junto con el peso exacto de lo que demuestra. A su lado puede anotarse otra cuestión pendiente. Devolver una conclusión a su alcance no debilita la ciencia: evita que deba certificar como terminado un juicio que todavía no se hizo.
Fuente y alcance de la lectura
Versión española de los ensayos chinos. Las personas y escenas de ventanillas, puntuaciones, reuniones y traspasos entre procedimientos sin otra fuente indicada son imaginadas. Los textos, estudios y reglas citados conservan sus fechas y los límites de lo que permiten afirmar. Que las divisiones dejan algo fuera y que las personas son más que instrumentos son puntos de partida filosóficos y normativos asumidos por el original, no leyes empíricas. La evaluación de pruebas puede tratar valores; los límites profesionales, la autorización limitada y la conservación de un criterio tras revisarlo no son faltas por definición. No se completan como hechos probados los casos que no se han encontrado, ni se declara inexistente una facultad no verificada, ni se deducen frecuencias de una búsqueda sin resultados. Estos ensayos no prescriben diagnósticos, umbrales de crédito ni intervenciones clínicas, y no ofrecen asesoramiento jurídico ni instrucciones profesionales.
Alvin Weinberg (1972): Ciencia y transciencia, artículo original ↗
Funciones y alcance de las apelaciones ante la Junta de Revisión de Normas de ANSI ↗
Manual GRADE (2013), capítulo 3: selección e importancia de los resultados ↗