학문 분야 · 04
심사 통과가 이 질문에 답했다는 뜻은 아니다
믿을 만한 결론도 다룬 적 없는 질문의 답으로 보내질 수 있다. 비교할 것은 태도가 아니라 범위다.
1972년 앨빈 와인버그는 과학의 언어로 제기할 수 있지만 실제 조건에서는 직접 실험으로 답하기 어려운 문제를 논했다. 저선량 방사선을 예로 들며, 글에서 설정한 조건 아래 작은 변화를 식별하려면 생쥐가 약 80억 마리나 필요하다고 했다. 숫자의 뜻은 놀라게 하는 데 있지 않다. 질문을 할 수 있다는 것과 답을 완성할 수 있다는 것 사이의 거리를 보여 준다.
원논문은 이 거리를 빌려 다른 인계 장면을 만든다. 고선량 실험을 진지하게 심사했고 결론은 실험이 닿은 범위에 한정된다고 하자. 누군가 저선량 외삽 모형을 왜 그렇게 골랐는지 묻지만 과학이 이미 심사했다는 답을 받는다. 와인버그가 기록한 실제 사건이 아니다. 이 글이 현실의 방사선 기준을 판정하는 것도 아니다.
이 예시로 문제가 선명해진다. 심사는 완전히 믿을 만해도 결론이 답한 적 없는 질문에 대신 보내질 수 있다. 확인할 것은 과학자의 정직성이 아니다. 질문과 처리 기록, 결론에 부여한 결과가 서로 맞는가다.
심사에는 적어도 몇 가지 서로 다른 범위가 있다. 무엇을 심사하도록 권한을 받았는지는 문서에 넓게 쓰일 수 있다. 실제로 무엇을 심사했는지는 기록상 더 좁을 수 있다. 나중에 채택하는 쪽이 부여하는 효력은 다시 더 넓을 수 있다. 이 범위들을 심사했다는 말로 압축할 수는 없다.
할 권한을 받았다고 이번에 이미 했다는 증거는 아니다. 반대로 실제로 권한 밖 문제에 닿았다고 그 권한을 얻는 것도 아니다. 심사 자체가 권한을 넘었는지와 나중에 누군가 결론의 쓰임을 넓혔는지는 각각 살펴야 할 행위다.
절차를 통과한 것만으로 실질적으로 답했다는 증거가 되지도 않는다. 기준을 규정에 따라 제출하고 표결하고 보관했다면 그 절차가 있었음을 증명할 수 있다. 특정 위험 선택을 다루었는지는 보고서를 봐야 한다. 절차를 가볍게 여기는 것이 아니라 절차 증명서에 모든 입증을 맡기지 않는 것이다.
범위가 제한된 것 자체는 잘못이 아니다. 전문 작업은 흔히 범위를 좁혀야 탄탄해진다. 문제는 범위 밖의 것을 이 결론 안에서 해결한 것으로 기록할 때 생긴다. 유한함과 하지 않은 일을 했다고 주장하는 것은 다르다. 결론이 자기 쓰임을 자동으로 보증해서는 안 된다.
증거 심사가 늘 사실만 다루는 것도 아니다. 증거가 충분한지 판단할 때 오판의 비용을 이미 고려했을 수 있다. 증거라는 말을 보고 가치가 없다고 가정해서는 안 된다. 전문가가 가치를 고려했다고 모든 규범적 전제를 이미 심사했다고 여길 수도 없다. 이번에 어떤 항목을 다루었는지로 좁혀야 한다.
문턱에 따라 어떻게 계산하는지와 문턱이 어디서 왔는지는 같은 질문이 아니다. 통계 방법에 오류가 없다는 것은 앞 질문의 좋은 답일 수 있다. 그것으로 뒤 질문을 끝낸다면 출처와 대안, 수정에 관한 논의가 아직 남는다. 계산에 능숙할수록 오히려 이 구별을 생략하기 쉽다.
대조할 때는 이번에 정말 무엇을 물었는지 먼저 쓰고, 심사 과업에 포함되었는지, 누가 권한을 가졌는지, 기록상 어디까지 처리했는지 찾을 수 있다. 결론 자체가 어떤 조건을 약속하며 마지막에는 어떤 결과를 내는 데 쓰였는지도 본다. 담당할 곳을 찾는 도구이지 학문 분야를 채점하는 척도가 아니다.
원논문은 한 종류의 결과를 잘못 보내기라고 부른다. 이 질문을 다루지 않았거나 결론이 스스로 밝힌 범위로는 부족한데도 질문을 이미 답한 것으로 기록하는 일이다. 이미 답했다는 것은 누군가 같은 단어를 언급했다는 뜻이 아니다. 실제로 그 사안이 처리에 들어갔다는 뜻이다.
잘못 보내기는 두 방향으로 일어날 수 있다. 제출하는 쪽이 제한된 심사의 결론을 앞으로 넓혀 전제가 확인되었다고 말한다. 접수하는 쪽은 질문을 받아 그 문제를 다루지 않은 이전 심사로 되돌려 보내고 종결한다. 방향이 다르므로 찾아야 할 책임의 자리도 다르다.
그러나 제대로 답한 뒤 유지하기로 결정한 것을 질문자가 만족하지 않는다는 이유만으로 잘못 보내기라 부를 수는 없다. 상대는 왜 대안을 고르지 않았는지 설명했거나 현재 자료에 따라 원래 판단을 유지했을 수 있다. 답했는지와 내 마음에 맞게 답했는지는 나누어야 한다. 그렇지 않으면 심사는 영원히 끝날 수 없다.
입증 범위를 넘어 결론을 쓰는 일은 원논문이 따로 다른 용도로 쓰기라고 부른다. 그런 사용이 모두 질문을 해결했다는 선언은 아니다. 연구 결과를 정책 판단에 쓰는 것과 그 연구가 해당 선택에 관한 모든 질문을 없앴다고 말하는 것은 구별해야 한다.
이런 어긋남에는 악인이 필요하지 않다. 심사자는 권한에 따라 성실히 일하고, 채택자는 통과하면 채택할 수 있다는 규정을 따르며, 답변자는 관행대로 이미 심사한 사안을 종결한다. 단계마다 이유가 있어도 처음 질문은 내내 처리되지 않았을 수 있다.
숨은 동기만 찾으면 이런 인계 규칙을 놓칠 수 있다. 과학을 빌려 자기 입장을 밀어붙이는 사람이 실제로 있을 수는 있다. 그것은 따로 증거가 필요한 작동 방식이다. 함께 존재할 수 있지만 모든 범위 어긋남의 필수 조건은 아니다. 비판하기 전에 위장하는 사람부터 꾸며 내야 해서는 안 된다.
가장 자연스러운 보완은 권한을 넓혀 증거 심사가 규범적 질문도 받게 하는 것이다. 도움이 될 수 있다. 하지만 위원 자격이 여전히 질문받는 전제를 부정해서는 안 된다고 요구한다면, 새 문구가 그 전제에 대한 독립적인 질문을 가져온 것은 아니다.
물론 내부에서 옛 방식을 스스로 고칠 수 있다. 이 가능성을 부정해서는 안 된다. 그렇다고 지금 찾을 수 있고 응답과 재검토를 요구할 수 있는 자리가 이미 있다는 증거도 아니다. 변화가 있었던 것과 영향을 받은 사람이 변화를 시작할 방법이 있는 것은 따로 설명해야 한다.
실제 규칙은 우선 범위를 명확히 보여 줄 수 있다. 미국국가표준협회의 표준심사위원회는 표준 내용은 평가하지 않고 기술 문제 자체의 이의도 심사하지 않지만, 기술적 이의가 적절한 절차로 고려되었는지는 심사할 수 있다고 설명한다. 공개된 기능의 경계다. 그 자체로 이미 잘못 보내기가 일어났다는 증거는 아니다.
나중에 누군가 절차 준수 결론으로 기술적 전제에 대한 질문이 답변되었다고 선언한다면, 그 인계의 기록을 살펴야 한다. 원논문은 그런 실제 종결 사례를 찾지 못했으므로 가능성이 있는 곳으로만 남긴다. 좋은 예를 만들려고 없는 증거의 마지막 단계를 채울 수는 없다.
GRADE도 성급하게 반대 사례로 삼아서는 안 된다. 2013년 지침서는 증거를 평가하기 전에 환자에게 중요한 어떤 결과를 포함할지, 얼마나 중요한지 먼저 고려하라고 요구한다. 이 선택을 단순히 없는 척하지 않았다. 구체적으로 누가 참여하고 재검토가 충분한지는 여전히 따로 확인해야 한다.
그러므로 편향 위험이 낮다는 평가가 연구 종점 선택에 관한 질문을 끝내는 데 쓰였는지는 실제 인용을 찾아야 한다. 통계 분석이 동료 심사를 통과한 것을 특정 문턱의 적절함을 확인하는 데 썼는지도 처리 기록을 찾아야 한다. 일어날 수 있다는 것과 일어났다는 것은 다르다.
원논문은 입증을 기다리는 경로도 제시한다. 종결할 때 증거 심사 결론만 받고, 규범적 전제의 질문은 다른 유효한 절차에도 못 들어간다면, 두 조건이 합쳐져 설명되지 않은 선택이 계속 순수 기술처럼 작동하게 할 수 있다.
어느 조건이든 빠지면 이야기를 완성할 수 없다. 다른 곳에 받을 권한이 있다면 완전히 배제된 것이 아닐 수 있다. 종결할 때 다른 근거도 받는다면 증거 증명서에서만 답을 빌려야 하는 것이 아니다. 원문은 살펴본 규칙에서 두 조건을 동시에 충족하는 사례를 찾지 못했다.
이 찾지 못했다는 말은 중요하다. 잘못 보내기가 드물다는 증거도, 어디에나 있다는 증거도 아니다. 지금 자료가 여기까지라는 뜻일 뿐이다. 남에게 입증 범위를 인정하라고 요구하는 방법이라면 스스로 가능성을 확립된 사실로 쓸 수는 없다.
그래서 질문의 대상은 늘 구체적이다. 어떤 질문과 과업, 권한과 처리 내용, 한계 문구와 종결인가. 이 항목들은 안정적이지만 의도하지 않은 오해를 풀어낼 수 있다. 이번에는 사실 제대로 답했다는 것을 보여 줄 수도 있다.
이 글은 방사선 모형이나 통계 문턱, 의학적 종점 중 무엇을 골라야 하는지 판정하지 않았다. 보호하려는 것은 서로 다른 질문에 각자의 입구가 남는 일이다. 증거의 질은 계속 진지하게 심사하고, 선택의 이유도 데이터 오류인 척하지 않고 논의에 들어갈 수 있어야 한다.
통과 도장은 남겨도 된다. 그것이 실제로 증명한 무게도 지켜야 한다. 옆에는 다른 미답 항목을 쓸 수 있다. 결론을 자기 범위로 돌려놓는 것은 과학을 약하게 하는 일이 아니다. 끝내지 않은 판단에 완료 증명서를 대신 발급하지 않아도 되게 하는 일이다.
원논문과 읽기 안내
별도 출처가 없는 창구, 점수, 회의와 절차 인계의 인물과 장면은 가상이다. 실제 문헌과 연구, 규칙은 출처와 자료의 날짜, 증명할 수 있는 범위를 밝힌다. 모든 구분에는 담지 못한 것이 있고 사람은 도구만이 아니라는 말은 원작이 공개적으로 맡는 철학적·규범적 출발점이지 경험 법칙이 아니다. 증거 심사 자체도 가치를 다룰 수 있으며 전문 범위, 제한된 권한, 심사 뒤의 유지는 그 자체로 직무 실패가 아니다. 찾지 못한 완전한 사례를 입증된 사실로 채우지 않고, 확인하지 못한 권한을 없다고 쓰거나 사례를 못 찾았다는 이유로 빈도를 판단하지 않는다. 진단과 신용 문턱, 의료 처치를 결정하지 않으며 법률이나 전문 업무 지침을 제공하지 않는다. 한국어판은 중국어 산문을 바탕으로 한다.