학문 분야 · 03
기준은 일하고 있다. 질문할 자리는 어디에 있는가
기준대로 했는지 계속 확인한다고 기준 자체를 물을 수 있는 것은 아니다. 비판과 응답, 재검토와 실제 변화에는 각각 기록이 필요하다.
연구 한 편이 제출되었다. 표에는 통계 결과가 흔히 쓰는 유의성 문턱을 넘었다고 나온다. 계산은 완전히 맞을 수 있다. 그래도 질문이 끝난 것은 아닐 수 있다. 왜 문턱이 여기에 있고 이 숫자는 무엇을 보증하며 누가 다시 물을 권한을 갖는가?
2016년 미국통계학회는 과학적 결론과 사업·정책 결정을 통계 수치가 특정 문턱을 넘었는지에만 근거해서는 안 된다고 명시한 성명을 냈다. 통계가 쓸모없다는 선언이 아니다. 흔히 답으로 여기는 곳에 추론과 맥락을 남기라고 요구한 것이다.
원작은 여기서 두 자리를 나눈다. 하나는 전제를 안정시켜 작업이 계속되게 한다. 다른 하나는 전제가 어디서 왔고 대안은 무엇이며 어떤 결과를 낳고 언제 다시 심사해야 하는지 공개적으로 묻는다. 앞자리가 계속 일한다고 뒷자리도 이미 누군가 맡았다는 증거는 아니다.
안정된 설정이 없으면 작업은 멈춘다. 분석할 때마다 무엇을 발견으로 볼지 다투고 분류할 때마다 모든 개념을 새로 만들면 일상적인 진행이 불가능하다. 공통 전제를 영원히 채택하지 말라는 뜻이 아니다. 채택해야 한다는 필요를 곧바로 다시 물어서는 안 된다는 말로 바꾸지 말자는 것이다.
설정은 눈에 잘 보일 수 있다. 기준 문서와 분류표, 교정 기록이 있는 기기다. 눈에 잘 안 보일 수도 있다. 교육 중에 듣는 이 업계는 다 이렇다는 말, 소프트웨어 기본값, 학술지가 계속 쓰는 서식이다. 공식 위원회가 없다고 선택을 안정시키는 것이 없는 것은 아니다.
그 전제 중 일부는 바로 현행 절차가 사용하는 것이다. 같은 절차로 자신의 경계를 다시 증명하려 하면 제자리로 돌아올 수 있다. 계산은 주어진 조건에서 무엇이 나오는지 설명한다. 왜 이 조건을 써야 하는지는 계산만으로 모두 풀 수 없다.
그렇다고 질문이 모든 전제 밖에 서는 것은 아니다. 기준을 물을 때도 자료와 분류, 다른 방법을 빌린다. 두 자리가 다르다는 것은 인과적으로 무관하다는 뜻이 아니다. 한쪽만 설정이 있고 다른 쪽에는 전혀 없다는 뜻도 아니다. 맡은 일이 다른 것이다.
자격시험에 고정 점수선이 있다고 상상해 보자. 채점팀은 합산 오류와 문항의 오채점을 확인할 수 있다. 하지만 그 선이 시험이 주장하는 능력을 포괄하는지는 논할 권한이 없다. 바쁘고 전문적인 팀이어도 기준이 약속하는 경계까지는 아직 묻지 못했을 수 있다.
원작은 이 경계를 구체적으로 설명한다. 해당 분야는 언제 작업이 성공했다고 보는지, 어떤 결과를 근거로 삼을 수 있는지, 어떤 방법에 정당화의 효력이 있는지 약속한다. 세 가지가 합쳐져 밖에 보증하는 범위가 된다. 과학이 이미 증명했다는 한마디로 범위 밖의 일까지 함께 넣을 수는 없다.
질문은 범위 자체를 문제로 올릴 수 있어야 한다. 절차가 원래 목표를 더 정확히 이루도록 돕는 것과 목표와 방법의 근거를 다시 묻게 하는 것은 다른 관할이다. 앞의 일은 매우 중요하다. 중요하다는 이유만으로 뒤의 일을 대신할 수는 없다.
관련 실무자에게 공개 응답을 요구할 수도 있어야 한다. 비판을 발표했다고 응답을 요구할 권한을 가진 것은 아니다. 상대는 읽거나 답하지 않을 수 있다. 비판에 일리가 있어도 누군가 반드시 받아야 하는 통로는 아직 생기지 않은 것이다. 목소리의 존재와 통로의 성립은 따로 기록해야 한다.
응답 뒤에는 재검토를 시작할 가능성도 필요하다. 전제가 언제 효력을 잃는지 검증하고 대안과 비교해야 한다. 설명 한 문단을 더 쓰는 데 그쳐서는 안 된다. 멋진 답장을 받았다고 원래 설정을 다시 열 수 있는 곳이 있다는 보장은 없다.
마지막으로 질문하는 자리의 존속과 평가가 질문받는 전제의 지속적인 유효성에 달려 있는지 살펴야 한다. 기준이 영원히 옳음을 증명해야만 제 일을 다 한 것으로 인정된다면, 기준을 철회할 수도 있게 하는 역할을 동시에 맡기 어렵다. 독립은 먼저 이 전제들과 맺는 관계다.
네 측면은 서로 채워 줄 수 없다. 범위는 물을 수 있지만 답을 요구할 권한이 없는 경우와 답은 할 수 있지만 재검토는 허용하지 않는 경우는 빈틈이 다르다. 무엇이 충족되지 않았는지 기록한다고 모든 참여자에게 성의가 없다고 말할 필요는 없다. 그렇다고 다른 세 조건을 기록에서 지우지도 않는다.
물론 한 분야가 이런 일을 스스로 할 수 있다. 기초연구와 방법론 학술지, 개정팀은 전제에 닿을 수 있다. 내부자라고 미리 독립적이지 않다고 판단해서는 안 된다. 논의가 격렬하다고 독립성과 재검토 권한이 모두 갖추어졌다고 자동 인증할 수도 없다.
판단은 세 몫으로 나누어야 한다. 첫째, 적절한 자리가 있고 그 권한과 독립 조건은 무엇인가. 둘째, 실제로 질문했으며 응답은 질문에 닿았는가. 셋째, 어떤 결론이 나왔고 일상 절차에 어떻게 들어갔는가. 저절로 한 단계씩 올라가는 계단이 아니다.
적절한 위원회가 있다고 실제로 문제를 열었다는 증거는 아니다. 회의를 많이 했다고 권한이 있다는 증거도 아니다. 새 기준이 나중에 널리 채택되어도 독립적인 질문이 변화를 이끌었다는 증거는 아니다. 행정 압력과 유행, 다른 원인으로 바뀌었을 수도 있다.
반대로 독립적인 재검토 뒤 원래 기준을 유지한 것은 실패가 아니다. 결론이 교체일 수밖에 없다면 재검토의 답이 이미 정해진 셈이다. 진지하게 살핀 결과 원래 설정이 명시된 범위에서는 여전히 적절하다고 나올 수도 있다. 유지가 어떤 이유와 절차에 기대는지가 핵심이다.
아직 쓰고 있다는 말은 다르다. 결정 없이 이어 쓰는 것과 묻고 제대로 답한 뒤 유지하기로 결정한 것은 글자상 모두 기준을 안 바꾼 모습이다. 하지만 일어난 일은 다르다. 앞의 일을 뒤의 일로 채워 쓸 수도 없고, 뒤의 일을 제자리걸음이라고 깎아내릴 수도 없다.
변화가 효력을 얻는 것도 따로 기록해야 한다. 개정 보고서가 다른 분류를 제안해 연구 부록에 실었지만 일상 판정에는 들어가지 않았다고 하자. 논의는 실제로 일어났고 대안도 남았다. 그렇다고 모든 실사용자가 새 방법으로 바꿨다고 말할 수는 없다.
이 글은 그 가상 사례로 어떤 진단 체계의 결론을 내리지 않으며 독자에게 진단 조언을 하지도 않는다. 의학 분류의 영향은 크다. 운영과 증거의 경계를 논한다고 구체적인 전문 도움을 부정하는 것은 아니다. 치료가 필요한 사람에게 철학적 재검토 전체부터 마치라고 요구해서는 안 된다.
원작은 일부 심리학 비판을 검색한 범위도 남긴다. 비판과 성명을 읽었지만 확인 가능한 응답 요구권과 재검토 권한을 찾지 못했다고 해당 분야 전체에 그런 권한이 한 번도 없었다는 증거는 아니다. 못 찾았다는 말과 없다는 말의 강도는 다르다. 논점에 필요하다고 섞어서는 안 된다.
이 원칙은 특히 중요하다. 공개 문서에 적혀 있지 않은 것은 기록 범위가 달라서일 수도, 다른 절차가 있어서일 수도 있다. 어떤 자료의 어느 단계에서 무엇을 찾아보았는지 남겨야 한다. 그래야 다음 독자가 더 확인할 수 있다. 저자의 확신만 믿게 해서는 안 된다.
방법이 바뀌었다는 말도 구체적인 전제까지 따라가야 한다. 연구가 어떤 설계를 점점 중시하는 것은 실제 변화일 수 있다. 하지만 개혁 이름 하나로 누가 맡고 어떤 권한을 가지며 어떤 전제가 무슨 새 절차에 들어갔는지 다 설명할 수는 없다.
나누어 기록하는 일은 느려 보인다. 그래도 두 가지 성급한 결론을 막는다. 기준은 생기자마자 근거가 있다고 여기거나, 모든 기준을 권력의 위장으로 판정하는 것이다. 반복 가능한 절차에는 유지하는 사람이 필요하고 유지의 전제에도 물을 곳이 필요하다. 한쪽을 인정하려고 다른 쪽을 무너뜨릴 필요는 없다.
모든 연구자가 매일 모든 기초를 다시 심사하라는 요구도 아니다. 구체적인 일을 하는 사람은 명시된 조건 안에서 현행 기준을 쓸 수 있다. 진짜 제도적 문제는 누군가 경계에 관한 이유를 제기했을 때 복도에 울리는 데 그치지 않고 응답과 재검토로 들어갈 수 있는가다.
질문은 결국 유지나 개정, 철회로 이어질 수 있다. 이 글은 이번 결과를 대신 고르지 않았고 모든 분야에서 같은 종류의 사람이 그 자리에 앉아야 한다고 정하지도 않았다. 먼저 계산표와 기준 문서 옆에 실제 권한을 가진 의자 하나가 빠져 있지는 않은지 보자고 요구한다.
다음에 우리는 늘 심사하고 있다는 말을 들으면 진지하게 심사한다는 점은 먼저 믿고 무엇을 심사하는지 물을 수 있다. 오자와 계산식, 실행을 살피는 사람은 있지만 기준이 약속하는 경계는 누구도 다시 열 수 없다면, 가장 중요한 빈자리가 바쁜 사무실 안에 숨어 있을지도 모른다.
원논문과 읽기 안내
별도 출처가 없는 창구, 점수, 회의와 절차 인계의 인물과 장면은 가상이다. 실제 문헌과 연구, 규칙은 출처와 자료의 날짜, 증명할 수 있는 범위를 밝힌다. 모든 구분에는 담지 못한 것이 있고 사람은 도구만이 아니라는 말은 원작이 공개적으로 맡는 철학적·규범적 출발점이지 경험 법칙이 아니다. 증거 심사 자체도 가치를 다룰 수 있으며 전문 범위, 제한된 권한, 심사 뒤의 유지는 그 자체로 직무 실패가 아니다. 찾지 못한 완전한 사례를 입증된 사실로 채우지 않고, 확인하지 못한 권한을 없다고 쓰거나 사례를 못 찾았다는 이유로 빈도를 판단하지 않는다. 진단과 신용 문턱, 의료 처치를 결정하지 않으며 법률이나 전문 업무 지침을 제공하지 않는다. 한국어판은 중국어 산문을 바탕으로 한다.