본문 읽기
Non Dubito

회사 · 09

서명하는 사람이 정말 멈출 수 있는가

절차에 사람이 있다고 판단이 사람 손에 있는 것은 아니다. 정보와 시간, 권한과 판단을 바꾸어도 손해 보지 않을 조건이 함께 있어야 한다.

Han Qin ·

분석가가 날마다 시스템의 평가 초안을 열어 확인하고 서명한다고 상상해 보자. 회사는 자동화로 아낀 시간을 생각에 쓰면 된다고 한다. 동시에 담당 건수는 두 배가 되고 평가는 수정할 때마다 불일치로 센다. 서명은 남아도 판단할 공간은 점점 작아질 수 있다.

문제는 인간 개입이라는 글자가 아니라 실제로 이 사람이 무엇을 할 수 있는가다. 자료를 얻고 이해할 시간이 있으며 결과를 바꿀 수 있는가? 진지하게 판단을 바꾸면 자기 평가가 나빠지는가? 이런 조건 없이 마지막 단계를 재검토라 불러도 승인 누르기만 남을 수 있다.

원작은 시스템을 배치하는 회사에 먼저 요구한다. 사람에게 판단을 맡기면 판단할 자리를 실질적으로 마련하라는 것이다. 모든 사람이 판단자로 전환해야 한다고 요구하거나 익숙한 손일을 계속하고 싶은 사람을 뒤처졌다고 보지는 않는다. 일의 방식과 본인이 가려는 방향은 다르다.

실제 사고 하나는 이 구별을 더 무겁게 한다. 2018년 템피에서 Uber 자율주행 시험차가 보행자를 치어 숨지게 했다. NTSB 조사는 안전요원의 주의 분산을 추정 원인으로 들고 회사의 위험 평가와 감독, 자동화를 믿고 경계를 늦추는 상황에 대한 대응 부족 등을 기여 요인으로 열거했다. 안전 조사 보고서이지 모든 법적 책임의 판결은 아니다.

회사 절차에 문제가 있다고 작업자의 행동을 지울 수 없다. 안전요원이 앉아 있었다는 사실만 보고 회사가 판단 조건을 모두 주었다고 할 수도 없다. 둘은 함께 성립할 수 있으며 각각 근거가 필요하다. 심각한 사고와 평범한 사무실 지표의 결과는 다르다. 비교는 역할 권한과 실제 조건의 차이에만 한정한다.

실질적인 자리는 우선 판단할 수 있는 것이다. 알아야 할 자료를 얻고 내용을 이해하며 교육과 지원, 충분한 시간이 있어야 한다. 대체로 맞는 시스템을 감독할 때도 오랫동안 주의를 기울이는 어려움에 대응해야 한다. 성실해야 한다는 말로 설계 전체를 대신할 수 없다.

다음은 결과를 바꿀 수 있는 것이다. 직무 범위 안에서 고치거나 멈추거나 실제 권한이 있는 상위 처리 경로를 시작할 수 있어야 한다. 모든 직무가 회사 전체를 멈출 필요는 없다. 하지만 손에 든 이 건은 문제가 있음을 알면서도 자동으로 넘길 수밖에 없어서는 안 된다.

셋째는 권한을 행사했다고 불이익을 받지 않는 것이다. 근거 있는 확인 한 번에 시간이 더 들거나 시스템과 다르다는 이유만으로 감점해서는 안 된다. 개인 보복도 막고 지표 구조도 살핀다. 아무도 벌할 마음이 없어도 평가는 진지하게 판단하는 사람을 꾸준히 벌할 수 있다.

근거가 있는지는 당시 얻을 수 있던 정보와 권한, 실제 조건에 따라 보아야지 최종 결과에서 거꾸로 추론하지 않는다. 판단 보호가 기만이나 권한 남용을 면책하지도 않는다. 그것들에는 독립된 근거가 필요하다. 보장 하나를 작업자가 이후 영원히 틀리지 않는다는 말로 쓸 수 없다.

조건을 갖춰도 매번 실제로 판단했다고 인증할 수는 없다. 확인한 뒤 시스템에 동의하는 사람도 있고 기계적으로 반대할 뿐인 사람도 있다. 어떤 자료를 보았고 누구 말을 들었으며 어떤 이유를 남겼는지 보아야 한다. 수용이나 반대 비율을 내면과 능력 시험으로 삼지 않는다.

도자기 작업장이 근무자에게 소성 곡선을 고치거나 중단할 권한을 주고 불량 재료 손실을 급여에서 바로 공제하지 않는다고 하자. 방식은 빈틈없어 보이지만 시스템 옆에는 여전히 이전 원료 기록이 있다. 새 원료가 달라 곡선이 틀렸다면 권한을 쥐었다고 판단에 필요한 정보를 다 받은 것은 아니다.

처음의 평가 사례와 비추어 볼 수 있다. 하나는 정보가 없고 하나는 평가에 눌렸을 수 있다. 조건이 부족한 것과 조건을 쓰지 않은 것을 직원의 직무 태만이라는 한 문장에 섞을 수 없다. 회사가 직무에 판단을 요구한다면 그에 맞는 교육과 시간은 수행에 필수적이지 주어도 안 주어도 되는 추가 복지가 아니다.

책임을 다시 보자. 2024년 Moffatt 대 에어캐나다 결정에서 공식 웹사이트 챗봇은 사별 할인 항공권 신청에 잘못된 정보를 주었다. 브리티시컬럼비아 민사해결재판소는 에어캐나다가 답의 정확성을 확보할 합리적 주의를 다하지 않았고 챗봇을 행동을 독립적으로 책임질 실체로 취급할 수 없다고 판단했다. 이 사건의 구체적인 결정이지 모든 시스템의 책임을 대신 정할 보편 판례는 아니다.

이는 원작의 요구 하나를 비춘다. AI가 한 말이라는 이유만으로 회사가 배치한 정보 통로를 자기 장부에서 뺄 수 없다는 것이다. 시스템 출력도 누가 설정하고 배포하고 채택하고 감독했는지 따라가야 한다. 알고리즘을 모든 결과를 맡으러 올 대역으로 삼을 수 없다.

하지만 모든 개인 책임이 회사에서 바로 넘어오는 것도 아니다. 마지막 서명자에게 통제권과 실제 판단 조건이 없다면 서명만으로 모든 결정을 부담시킬 수 없다. 개인이 별도로 무엇을 지는지는 독립된 근거가 있어야 한다. 회사 이름도 실제 작업자의 독립된 행동을 가릴 수는 없다.

그러므로 조사는 결과에 가장 가까운 사람에서 멈출 수 없다. 재검토 건수를 정한 사람, 일치율 지표를 설계한 사람, 공개를 승인한 사람, 자료의 빈틈을 안 사람이 모두 결정의 연결에 있다. 각 자리는 실제 맡은 부분의 이유를 설명하고 잘못을 고쳐야 한다. 절차 문제를 아무도 책임지지 않는다는 말로 만들 수 없다.

평가의 처리량과 속도, 일치율 자체는 죄목이 아니다. 신호일 수 있고 문제 발견에 도움을 줄 수도 있다. 어떻게 방식에 들어오는지 보아야 한다. 재검토 시간을 밀어냈는가, 근거 있게 달리 판단하면 손해를 보는가, 멈추고 확인하는 일이 아직 실제로 가능한가?

일치율이 높으면 모형이 좋을 수도, 아무도 못 고칠 수도 있다. 낮으면 판단이 활발할 수도, 시스템이 나쁠 수도 있다. 숫자에는 이를 뒷받침할 사실이 필요하다. 어떤 비율로 사람이 여전히 판단한다고 곧장 검수하는 것은 판단을 다른 자동 신호에 다시 넘기는 일일 뿐이다.

실행을 시스템에 맡긴 뒤 직무는 실제로 바뀔 수 있다. 예전에 밤을 지키던 사람이 새 과제를 배울 수도, 그 길을 원하지 않을 수도 있다. 회사는 근거 있는 권한과 질문 가능한 방식 안에서 일을 조정할 수 있지만 개인의 성장 방향까지 명령으로 쓸 수 없다.

원래 기술을 계속하고 싶은 것은 사람의 선택이다. 회사가 모든 원래 직무를 남길지는 공동 작업의 방식이다. 서로 대신 답할 수 없다. 이 글은 모든 실행 직무의 영구 존속을 약속하지 않는다. 기술 진보라는 말도 조정의 이유와 대가, 이탈에 대한 설명을 저절로 면해 주지 않는다.

자동화가 이미 회사의 비용을 줄였다면 전환이라는 말로 변화를 모두가 나눌 난관으로만 표현할 수는 더욱 없다. 실제 어려움이 있는지는 자료가 필요하다. 조정은 여전히 기본 생존과 떠날 수 있음, 다른 방향을 고를 수 있음을 지켜야 한다. 회사의 절약만으로 모든 대가를 직원에게 밀 이유는 되지 않는다.

교육은 여건을 줄 수 있지만 필요한 기본 직무 지원을 은혜로 낮출 수는 없다. 그 밖의 도움에도 직원이 회사가 정한 미래를 자기 소망으로 삼으라는 조건을 붙일 수 없다. 새 일을 받아들이든 거절하거나 떠나든 설명할 구체적인 공동 사항이 있다. 성장 구호가 대신 답하지 않는다.

감시 범위도 기술 능력이 아니라 업무 필요에 따라야 한다. 가마 작업실의 카메라가 원래 불빛을 살피려고 설치되었지만 휴게 구석까지 비춘다고 하자. 각도 조정은 작아도 중요한 구별을 인정한다. 회사가 불이 어떻게 타는지 알고 싶다고 직원의 매분 삶을 알 이유가 있는 것은 아니다.

이용자가 제품에 일을 맡길 때도 경계는 같다. 덜 신경 쓰고 도구가 대신 고르게 하는 것이 이용자의 판단일 수도 있다. 세부를 모두 직접 하도록 강요할 필요는 없다. 핵심은 맡긴 범위가 명확하고 넘기지 않은 일까지 덤으로 대신 정하지 않는 것이다.

회사는 시스템이 권한 부여를 어떻게 이해하고 실행하는지 설명하고 이용자에게 주는 정보에 상응하는 책임을 져야 한다. 앞으로의 대행을 멈출 때는 실제로 시작할 길이 있어야 한다. 한 번 클릭해 맡긴 뒤 철회는 입구도 대상도 찾기 어려운 장애물의 연속이 되어서는 안 된다.

이미 처리했거나 처리 중인 일은 따로 보아야 한다. 권한을 취소해도 제삼자의 권리가 사라지지 않고 끝난 모든 거래가 자동으로 취소되지도 않는다. 어떻게 멈추고 고칠지는 원래 부여한 권한과 관련 약정에 따라 처리하되 검토로 들어갈 통로를 남겨야 한다.

상상 속에서만 가능한 회사인가? 원작은 모든 면을 언제나 완벽히 해내는 것이 하나의 방향임을 인정하며, 현실에서 반드시 실현된다고 약속하지 않는다. 하지만 어떤 직무에 자료가 있고 중단할 수 있으며 판단을 바꾸면 감점되는지는 오늘도 확인할 수 있다. 이상적인 회사가 먼저 나타날 때까지 기다릴 필요는 없다.

마지막 표에도 누군가는 서명해야 한다. 물을 것은 종이에 이름이 있는지가 아니라 서명 전에 그 사람이 실제로 보고 멈추고 바꿀 기회가 있었는가다. 회사가 판단의 책임을 요구한다면 시스템 대신 이름만 남기는 것 이상의 일도 주어야 한다.

원논문과 읽기 안내

사료 출처를 밝히지 않은 공장과 플랫폼, 도자기 작업장과 계약은 가정한 사례다. 실제 사례에는 출처를 달고 회사의 자체 설명, 규제기관의 판단, 판결과 합의를 구별해 자료에 적힌 날짜와 범위 안에서 설명한다. 현행 법률이나 투자에 관한 조언은 아니다. 회사의 장부와 직무상 책임, 독립된 근거를 가진 개인 책임을 나누어 본다. 상세한 법 조항과 전체 사상사적 대화, 아직 통일된 답이 없는 기준선은 원논문에 남겨 둔다. 중국어 산문을 바탕으로 옮겼다.

원논문 ↗

NTSB 템피 자율주행 시험차 사고 조사 보고서 ↗

Moffatt 대 에어캐나다 결정 원문(결정 PDF 미러) ↗