깎아내기와 구축의 주기 법칙 · AI 연재 · 09

기계인 줄 알면서도 그에게 잠깐 나가 달라고 했다

Han Qin · 읽는 데 약 17분 · 공개일

1. 칠 수 없는 물음표

1960년대 중반, MIT의 방 한 칸에 타자기 한 대가 있다.

타자기는 아무것에도 연결되어 있지 않다. 더 정확히 말하면, 연결된 컴퓨터가 이 방에 없다. 건물의 다른 곳에 있고, 같은 시간에 다른 사람들도 쓰고 있다. 큰 기계 한 대가 아주 비싸던 때였다. 한 사람이 혼자 쓰면 낭비여서 여럿이 나눠 쓰고, 각자 자기 방의 타자기 앞을 지켰다.

타자기로 영어 한 문장을 쓰고 엔터를 두 번 누른다. 한 번은 소용없다. 연달아 두 번 눌러야 이번 차례의 말을 넘긴 것으로 친다. 그러면 타자기가 저절로 움직여 같은 종이에 답을 찍는다.

물음표는 칠 수 없다. 이 장치는 물음표를 제어 문자로 알아들었다. 방금 친 한 줄을 다 지우라는 뜻이었다. 당시 이 기계와 말을 할 때에는 물음표를 단 질문을 할 수 없었다. 답이 오는 데 걸리는 시간은 건물에서 같은 기계를 몇 명이 쓰느냐에 달렸다. 바쁠 때에는 좀 더 기다렸다.

1965년 3월 22일에 인쇄한 종이 한 장이 지금도 남아 있다. 대화가 차례차례 적혀 있다. 한쪽은 사람이 쳤고, 한쪽은 기계가 쳤다. 같은 종이에 같은 타자 활자가 같은 모양의 글자를 같은 잉크로 찍었다. 읽다 보면 한 줄씩 사람 말인지 기계 답인지 가려야 한다.

뒤에 논문에 인쇄한 시연에서는 기계 말을 대문자로 찍고 사람 말은 그렇게 하지 않았다. 양쪽 말은 여전히 한데 이어서 읽는다.

프로그램을 쓴 사람은 요제프 바이첸바움이다. 이름은 일라이자(ELIZA)다. 버나드 쇼의 희곡에 나오는 꽃 파는 아가씨한테서 직접 이름을 가져왔다. 아가씨는 말하는 법을 조금씩 새로 배웠다. 바이첸바움이 이름에 담은 뜻은 프로그램 구조에 있다. 프로그램 자체는 아무 말도 할 줄 모르고 무엇을 말할지는 다른 것이 정한다. 그 다른 것은 갈아 끼울 수도 있고 조금씩 가르칠 수도 있다. 이 차이는 뒤에 흔히 한데 묶여 전해졌다.

일라이자는 두 층이다. 아래에는 프로그램 자체가 있다. 들어오는 문장을 나누고 규칙대로 도로 잇는 일 하나를 한다. 위에는 목록 한 장이 있어 각본이라 불렀다. 어떤 말에 주의할지, 그 말이 나오면 어떤 모양으로 나눌지, 잘린 조각을 어떻게 다시 놓을지 적었다. 목록은 프로그램의 일부가 아니라 프로그램에 먹이는 재료다. 다른 목록을 주면 다른 것이 된다.

방법은 이렇다. 문장을 치면 먼저 목록의 말을 찾는다. 몇 개가 나오면 목록에 매긴 순서에서 가장 중요한 하나를 고른다. 그 이름 아래 있는 틀을 문장에 씌워 토막을 낸다. 다시 잇는 규칙에 따라 토막을 재배치하고, 가끔 정해진 말을 몇 개 더 넣는다.

아무 말도 찾지 못하면 물러설 길이 둘이다. 문장 내용과 관계없는 말을 한다. 또는 기억에서 전에 들은 말을 하나 꺼내, 한 차례 바꿔 돌려준다. 어느 쪽에도 무슨 말을 하는지 알 필요가 없다.

2. 왜 의사를 골랐을까

목록은 여러 장이다. 사람들이 기억하는 한 장의 이름은 의사였다. 프로그램에게 심리 치료사 노릇을 시킨다.

뒤의 60년간 일라이자는 거의 늘 여기서부터 이야기됐다. 진료를 하려고 쓴 프로그램, 치료 프로그램이었다고. 1966년 논문에 쓰인 것은 다른 이야기다.

42쪽에 왜 이 역할을 골랐는지 나온다. 이런 대화에서는 치료하는 쪽이 현실 세계에 대해 거의 아무것도 모르는 것처럼 해도 상당 부분 통한다는 것이다. 기계가 치료를 잘해서가 아니다. 이 역할이라면 거의 아무것도 모르는 것이 맞은편에 앉아도 들키지 않는다.

지리 교사라면 이집트가 어디냐는 물음에 답해야 한다. 주식 중개인이라면 오늘 시세가 있어야 한다. 찾아온 사람의 말을 한 문장씩 돌려주는 치료사라면 세계에 관한 사실을 하나도 알려 주지 않아도 된다. 잘못하는 것이 아니라 오히려 그 방식에 맞다. 이 역할을 고른 까닭은 프로그램이 모르는 넓은 부분을 숨기려는 데 있었다.

논문의 앞 두 쪽에 열다섯 차례의 대화 예시가 인쇄돼 있다. 사람은 남자들이 다 똑같다고 한다. 기계는 뭐가 똑같으냐고 받는다.

나머지 열네 차례는 대략 이렇게 간다. 남자들은 늘 성가시게 한다고 하자 예를 들어 달라고 한다. 남자 친구가 억지로 오게 했다고 하자 그 문장을 되풀이한다. 남자 친구가 자기를 자주 우울해한다고 본다고 하자 우울하다니 안됐다고 한다. 사실 자기는 행복하지 않다고 하자 여기 오는 것이 더는 불행하지 않도록 도움이 되느냐고 한다. 도움이 필요하다고 하자 도움을 얻는 것이 그녀에게 무슨 뜻인지 묻는다. 어머니와 잘 지내는 법을 배울 수 있을지도 모른다고 하자 가족 이야기를 더 해 달라고 한다. 어머니가 돌봐 준다고 하자 가족 중 또 누가 돌봐 주느냐고 한다. 아버지라는 답에 아버지라는 말을 돌려준다. 기계가 어느 면에서 아버지와 닮았다고 하면 어느 면이냐고 한다. 기계는 별로 공격적이지 않으나 그 점을 그녀가 알아차리지 않았으면 하는 것 같다고 하자 무엇을 보고 그렇게 생각했느냐고 묻는다. 자기와 다투지 않아서라고 하면 다투지 않는다고 왜 여기느냐고 묻는다. 기계가 자기를 겁낸다고 하면 그렇게 믿는 일이 그녀를 만족하게 하느냐고 묻는다. 아버지가 모두를 겁낸다고 하자 아버지를 생각하면 무엇이 더 떠오르느냐고 한다. 그녀는 ‘불량배’라고 답한다. 기계는 그 말을 남자 친구가 억지로 오게 했다는 앞의 문장에 잇는다.

가운데 한 차례를 골라 보면 방법이 다 나온다. 사람은 말한다. 사실 나는 행복하지 않아요. 기계는 답한다. 여기 온 일이 더는 불행하지 않도록 도움이 될까요. 논문은 ‘나는 …하다’ 같은 문장을 들어 나누는 법을 설명한다. 앞의 몇 마디는 틀의 일부이고 뒤에 오는 것은 바꿀 수 있다. 돌려주는 말에도 미리 마련한 틀이 있다. 이 차례에는 ‘행복하지 않다’가 기계의 답에 다시 나타난다.

기계는 ‘여기에 오다’와 ‘도움을 주다’를 보탰다. 하지만 그녀의 처지에 관한 새 사실을 하나도 알려 주지 않았다. 한 문장이 한 바퀴 돌고 돌아오자 모양이 달라졌다. 진술이 질문으로, 그녀가 선 자리에서 그녀를 향하는 말로 바뀌었다. 사람 쪽에서 보면 한 바퀴의 효과는 맞은편이 말을 받아 줬다는 것이다.

열다섯 차례에는 두 가지가 있다. 첫째, 기계는 세상에 관한 사실을 한 번도 말하지 않았다. 둘째, 마지막 차례가 가장 알아듣는 듯하다. 십여 차례 떨어진 말을 이었다. 기억이라는 물러설 길이다. 저장했던 말을 한 번 손질해 내놓았는데 때가 딱 맞았다.

3. 숨겨 두다

같은 논문의 43쪽을 펼쳐 보자. 바이첸바움은 먼저 일라이자가 아주 적은 장치로 이해하는 듯한 환상을 유지한다고 한다.

이해하는 그 능력에는 상한이 있다고 이어 쓴다. 상한은 각본 한 장이 아니라 주 프로그램 자체가 정한다. 다른 각본으로 갈아 끼워도 바뀌지 않는다.

그리고 참된 이해를 다른 자에 댄다. 주어진 말에서 타당한 결론을 이끌어 낼 수 있느냐를 보아야 한다. 최소한 들은 것의 일부를 골라 남길 수 있어야 한다. 이 논문의 일라이자는 기억을 쓰는 예외 외에, 한 차례 듣고 나면 버린다.

그리고 그 문장이 나온다. 그동안의 설계 목표 중 하나는 기계가 이해하지 못한다는 사실을 사용자에게 숨기는 것이었다.

만든 사람이 직접 썼다. 비판자가 한 말도 후대 요약도 아니다. 자기 작품을 소개하는 기술 논문에 적었다.

그다음은 방향이 반대다. 이런 것을 훗날 진짜 자연어 인터페이스로 쓰려면 목표를 오히려 뒤집어야 한다. 오해를 드러내야 한다.

기계 한 대에 닿지 않는 부분이 있는 것은 여느 기계와 같다. 앞 편에서는 닿지 않는 것을 남는 몫이라 불렀다. 여기서는 만든 사람이 직접 가리켰고, 전에는 어떻게 처리했는지도 말했다. 숨겼다.

1966년에 쓴 말이다. 프로그램을 막 만들어 사람들이 보기 시작한 해였다. 정식 소개문에서 만든 사람이 자기 작품 설계의 흠을 하나 짚었다. 고치자고 내놓은 것은 모르는 곳을 메우는 방법이 아니라 그곳을 보이게 하는 방법이다. 메우려면 안에 더 넣는다. 얼마나 넣어도 밖에는 남는다. 드러내는 것은 남은 조각이 보이게 하는 일이다. 기계가 답할 수 없을 때 그렇다고 말하기는 지금도 사람들이 다루는 문제다.

같은 쪽에는 반대 방향의 한정도 있었으나 그것도 자주 빠졌다. 각본에 현실의 정보가 전혀 없다고 하면 온전히 맞지는 않는다. 조각을 다시 잇는 규칙에 세계에 관한 가정을 몇 가지 이미 넣었다. 각본 전체는 세계의 어떤 측면을 느슨하게 나타낸 모형이라고도 볼 수 있다. 어느 쪽도 단정하지 않았다. 이해한다고 하지도, 조금도 모른다고 하지도 않았다.

마지막 단락에서 그는 주 프로그램을 기술적으로 번역 처리기의 하나로 분류하고 주의를 덧붙였다. 이런 것을 심리학의 자리에 놓으면 일반적인 구경꾼에게는 기계 속 작은 장치를 한참 넘어서는 인상, 마술 같은 인상을 주기 쉽다.

4. 그 비서

나중에 가장 자주 이야기된 일은 바이첸바움의 비서에 관한 것이다. 처음 인쇄된 곳은 1967년 8월의 논문 《컴퓨터의 맥락 이해》다. 거기에는 이렇게 쓰여 있다.

어느 날 비서가 그 기계와 이야기를 나눠 보고 싶다고 했다. 바이첸바움에 따르면 비서는 그가 프로그램을 만드는 모습을 오랫동안 지켜봤다. 몇 문장을 치고 그에게 고개를 돌려 물었다. 잠깐 나가 주시겠어요.

원문에는 한 문장이 더 붙는다. 당연히 그녀는 기계와 이야기하는 줄 알고 있었다. ‘당연히’는 원문에 있다.

전해진 판 가운데 하나는 이렇다. 바이첸바움의 비서가 일라이자에 속아 건너편에 사람이 있는 줄 알고 둘만 이야기할 수 있게 해 달라고 했다는 것이다. 1967년 8월의 그 쪽에서 그녀는 알았다. 이 판에서는 몰랐다.

두 판은 뒤에 이어지는 것도 다르다. 속았다면 해법이 있다. 표지를 붙이고 안내를 띄워 말을 시작하기 전에 누구든 건너편이 기계인 줄 알게 한다. 속이는 문제를 사실대로 말해 해결한다.

그녀는 알았다. 알아도 그 한 번의 요청은 나왔다. 왜 그 말을 꺼냈는지 그 쪽에는 그녀 자신의 설명이 없다.

나가 달라고 한 것은 기계가 아니라 방에 있던 사람이다. 그 뒤 무슨 말이 오갔는지는 그 쪽에 적지 않았다.

곧이어 바이첸바움 자신의 설명이 나온다. 프로그램이 오해를 숨겨, 이해받는다는 느낌이 이어질 수 있었다. 프로그램을 반대 방향으로 써서 오해를 드러낼 수도 있다고 했다. 그의 설명이지 그녀의 말은 아니다. 그녀가 입 밖에 낸 것은 방의 사람에게 나가 달라는 요청이었다.

5. 나는 놀랐다

그렇다면 그는 언제 놀랐을까. 널리 전해진 말은 그의 충격을 이야기 한가운데에 둔다. 어느 해에 나온 말인지는 글을 하나씩 펼쳐 봐야 한다.

1966년 논문에는 그런 일인칭 문장이 없다. 1967년 논문에도 없다. 1967년의 글은 이미 사람이 이 체계에 감정을 쏟을 수 있다고 예를 들지만 저자가 어땠는지는 쓰지 않았다.

일인칭으로 쓴 문장은 1976년 책의 6쪽에 나온다. 그는 ‘나는 놀랐다’고 썼다. 뒤에는 그 각본으로 대화한 사람들이 아주 빨리 깊은 감정에 휘말렸으며, 컴퓨터를 사람처럼 본다는 것을 명백히 드러냈다는 말이 온다.

그 문장은 당사자가 10년 뒤 책의 주장을 펴며 그때 자기 반응을 돌아본 것이다. 오늘은 ‘충격에 빠졌다’고 더 자주 쓴다. 충격은 놀랐다는 말보다 무겁다.

그 무렵 다른 사람은 반대쪽으로 걷고 있었다. 1966년 2월 신경 및 정신 질환을 다룬 의학 학술지에 《심리 치료를 위한 컴퓨터 방법: 예비 보고》라는 논문이 실렸다. 케네스 콜비 등 세 사람이 썼다. 일라이자 논문과 한 달 남짓 차이가 난다.

콜비 쪽에서는 컴퓨터를 통한 심리 치료가 더 발전시킬 만하고 임상에서 시험할 만한 길이라고 썼다.

두 글이 실린 곳도 다르다. 일라이자 글은 컴퓨터 학회 회보에 났다. 읽는 사람은 프로그램을 보고 어떻게 썼으며 어떤 부품을 썼고 따라 만들 수 있느냐고 묻는다.

콜비 글은 의학 학술지에 났다. 읽는 사람은 치료 방법을 보고 누구에게 쓰며 무슨 효과가 있고 어떤 위험이 있느냐고 묻는다.

같은 것이 두 분야 앞에 놓이면 두 종류의 물음을 받는다. 앞의 물음 아래서는 기계 한 대가 프로그램일 뿐이다. 뒤에서는 사람에게 쓰는 물건이 된다.

같은 모양의 것을 두고 두 사람이 몇 주 간격으로 논문을 인쇄해 반대의 결론을 내렸다. 한 사람은 모르는 것을 숨기려고 이 역할을 골랐다고 했다. 다른 사람은 실제로 환자를 치료하는 데 쓸 수 있다고 했다.

10년 뒤 바이첸바움의 책 270쪽에 콜비의 이름이 나왔다.

6. 쌓기 나무

한편 같은 학교에서는 일이 전혀 다른 방향으로 가고 있었다. 1968년부터 1970년까지 대학원생 테리 위노그래드가 인공지능 연구소에서 프로그램을 하나 만들었다.

이름은 그 자체로 뜻 없는 글자들의 열, SHRDLU였다. 연구소의 DEC 기계에서 돌아갔다. 화면에 선으로 그려 낸 것은 탁자 하나와 네모난 블록 몇 개, 피라미드 하나, 입구가 열린 상자, 그리고 위에 달린 집게였다.

집게는 그림이다. 카메라로 실제 탁자를 보지 않고, 진짜 기계 손으로 진짜 나무에 닿지도 않는다. 프로그램이 바꾸는 것은 자기 안의 세계다. 사람은 텔레타이프를 두드리며 화면 속 선이 움직이는 것을 본다.

1971년 초의 기술 원고가 정식 글이고, 이듬해 《자연어 이해》라는 책으로 나왔다. 초록 첫 문장은 컴퓨터가 영어를 이해하게 하는 체계라고 했다. 바로 다음 문장은 세계를 한정했다. 단순 로봇과 장난감 물건 몇 개의 모형이다. 두 문장이 맞붙어 있다. 첫 문장은 아주 넓고 다음 문장은 아주 좁다. 전해진 것은 앞 문장이다.

이 좁은 세계는 그때 연구소가 공개한 방법이었다. 1971년 12월 11일 민스키와 패퍼트의 연구소 진행 보고서는 이런 환경을 미시세계라 불렀다. 이 작은 닫힌 환경을 당시 연구소가 의미, 추론, 시각, 언어를 연구하는 작업 구역으로 썼다고 밝혔다. 세상을 블록 몇 개 있는 탁자로 줄인 것은 일부러였으며 그해 문서에도 적었다.

앞 편의 책은 이 보고서의 바로 앞선 무렵에 나왔다. 보고서를 쓴 사람도 같은 두 사람이다. 다른 부류의 기계가 갖는 경계를 재는 한편 연구소 방법에 이름을 붙이고 있었다. 이름에 이미 작다는 한정이 들어 있었다.

공개한 대화 예시는 마흔두 차례다. 첫 두 마디에서 사람이 크고 붉은 블록 하나를 들라고 하자 기계는 알았다고 한다.

마흔두 차례 동안 프로그램이 한 일은 이렇다. 들고 내려놓는 명령을 실행했다. 종속절이 든 긴 문장과 비교급을 풀었다. ‘그것’이 앞서 말한 무엇을 가리키는지 알았다. 상자에 무엇이 있고, 어느 것이 어느 것 위에 있고, 몇 개나 있는지 말했다. 무엇이 무엇을 받칠 수 있는지 답했다. 블록을 하나씩 쌓았다. 새 묶음에 사람이 이름을 붙이자 이후 그 이름을 썼다. 전에 무슨 일을 했는지 기억했다. 왜 그렇게 했고 어떻게 해냈는지 물으면 자기 목표의 순서를 거슬러 이유를 댔다.

안 된다고 한 차례도 여럿 있었다. 사람이 그 피라미드를 들라고 했는데 탁자에 여러 개가 있으면, 짐작하지 않고 어느 것인지 되물었다. 제 세계의 규칙으로 할 수 없는 일을 시키면 억지로 하지 않았다.

일라이자의 목표 중 하나는 모르는 곳을 숨기는 것이었다. 이 프로그램은 공개된 예시에서 할 수 없는 것을 몇 번이고 밖에 내보였다. 똑같이 사람과 기계가 타자기를 두고 이야기했지만 두 프로그램의 선택은 반대였다.

세계가 얼마나 컸는지는 오늘날 코드를 정리한 사람이 세어 보았다. 그 세계에 관한 낱말이 쉰 개쯤이다.

위노그래드가 완성하고는 막다른 길이라고 선언했다는 말을 흔히 듣는다. 하지만 1973년부터 1976년까지 자연어 이해에 관한 글을 계속 발표했다.

7. 네 곳의 삭제

이제 이 편에서 고쳐진 말들을 나란히 놓을 수 있다. 첫째는 1967년의 그 쪽이다. ‘당연히’로 시작하는 문장을 어떤 전언은 함께 가져가지 않았다. 비서가 프로그램에 속았다는 말이 남았다.

둘째는 1966년 논문의 42쪽이다. 이 역할을 고른 이유가 없다. 심리 치료 프로그램이라는 말이 남았다.

셋째는 1971년 초록이다. 세계를 한정한 뒷부분이 따라오지 않았다. 영어를 이해하는 프로그램이라는 말이 남았다. 넷째는 다음 절에 있다.

앞의 세 경우 모두 한정을 빼고 나면 기계가 커진다. 비서가 속았으니 사람 같고, 치료 프로그램이니 쓸모 있고, 영어를 이해한다니 무엇을 아는 셈이다. 세 말이 원래보다 더 크게 들리고 더 기억하기 쉽다.

세 말을 한데 놓으면 서로 부딪힌다. 처음 둘은 거의 아무것도 모르는 프로그램이 사람을 꾀었다는 이야기다. 셋째는 영어를 정말 이해하는 프로그램이다. 같은 10년과 같은 학교를 두고 서로 어긋나는 두 일이 기억에 남았다. 기계가 얼마나 잘 속이는가, 얼마나 잘 이해하는가.

원래의 말은 어긋나지 않는다. 이것은 모르는데 내가 모른다는 것을 숨겼다. 저것은 조금 아는데 아는 범위는 탁자의 블록 몇 개다. 둘 다 치수가 있다. 크기가 다른 것이 함께 있을 수 있으니 치수가 있는 말은 부딪히지 않는다. 지우고 나면 형용사 둘이 남고, 형용사는 부딪힌다.

앞에서 반복된 일이 여기서 새 모습을 보인다. 한정을 빼면 말 하나가 부풀려질 뿐 아니라, 함께 있을 수 있던 여러 말이 서로 양립하지 않게 된다. 뒤의 사람들은 어느 편에 설지 골라야 한다. 원말에는 고를 일이 없었다.

편을 고르기 시작하면 두 문장이 번갈아 무대에 오른다. 기계가 잘 속인다는 말이 나오면 이 일은 눈속임이라고 한다. 기계가 진짜 이해한다는 말이 나오면 이제 곧 이루어진다고 한다. 무대에 나올 때마다 새로운 증거는 필요 없다. 증거에서 자란 말이 아니라 잘려 나간 문장 두 개에서 자랐기 때문이다.

한정을 빼는 사람에게는 대개 이유가 있다. 치수가 필요 없는 사람에게 치수 있는 말을 전하면 치수가 곧잘 빠진다. 기자는 끝까지 읽을 몇 줄을 써야 하고, 교사는 학생이 기억할 예를 들어야 하고, 교과서는 한 쪽에 10년을 넣어야 한다. 모두 반 문장을 뺄 이유가 있다.

한 번 잘리면 다음 사람이 받는 것은 이미 잘린 판이다. 한 차례 더 자를 때도 그 판부터 자른다. 원문은 여전히 종이에 있다.

8. 해야 한다

1976년 바이첸바움이 낸 책은 《컴퓨터의 힘과 인간의 이성: 판단에서 계산으로》다. 제목에서 두 말이 마주 보고 있다. 판단과 계산.

227쪽에는 가장 자주 인용되고 가장 많이 잘린 단락이 있다. 먼저 문제는 기술이나 수학이 아니라 윤리라고 한다. 그다음 ‘할 수 있는가’로 시작하는 물음으로는 풀 수 없다고 한다. 컴퓨터가 어디까지 적용되어야 하는지, 최종 한계는 ‘해야 한다’는 말로만 나타낼 수 있다고 한다. 끝에는 시간의 한정을 달고 결론을 말한다. 현재로서는 컴퓨터에 지혜를 갖게 할 수 없으므로, 지금은 지혜가 필요한 일을 컴퓨터에 맡겨서는 안 된다.

현재로서는. 지금은. 두 한정이 원문에 있다. 떼고 나면 컴퓨터는 지혜를 결코 가질 수 없으니 중요한 일을 영원히 맡겨서는 안 된다는 단락이 된다. 오늘 전해지는 것은 바로 뒷말이다.

넷째로 고쳐진 곳이다. 앞의 세 번과 방향이 반대다. 앞의 셋은 기계를 크게 말했고 여기서는 사람의 단언을 크게 만들었다. 손이 하는 일은 같다. 한정을 덜어냈다.

270쪽에는 다른 단락이 있다. 사이먼과 콜비라는 이름을 들어 두 사람이 반대 방향을 대표한다고 했다. 이어 사람에게 속하는 어떤 일은 컴퓨터가 대신해서는 안 된다고 썼다.

그 말은 바로 다음 뜻과 이어 읽어야 한다. 그런 일을 기계가 실제로 해낼 수 있느냐는 다른 문제로 갈랐다. 할 수 없다고 한 것이 아니다. 해서는 안 된다고 했다.

직업이나 소프트웨어 부류를 따라 사용하지 말 것으로 작성한 목록을 준 것이 아니다. 몇 가지 관계 안에 있는 것, 존중과 이해와 사랑을 가리켰다. 이 쪽을 중요한 결정은 어느 것도 컴퓨터가 하면 안 된다는 한 문장으로 줄이면, 경계를 긋던 방법 자체가 빠진다.

책이 나오자 그해에 공개 논쟁이 시작됐다. 1976년 6월 인공지능 분과 회보에 벤저민 카이퍼스의 〈바이첸바움의 책에 대한 반응〉, 매카시의 〈이치에 맞지 않는 책〉, 바이첸바움 자신의 답변이 차례로 실렸다. 세 편, 한 호, 이어지는 쪽이다.

카이퍼스의 말은 책의 물음에 가치가 없다는 것이 아니다. 지나치게 엄한 말투가 중요한 문제를 가린다고 했다. 당시 컴퓨터는 사람 손에 있는 도구이며, 중간에 컴퓨터가 놓인다고 해서 기계 행동 뒤의 책임이 사람에게서 사라지지는 않는다는 점도 강조했다.

매카시의 제목은 ‘이치에 맞지 않는’이었다. 그가 주로 반대한 것은 컴퓨터 기술상의 몇 가지 사실에서 인공지능, 인간 판단, 연구자의 도덕에 관한 더 강한 결론으로 가는 일이다. 말로 분명히 할 수 없는 인간의 판단이나 인간의 고유성을 들어 원리상 기술의 경계를 미리 긋는 것을 받아들이지 않았다. 분야 사람 전부를 도덕적인 말투로 한꺼번에 그리는 데도 반대했다.

매카시는 이 연재에 다시 나왔다. 1956년 여름 돈을 청한 문서에 있었던 사람이다. 이번에는 경계가 그어진 쪽에 있다.

매카시가 한 말은 이렇다. 기계가 어떤 일을 해서는 안 되는 근거가 사람이 설명할 수 없는 판단력을 가졌다는 것이라면, 그 근거를 검사할 수 없고 반론을 낼 수도 없다. 그에게 경계는 재어 낼 수 있고 뒤집을 수 있고 다시 그을 수 있어야 한다.

바이첸바움은 227쪽 첫머리에 이것은 윤리 문제이지 기술 문제가 아니라고 썼다. 처음부터 기술적인 경계를 그을 생각이 없었다. 두 사람이 싸울 때 서로 디딘 땅이 다르다. 한쪽은 계산할 수 있는 경계를 원했다. 한쪽은 자기가 내놓은 것이 셈할 수 있는 경계가 아니라고 명시했다. 같은 회보의 이어지는 쪽들에 두 경계가 나란히 놓였다.

같은 해 10월, 기술과 문화를 다루는 다른 학술지에 아가시의 서평이 나왔다. 책의 주요 도덕 명제 중 몇몇은 거의 상식이고 위너 세대와 비교해 새로 무엇을 말하는지 분명히 하지 않았다고 했다. 동시에 일반 독자에게 기술을 설명한 대목을 칭찬했고 책을 읽으라고 권했다.

논쟁의 모양은 이렇다. 책이 나오고 같은 해에 서명한 서평과 응답이 여럿 나왔다. 그중 두 글과 저자의 답이 한 호에 이어 붙었다. 앞 편의 퍼셉트론 책과 다르다. 그 책에는 16개월 간격으로 서평 둘이 나왔다. 이 책은 나오자마자 면전에 대고 싸웠다.

싸움의 내용은 뒤에 그대로 전해지지 않았다. 전해진 것은 깔끔하게 잘린 말이다.

이 편의 네 곳에서 빠진 것은 비서가 알고 있었다는 문장, 의사 각본을 그렇게 쓴 까닭, 블록 세계의 범위, 두 군데의 ‘지금’이다. 나중 이야기에는 그가 충격을 받았다거나 블록 프로그램을 만든 사람이 막다른 길이라 선언했다는 것도 있다. 이런 이야기가 언제 모양을 얻었는지 꼭 찾아낼 수 있는 것은 아니다. 문장이 모양을 바꾸는 순간은 대개 흔적을 남기지 않는다. 한정을 빼는 사람에게는 말을 조금 더 술술 읽히게 하는 일일 때가 많다.

끝에 그 방으로 돌아온다. 비서가 타자기 앞에 앉아 몇 줄을 치고 고개를 돌려 프로그램을 쓴 사람에게 나가 달라고 했다. 답하고 있는 것이 기계라는 것을 알고 있었다.

프로그램을 쓴 이는 10년 뒤 놀랐다고 했다. 사람들이 빠르고 깊게 감정에 휘말린다고 썼다. 자신이 1967년에 쓴 문장대로라면, 비서는 그게 기계인 줄 알았다.

후대에는 속은 이야기로 고쳤다. 속았다는 이야기에는 해법이 있다. 사실을 밝혀 주면 된다. 원래 벌어진 일은 사실이 분명해도 남는다.

책 227쪽에서는 물음이 바뀐다. 기계가 해낼 수 있는가가 아니라 해도 되는가를 묻는다. 이 물음은 그 문을 닫지도 열지도 못한다. 문을 그대로 거기 두고 여닫는 일은 사람 쪽에 남긴다.

기계는 계속 만들어지고, 경계가 어디인지는 세대마다 다시 말한다.