1. 꽃
1936년, 통계학자 로널드 피셔가 《우생학 연보》 제7권 제2호에 《분류학 문제에 여러 측정치를 사용하는 법》이라는 글을 냈다. 글에 표가 하나 있다. 붓꽃 세 종류에 각 50송이, 모두 150송이다. 송이마다 수치 네 가지를 잰다. 꽃받침의 길이와 너비, 꽃잎의 길이와 너비다.
피셔는 꽃을 잰 사람의 이름을 글에 적었다. 식물학자 에드거 앤더슨이다. 세 종류 중 둘은 앤더슨이 같은 들판에서 채집했고 한 종류에 50송이씩이었다. 그는 전해에 《가스페 반도의 붓꽃》이라는 짧은 글을 냈다. 가스페 반도는 캐나다 동쪽에서 세인트로렌스만으로 뻗어 있다.
51년 뒤인 1987년, 캘리포니아대 어바인 캠퍼스의 박사과정 학생 데이비드 아하가 학교 컴퓨터에 파일을 내려받을 수 있는 자료실을 열었다. 같은 학교 박사과정 학생 몇이 이미 모아 놓은 데이터와 설명을 넣어 바깥 사람들이 가져갈 수 있게 했다. 2019년에 그는 처음에는 ‘몇 안 되는 데이터 세트’가 전부였다고 회고했다. 나중에 이 자료실은 기계 학습 데이터 저장소라는 이름을 얻었다. 앤더슨의 꽃 150송이도 나중에 이곳에 들어갔다.
한 식물학자가 어느 반도의 들꽃 사이에 쪼그려 앉아 꽃을 한 송이씩 잰다. 거기서 나온 숫자 600개는 훗날 여러 세대의 기계가 분류를 배울 때 푸는 첫 문제가 됐다.
2. 칸
1990년 무렵, 미국 국립표준기술연구소는 인구조사에 쓸 일로 기계가 손 글씨를 알아보게 해야 했다. 먼저 손 글씨가 한 무더기 필요했다. 인구조사국의 상근 현장 직원 3400명에게 양식을 돌렸고 2100부가 돌아왔다. 양식에는 작은 칸이 하나씩 인쇄돼 있었다. 쓰는 사람이 칸마다 글자 하나를 넣으면, 돌려받은 뒤 프로그램이 칸을 잘라 글자마다 작은 그림 한 장을 만들었다.
다른 양식은 고등학교 한 곳에 돌렸다. 수학과 과학을 듣는 학생 500명이 교실에서 그 자리에서 작성해 냈다. 1992년 회의 기록에서는 두 집단의 차이를 따로 적었다. 인구조사국 직원은 자원해서 제출했고 업무상 동기가 있어 글씨도 비교적 가지런했다. 학생은 수업 중 연습으로 그 자리에서 다 써 내야 했다.
그해 연구소는 첫 인구조사 광학 문자 인식 시스템 회의를 열었다. 인구조사국 사람들의 글씨는 출전한 기계의 훈련에 쓰고, 학생들의 글씨는 시험으로 남겨 참가자에게 답을 미리 주지 않았다. 얼마나 많이 틀리는지 겨뤘다. 숫자 종목에서 가장 잘한 곳의 오류율은 1.56퍼센트, 가장 많이 틀린 곳의 오류율은 20퍼센트였다.
3. 사람의 성적
같은 회의 기록에 시험이 하나 더 있다. 연구소는 별도로 한 사람에게 학생들이 쓴 시험 문제의 첫 숫자 1만 개를 알아보게 했다. 답을 미리 모르는 채 초당 약 두 글자를 읽었다. 한 번에 한두 시간씩 하고 그 사이에는 몇 시간씩 쉬었다. 1.57퍼센트를 틀렸다. 가장 좋은 기계는 1.56퍼센트였다.
회의 결론에는 따로 떨어져 쓰인 손 글씨 숫자를 알아보는 기계가 ‘사람의 성적에 다가가고 있다’고 적혔다. 같은 단락에 단서가 둘 붙었다. 인구조사국 직원의 글씨는 충분히 다양한 표본이 아니었다. 그리고 알파벳에는 같은 조건에서 사람을 시험하지 않았다. 여기서 사람의 성적은 한 사람의 성적이었다.
6년 뒤인 1998년, 얀 르쿤과 동료 세 명이 손 글씨 숫자 모음을 어떻게 새로 만들었는지 설명하는 긴 논문을 냈다. 연구소는 본래 인구조사국 사람들의 글씨를 훈련에 쓰고 학생들의 글씨를 시험에 썼는데, ‘인구조사국 쪽이 훨씬 깔끔하고 알아보기 쉽다’고 했다. 이유도 썼다. 앞쪽은 인구조사국 직원이, 뒤쪽은 고등학생이 썼기 때문이다. 시험이 연습보다 어려운 것은 문제가 달라져서가 아니라 글씨를 쓴 사람이 달라져서였다.
그래서 두 무더기를 섞어 다시 나눴다. 먼저 학생 500명을 사람 단위로 반씩 갈라 절반은 훈련용에 넣고 절반은 시험 후보로 남겼다. 훈련 쪽은 인구조사국 글씨를 더해 6만 장을 채웠다. 정식 시험은 1만 장, 학생 글씨와 인구조사국 글씨가 반씩이다. 이름은 MNIST라고 붙였다. 표준기술연구소의 데이터베이스를 수정했다는 뜻이다. 뒤이은 20여 년 동안 이 분야에서 가장 많이 쓰는 시험지가 됐다.
4. 튀르크인
2005년 11월, 아마존이 플랫폼을 열었다. 그 위에서 하는 일 하나를 ‘인간 지능 과제’라 불렀다. 일을 올리는 쪽은 의뢰자, 일하는 쪽은 노동자였다.
2006년 아마존 웹 서비스의 펠리페 카브레라는 《와이어드》에 이 일을 설명했다. 컴퓨터에는 어렵고 사람에게 쉬운 일이 있다. 이 플랫폼은 사람을 불러 그 작은 일들을 맡기는 작업을 소프트웨어에서 곧바로 불러 쓸 수 있는 서비스로 포장한다. 아마존 쪽과 당시 보도에서는 ‘인공적인 인공지능’이라는 말을 썼다.
플랫폼 이름은 메커니컬 터크, 기계로 된 튀르크인이라는 뜻이다. 18세기에 여러 곳을 돌며 공연한 체스 기계의 이름을 빌렸다. 튀르크 복장을 한 인형이 장 위에 앉아 사람과 체스를 뒀다. 스스로 체스를 두는 기계처럼 보이지만, 실제로 말을 움직인 것은 장 속에 숨은 사람이었다. 1770년 무렵 빈에서 모습을 보인 뒤 몇십 년 동안 사람들이 수법을 해부하는 글을 썼다. 1836년에 에드거 앨런 포도 한 편을 썼다. 아마존이 빌린 것은 바로 이 뜻이다. 겉에서 보면 기계지만 안에서 일하는 것은 사람이다.
이 플랫폼에서는 어떤 사람들이 일하는지 물어본 이가 있다. 2010년 2월, 뉴욕대의 파노스 이페이로티스가 설문을 했다. 응답자의 46.8퍼센트가 미국, 34퍼센트가 인도, 나머지가 66개 나라에서 왔다. 뒤에 그가 동료 두 명과 28개월 동안 다시 조사하니 응답이 8만 5000건 넘게 돌아왔다. 사람 수로는 약 4만 명이다. 결론 가운데 하나는 이곳에는 늘 사람이 들어오고 나가므로, 한 번의 조사는 어느 한 순간만 찍는다는 것이었다.
2017년 말, 연구자들이 브라우저 확장 프로그램의 익명 기록을 분석한 결과를 공개했다. 2014년 9월부터 2017년 1월까지 노동자 2676명이 한 약 380만 건의 일이 담긴 기록이다. 일을 찾고 설명을 읽는 시간, 다 하고도 돈을 받지 못한 일에 쓴 시간까지 셈에 넣었다. 시급의 중앙값은 약 2달러였다. 당시 미국 연방 최저 시급 7.25달러보다 많이 번 사람은 약 4퍼센트였다.
5. 이미지넷
2009년 6월 CVPR에서 프린스턴의 덩자와 페이페이 리 등 여섯 명이 《이미지넷: 대규모 계층형 이미지 데이터베이스》를 발표했다. 뼈대는 이미 있었다. 1985년부터 프린스턴의 심리학자와 언어학자들이 워드넷, 즉 낱말의 그물이라는 영어 어휘 데이터베이스를 만들고 있었다. 가장 기본 단위는 동의어 묶음이다. 같은 뜻인 낱말을 한데 묶고, 상위어와 하위어 같은 관계로 묶음들을 잇는다. 이미지넷은 워드넷에서 명사 동의어 묶음을 8만 개가량 가져와 묶음마다 걸러 낸 원본 사진을 500장부터 1000장까지 붙일 계획이었다. 논문 발표 당시 완성한 것은 하위 트리 12개, 묶음 5247개, 그림 약 320만 장이었다.
그림은 어디서 왔나. 워드넷의 낱말로 이미지 검색을 해 결과를 한 무더기 얻고, 사람에게 한 장씩 보여 줬다. 묻는 것은 작은 일 하나였다. 이 사진에 그 물건이 있는가. 사진을 본 사람들은 아마존의 그 플랫폼에서 일했다.
2014년까지 사진이 붙은 이미지넷 동의어 묶음은 2만 1841개, 표시를 단 사진은 1419만 7122장이었다. 2016년 스탠퍼드에서 나온 사업 회고에 따르면 모두 167개 나라에서 약 5만 명이 참여했고, 일은 약 2년 반 걸렸다.
페이페이 리는 나중에 이 일이 어떻게 시작됐는지 여러 번 이야기했다. 먼저 사진을 보는 규칙을 더 쓰기보다 데이터부터 크게 늘리려 한 이야기였다. 2009년 그 논문은 학회 포스터 구역에 배정됐고 무대에서 발표하지 않았다.
6. 시험장
2010년부터 이미지넷은 해마다 대규모 시각 인식 대회를 열었다. 분류할 항목은 1000개다. 연습용 사진과 답은 공개했고 시험 사진도 공개했지만, 시험 답은 공개하지 않았다. 2011년부터 팀마다 답을 주최 측 채점 서버에 냈고, 주최 측은 숨겨 둔 정답과 맞춰 보았다. 정답을 숨기는 이유도 적혀 있었다. 출전자가 시험 문제로 프로그램을 되풀이해 조정하지 못하게 하기 위해서다. 대회가 끝난 뒤에도 열어 둔 채점 서버에는 같은 팀이 한 주에 두 번까지만 낼 수 있었다.
성적은 상위 5개 오류율로 매겼다. 기계가 다섯 가지를 찍을 수 있고 그중 하나가 맞으면 맞은 것으로 센다. 2010년 우승은 NEC, 오류율은 28.2퍼센트였다. 2011년에는 제록스 유럽 연구센터가 25.8퍼센트 안팎, 2012년에는 토론토대의 세 사람으로 된 팀이 15.3퍼센트, 2013년에는 클래리파이라는 회사가 11.7퍼센트, 2014년에는 구글 팀이 6.66퍼센트, 2015년에는 마이크로소프트 연구소가 3.57퍼센트, 2016년에는 중국 공안부 제3연구소의 소우선 팀이 2.99퍼센트 안팎이었다. 2017년에는 2.25퍼센트 안팎이었다.
2015년 6월 2일, 주최 측이 성명을 냈다. 2014년 11월 말부터 2015년 5월 중순까지 바이두의 한 팀이 계정 30개 이상으로 채점 서버에 최소 200회 답을 냈다. 3월 중순 닷새 동안 낸 것만 40회가 넘었다. 주최 측은 이 성적을 ‘다른 팀의 성적과 직접 비교할 수 없다’고 했고 바이두에 12개월간 답을 내지 말라고 요청했다. 바이두 팀은 성명에서 ‘이 잘못에 대해 사과한다’고 했다. 며칠 뒤 바이두는 내부 조사 결과를 발표했다. 팀장 한 명이 주니어 엔지니어 여러 명에게 주 두 번 제한을 넘겨 제출하게 했으며, 회사는 이 팀장과의 고용 관계를 끝냈다고 했다.
시험장에는 숫자가 하나 더 있다. 사람은 얼마나 틀리나. 2014년 9월 2일 스탠퍼드 대학원생 안드레이 카르파티가 자기 블로그에 한 시험을 썼다. 먼저 검증 사진 500장으로 1000개 분류 항목을 익힌 뒤, 시험 사진 1500장을 직접 살폈다. 한 장에 약 1분을 썼다. 그의 상위 5개 오류율은 5.1퍼센트였다. 같은 사진에서 구글의 신경망은 약 6.8퍼센트를 틀렸다. 그는 ‘내가 실제로 다룬 이 사진들에 따르면’이라는 단서를 붙였다. 주최 측이 나중에 쓴 논문에는 두 번째 사람도 나온다. 100장으로 연습하고 258장을 살펴 12퍼센트를 틀렸다.
2015년 2월 6일, 마이크로소프트 연구소의 허카이밍 등 네 명이 제목에 ‘인간 수준을 넘어서다’가 들어간 논문을 냈다. 그들의 오류율은 4.94퍼센트였다. 글에서 견준 인간 수준은 카르파티의 5.1퍼센트였고, 비교할 때 앞에 ‘우리가 아는 한’을 달았다.
7. 명단에 오른 사람들
2006년 10월, 넷플릭스가 추천 알고리즘에 큰 상을 걸었다. 자체 추천 방식이 별점을 예측할 때 내는 오차를 10퍼센트 줄이면 100만 달러를 준다. 공개한 훈련 자료에는 가입자 48만 189명이 영화 1만 7770편에 매긴 별점이 약 1억 48만 건 들어 있었다. 건마다 날짜와 별점 하나에서 다섯까지가 있었고, 가입자 이름은 숫자로 된 번호로 바꿨다.
같은 해 텍사스대의 아르빈드 나라야난과 비탈리 슈마티코프가 사전 공개 논문을 썼고, 2년 뒤 정식으로 발표했다. 자료 안에서 이름을 해독한 게 아니었다. 어떤 사람이 다른 공개 사이트에 남긴 영화 몇 편의 별점과 대략적인 날짜를 익명 자료의 별점 기록과 맞춰 봤다. 보여 주려 한 것은 이런 드문드문한 기록이라도 곁에 다른 정보가 있으면 사람에게 다시 이어 붙일 수 있다는 점이다.
2009년 9월 21일, 여러 팀이 합쳐 만든 한 팀이 100만 달러를 받았다. 그해 12월 누군가 이 데이터와 예정된 두 번째 대회를 두고 넷플릭스에 소송을 냈다. 익명 별점으로도 사람을 다시 알아볼 수 있어 개인이 본 영화를 드러낸다는 주장이었다. 2010년 3월 넷플릭스는 두 번째 대회를 열지 않겠다고 발표했다. 2012년 넷플릭스 엔지니어들은 회사 블로그에 썼다. 대회 후반에 나온 방법들은 오프라인 시험에서 실제로 더 정확했지만, 더해진 그만큼의 정확도가 ‘이를 실제 서비스에 올리는 데 필요한 공학적 투자를 정당화하기에는 모자라는 듯했다’고 했다.
이미지넷에는 ‘사람’이라는 큰 분류가 있다. 프로젝트 팀이 맨 처음부터 만든 것이 아니라 워드넷의 뜻 분류에서 한 갈래를 통째로 가져왔다. 2019년 9월, 케이트 크로퍼드와 트레버 패글런이 《인공지능 발굴하기》라는 프로젝트를 공개했다. ‘사람’ 아래에 하위 분류가 2800개 넘게 있었다. 함께 공개한 사이트가 이미지넷 룰렛이다. 누구든 자기 사진을 올리면 ‘사람’ 분류의 표지로 사진에 이름을 하나 붙여 돌려줬다.
2020년 1월, 이미지넷 팀은 직접 글을 냈다. ‘사람’ 하위 분류에서 비하하거나 모욕적이거나 민감한 정체성에 관한 표지 1593개와 관련 사진 60만 40장을 빼자고 제안했다. 그해 6월, MIT 연구자들은 앞서 만든 다른 데이터 세트인 작은 이미지 8000만 장을 ‘정식으로 철회하기로 했다’고 발표하고, 쓴 사람들에게 사본을 지워 달라고 부탁했다. 그 무렵 비나이 프라부와 아베바 비르하네는 그런 대형 이미지 모음에 있는 비하 분류와 동의받지 않은 인물 사진을 하나씩 살핀 글을 냈다.
기계가 사람을 어떻게 보는지 시험한 시험지도 있다. 2018년 2월, 조이 부올람위니와 팀닛 게브루가 《젠더 셰이즈》를 발표했다. 시험지를 직접 만들었다. 아프리카 세 나라와 유럽 세 나라의 국회의원 공개 사진 약 1270장을 성별과 피부과에서 쓰는 6단계 피부색 분류에 따라 나눴다. 시험한 대상은 회사 세 곳이 공개한 성별 판단 서비스였다. 피부색이 짙은 여성 집단의 오류율은 각각 약 34.7, 34.5, 20.8퍼센트였고, 피부색이 밝은 남성 집단은 세 곳 모두 1퍼센트 미만이었다. 그중 두 회사가 뒤에 개선 내용을 발표하고 피부색이 짙은 사람들을 대상으로 한 오류가 줄었다고 밝혔다.
8. 한 사람
이 글에는 인간 수준이 두 번 나온다. 1992년에는 한 사람이 숫자 1만 개를 초당 두 개씩, 한 번에 한두 시간씩 살폈다. 2014년에도 한 사람이 사진 500장으로 익숙해진 뒤 사진 1500장을 1분에 한 장씩 살폈다. 두 사람 모두 진지하게 시험을 치렀고 어떻게 했는지도 남겼다. 후대에 전해진 말은 두 가지다. 기계가 사람에게 다가갔다. 기계가 사람을 넘어섰다.
한 사람에서 사람 전체로 가면서 지워진 것이 있다. 카르파티가 블로그에 붙인 단서, 허카이밍 등이 덧댄 ‘우리가 아는 한’, 1992년 결론 뒤에 붙은 두 단서다. 지우고 나니 한 사람이 한 벌의 시험에서 얻은 점수가 인류의 기준선이 됐다.
시험지 뒤에도 사람이 서 있다. 가스페 반도에서 꽃을 잰 식물학자. 양식을 돌려준 인구조사원 2100명과 교실에서 칸을 채운 고등학생 500명. 초당 두 글자를 알아본 사람. 플랫폼에서 사진을 보고 그 물건이 있는지 없는지 답한 약 5만 명의 노동자. 이름이 번호로 바뀐 영화 관람자 48만 명. ‘사람’ 분류에 들었다가 연구팀이 나중에 빼자고 한 사진 약 60만 장에 담긴 사람들. 여섯 나라 의회에 있던 1000명 넘는 의원.
시험지는 한 장씩 바뀌고 점수는 해마다 내려갔다. 마지막에 팀들이 겨룬 것은 숨은 정답을 몇 개 더 맞힐 수 있는가였다. 한 팀은 몇 개 더 맞히려고 닷새에 40번 넘게 제출했다. 점수는 기계를 재는 자다. 자 자체가 도달해야 할 목표가 되면 주최 측은 답을 숨기고 한 주에 두 번만 낼 수 있게 해야 한다.
이 연재에서는 아무리 재어도 늘 바깥에 남는 것을 ‘남는 몫’이라 부른다. 여기서는 찾기 어렵지 않다. 시험지에 든 글씨와 꽃, 사진과 별점은 하나하나 손 하나, 눈 한 쌍, 한 사람의 선택에서 나왔다. 기계 점수는 순위표에 적힌다. 사람들은 더러 이름을 남겼지만, 대부분은 번호 하나, 칸 하나, 시급 하나를 남겼다.
기계는 계속 만들어지고, 경계가 어디인지는 세대마다 다시 말한다.