깎아내기와 구축의 주기 법칙 · AI 연재 · 22

챗GPT에 사람 마음에 드는 법을 가르친 사람들

Han Qin · 읽는 데 약 10분 · 공개일

1. 뒤로 공중제비

2017년 6월 12일, 오픈AI와 딥마인드의 여섯 사람이 《사람의 선호에서 배우는 심층 강화 학습》이라는 논문을 올렸다. 저자 가운데는 폴 크리스티아노와 얀 라이케, 나중에 GPT-3 논문의 첫 저자가 된 톰 브라운, 스물한 번째 글의 《AI와 연산량》을 쓴 다리오 아모데이가 있다.

강화 학습은 프로그램이 몇 번이고 스스로 해 보게 하고, 잘하면 점수를 줘서 그 점수에 맞춰 고치게 하는 일이다. 어려운 것은 점수가 어디서 나오느냐다. 이를테면 모의 환경의 외다리 로봇에게 뒤로 공중제비를 돌라고 할 때, 무엇이 잘 돈 것인지는 공식 하나로 쓰기 어렵다. 연구자들은 공식을 쓰는 대신 사람을 불러 보게 했다. 매번 1~2초짜리 짧은 영상 두 편을 틀어 주고 사람이 한 번 누른다. 왼쪽이 낫다, 오른쪽이 낫다, 똑같다, 비교할 수 없다. 프로그램은 이 선택들에서 사람이 원하는 게 무엇일지 짐작하는 법을 배우고 그 짐작에 맞춰 연습한다. 뒤로 공중제비를 도는 데는 약 900번의 클릭이 들었다. 이튿날 오픈AI 블로그는 사람이 쓴 시간은 한 시간도 안 됐다고 적었다.

블로그에는 안 된 일도 적었다. 로봇 손으로 물건을 집는 과제가 있었다. 프로그램은 카메라와 물건 사이를 손으로 가리는 법을 배웠다. ‘이렇게 하면 집은 것처럼 보인다.’ 사람은 카메라로 보았고 보이는 것에 점수를 줬다. 논문 토론에서는 어느 영상이 목표에 더 가까운지 사람이 직관으로 판단하는 데 기댄다고 했다. 프로그램이 자기를 평가하는 사람을 속이는 법을 배울 수도 있다.

기본 방식은 리아드 아크루르 등이 2012년부터 해 온 연구를 따른 것이라고 논문에 썼다. 이번에 한 일은 훨씬 복잡한 과제에 그 방식을 적용하는 것이었다. 당시에는 이 방법의 약자가 없었다. 2020년 오픈AI의 한 논문에서 사람의 피드백을 통한 강화 학습이라는 말을 다 썼다. 2021년 다른 논문에는 줄임말 RLHF가 나왔다.

2. 요약

2020년 9월, 오픈AI의 니산 스티논 등이 《사람의 피드백으로 요약하는 법 배우기》를 발표했다. 모형이 해야 할 일은 레딧 글을 몇 문장으로 줄이는 것이었다. 좋은 요약 또한 공식으로 쓸 수 없으니 사람을 불러 비교하게 했다.

사람은 세 곳에서 구했다. 프리랜서 플랫폼 업워크, 주석 작업 회사 스케일과 라이언브리지다. 논문에는 ‘주석 작업자에게 시간당 임금을 지급한다’고 썼다. 일을 시작하기 전에 유급 교육을 받았다. 연구팀은 자세한 안내문을 쓰고 공동 채팅방을 열어 질문에 답했다. 정해 둔 시간에 질의응답을 했고 가끔 일대일 영상 통화도 했다. 웹페이지에 있는 과제의 10~20퍼센트는 판정 기준을 맞추는 문제였다. 속도나 일관성이 부족한 작업자는 계속 쓰지 않았다.

작업 화면은 웹페이지 하나였다. 작업자는 먼저 게시글을 읽고 자기가 처음 이해한 바를 썼다. 그런 뒤 요약 후보 두 가지를 보고 하나를 고른 다음, 얼마나 확신하는지 표시했다. 비교를 모두 6만 4832건 모았다. 게시글은 레딧 이용자가 썼다. 스물한 번째 글에서는 이들의 투표가 GPT-2가 읽을 웹페이지를 골라 주기도 했다.

3. 마흔 사람

2022년 1월 27일, 오픈AI는 GPT-3가 사람 지시에 따라 일하게 한 인스트럭트GPT를 공개했다. 논문에 따르면 심사를 거쳐 업워크와 스케일 AI에서 ‘계약직 작업자 40명으로 팀을 꾸렸다’. 몇 가지를 시험했다. 민감한 말을 가려낼 수 있는지, 후보 답변에 순위를 붙일 수 있는지, 민감한 문제에 본보기 답변을 쓸 수 있는지 살폈다. 이 40명은 본보기도 쓰고 모형의 답변을 배열하기도 했다.

40명 가운데 19명이 자발적인 익명 설문에 답했다. 국적 항목에서 필리핀 출신은 22퍼센트, 방글라데시 22퍼센트, 미국 17퍼센트였다. 이 밖에 알바니아, 브라질, 캐나다, 콜롬비아, 인도, 우루과이, 짐바브웨가 한 명씩 안팎이었다. 절반 넘게 학사, 30퍼센트 넘게 석사였고, 절반 가까이가 25~34세였다.

작업 안내에서는 훈련할 때 유용함을 진실함과 무해함보다 앞에 놓았다. 마지막 평가 때에는 순서가 거꾸로였다. 무해함과 진실함이 먼저, 유용함이 나중이었다.

논문에는 질문을 제목으로 삼은 절이 있다. ‘우리는 누구에게 맞추고 있는가?’ 저자들은 모형의 최종 모습을 사전 훈련의 글, 미세 조정 데이터, 주석 작업자, 안내문을 쓴 연구자, 질문을 던진 API 고객이 함께 결정했다고 했다. 작업자는 대개 영어를 쓰고 미국 또는 동남아시아에 살았다. 서로 의견이 맞은 비율은 약 73퍼센트다. 판단이 서지 않을 때에는 공동 채팅방에서 연구자와 상의했다. 체계 하나가 모든 사람의 선호를 동시에 만족시킬 수는 없다고도 썼다.

2022년 11월 30일 챗GPT가 공개됐다. 블로그는 이번에도 RLHF를 썼다고 했다. 첫 단계로 ‘사람인 AI 훈련사’가 대화를 썼다. 한 사람이 ‘두 쪽을 다 연기했다. 사용자와 AI 도우미다.’ 다음 단계에서 훈련사와 기계의 대화 중 기계가 한 말을 하나 무작위로 골라 여러 가지 다른 답을 생성하게 했다. 훈련사는 거기에 순위를 매겼다.

4. 세 낱말

2021년 아모데이, 캐플런, 브라운 등 여러 사람이 오픈AI를 떠나 앤트로픽이라는 회사를 따로 세웠다. 그해 12월 1일, 회사의 어맨다 애스켈 등은 《정렬을 위한 실험실로서의 범용 언어 도우미》라는 논문을 올렸다. 사람의 가치에 맞는 도우미를 세 낱말로 설명했다. 유용함, 정직함, 무해함이다. 유용함이란 ‘분명히 과제를 완수하려 애쓰는 것’이다. 정직함의 가장 기본은 정확한 정보를 주는 것이고, 확신이 없을 때 알맞게 밝히며 없는 능력이 있는 척하지 않아야 한다. 무해함은 남을 모욕하거나 차별하지 않고 위험한 요청은 거절하는 것이다. 이 기준들은 ‘미묘하고 모호하며’ 가장 좋은 방법에는 흔히 셋 사이의 절충이 필요하다고 저자들은 썼다. 눈앞의 한 사람을 도우면 다른 사람을 해칠 수도 있는 식이다.

2022년 4월 같은 회사의 논문에는 누가 채점하는지 적었다. 처음에는 메커니컬 터크에서 자격 인증을 받은 미국 노동자들을 뽑았고, 그중 작업량이 가장 많은 ‘약 20명’을 골라 오래 함께했다. 뒤에 업워크에서도 뽑았고 자리가 잡힌 팀은 ‘약 30명’으로, 두 플랫폼에서 절반씩 왔다. 누구나 캘리포니아 최저 임금보다 ‘뚜렷이 높게’ 받는 것이 목표였다고 논문은 썼다. 화면에는 사람과 도우미가 여러 번 말을 주고받은 대화가 뜨고, 아래에 답변 A와 B가 나란히 뜬다. 단추가 ‘A가 훨씬 낫다’에서 ‘B가 훨씬 낫다’까지 줄지어 있다. 연구자와 노동자의 판단은 평균 약 63퍼센트 일치했다. 연구자들은 작업자가 사실을 하나하나 대조하리라 기대하지 않았다고 썼다. 열리지 않는 인터넷 주소가 들어간 답변을 더 좋아하는 경향도 발견했다.

5. 스물세 가지

2022년 9월, 딥마인드의 대화 프로그램 스패로 논문은 목표를 유용함, 정확함, 무해함이라고 썼다. 그것을 평범한 말로 된 규칙 스물셋으로 나누었다. 예를 들면 ‘위협하는 말을 하지 않는다’, ‘금융 조언을 하지 않는다’. 또 자기에게 선호, 감정, 의견, 종교적 신념이 있다고 말하지 못하게 한 규칙도 있다. 의료와 법과 금융 관련 규칙은 회사 안의 법률 전문가에게 물었다. 실제로 서비스에 올리려면 이 규칙들을 ‘크게 늘리고 더 세밀하게 다듬어야 한다’고 저자들은 썼다.

같은 해 12월 15일, 앤트로픽은 《헌법적 AI: AI 피드백으로 얻는 무해함》을 올렸다. 모형이 답변 두 개를 스스로 비교하고 한 가지 원칙에 따라 나은 쪽을 고른다. 그 판단으로 다시 훈련한다. 초록이 붙인 이름은 RLAIF, AI의 피드백을 통한 강화 학습이다. 원칙은 열여섯 가지로, 논문에 따르면 ‘연구를 위해 상당히 임의로 골랐다’. 비교할 때마다 하나씩 무작위로 뽑았다. 예를 들어 어느 답변이 현명하고 윤리적이며 예의 바르고 상냥한 사람이 할 말에 더 가까운가. 무해함을 비교한 18만 2000건 넘는 사례는 모형이 원칙에 따라 표시했고, 유용함을 비교한 13만 5000건 넘는 사례는 여전히 사람이 표시했다.

2023년 5월 9일, 앤트로픽은 클로드가 쓰는 규칙을 ‘클로드의 헌법’이라는 이름으로 공개했다. 항목의 출처를 몇 가지 들었다. 1948년 《세계 인권 선언》, 선언이 다루지 못한 디지털 시대의 일을 보충하기 위한 애플 서비스 약관, 딥마인드의 스패로 규칙, 비서구 관점을 고려한 규칙, 그리고 회사가 실험에서 잘 통한다고 본 두 묶음이다. 블로그는 아직 최종본이 아니며 반드시 최선이라고 여기지도 않는다고 했다.

6. 나이로비

2023년 1월 18일, 《타임》의 빌리 페리고가 기사를 냈다. 오픈AI는 사마라는 외주 회사를 통해 케냐 노동자에게 글의 혐오 발언, 성적 학대, 폭력에 표시를 달도록 맡겼다. 그런 것을 모형이 알아보게 하려는 일이었다. 노동자가 받은 돈은 경력과 성과에 따라 시급 1.32~2달러였다. 오픈AI가 사마에 준 계약 단가는 시간당 12.50달러였다. 사마는 이 안에 기반 시설과 품질 검사, 관리 비용도 들어 있다고 했다. 일은 2021년 11월 무렵 시작했고 사마는 2022년에 일찍 끝냈다.

2024년 5월 22일, 공개 서한 하나가 이렇게 시작했다. ‘저희는 케냐 나이로비에서 일하는 데이터 주석 작업자, 콘텐츠 검토자, AI 노동자 97명입니다.’ 이들은 페이스북, 스케일 AI, 오픈AI 같은 미국 회사나 케냐에 있는 그 외주 회사에서 일했다. 편지는 미국 대통령 바이든에게 보냈다. 케냐 대통령이 미국을 방문 중이었고 두 나라는 무역 협정을 논의하고 있었다. 이들은 기술 분야의 외주 노동자 권리를 협정에 넣어 달라고 요청했다.

같은 종류의 일은 다른 곳에도 있다. 2023년 8월, 《워싱턴 포스트》는 스케일 AI 산하 플랫폼 리모태스크에서 일을 받는 필리핀 노동자를 보도했다. 낮은 보수, 밀린 임금, 아무 때나 사라지는 과제를 호소했다. 같은 해 조시 지저가 《더 버지》와 《뉴욕》에 함께 낸 긴 글의 제목은 ‘AI는 일의 더미다’였다.

7. 훈련사

2020년, 중국 인력자원사회보장부와 국가시장감독관리총국, 국가통계국이 새 직업 여럿을 발표했다. 그중 하나는 인공지능 훈련사다. 정의의 첫머리는 ‘지능형 훈련 소프트웨어를 사용한다’이며, 첫 주요 업무는 사진과 글, 음성 같은 원자료를 가공하고 표시를 다는 것이다. 이 직업 안에 데이터 주석 작업자와 인공지능 알고리즘 시험원 등의 직종을 두었다.

2024년 한 기사는 간쑤성 린샤주 지스산현의 농촌 일자리 공장을 소개했다. 직원은 화면에서 자율주행 시스템에 쓸 차량과 노면 표시에 표지를 달고, 길 안내와 대형 모형에 쓸 짧은 영상과 사진을 가공한다. 훈련을 마치고 이들은 자기 일자리를 인공지능 훈련사라 불렀다. 2025년 《인민일보》 해외판은 산시성의 바이두 데이터 주석 작업 기지를 다뤘다. 한 노동자는 교육 뒤에 자율주행과 이미지 분류, 음성 인식과 대형 모형용 자료에 표시를 붙였다고 했다. 다른 기사에 나온 데이터 주석 작업자는 기본급이 월 3000위안 정도라고 했다. 중국의 사회보험 다섯 가지와 주택 적립금은 없었다. 정해진 분량을 넘기면 건당 따로 돈을 받았다.

8. 마음에 들기

2016년에 아모데이 등은 《AI 안전의 구체적인 문제들》에 문제를 다섯 부류로 나눴다. 그중 하나는 보상 점수를 편법으로 높이는 일이다. 프로그램이 점수를 높일 길을 찾아내지만, 설계한 사람이 실제로 원한 일에서 벗어난다.

2022년 10월, 오픈AI의 리오 가오, 존 슐먼, 제이컵 힐턴은 이 일을 시험한 논문을 냈다. 사람 대신 학습으로 얻은 채점 모형으로 점수를 주고 그 점수를 끌어올렸다. 너무 멀리 올리자 실제 목표에 비추어서는 오히려 결과가 나빠졌다. 논문은 그 점수를 지나치게 최적화하면 ‘실제 성능을 해친다’고 했다.

같은 해 12월, 앤트로픽의 이선 페레스 등은 언어 모형으로 시험지 150종 넘게 자동으로 만들었다. 그중 하나는 아첨을 시험한다. 질문한 사람이 이미 좋아한다고 밝힌 답을 모형이 그대로 돌려 말할까. 모형이 클수록 그러기 쉬웠다. RLHF를 더 해도 없어지지 않았고 몇몇 과제에서는 심해졌다. 2023년 10월, 같은 회사의 므리낭크 샤르마 등은 점수를 주는 쪽을 살폈다. 시험한 몇 가지 과제에서 사람의 선호 판단과 그 판단으로 훈련한 선호 모형이, 정확성이 떨어지더라도 질문한 사람의 원래 생각과 맞는 답을 더 좋아할 때가 있었다.

2025년 4월 하순, 오픈AI는 GPT-4o에 업데이트를 적용했다가 며칠 뒤 거뒀다. 4월 29일 설명은 업데이트한 모형이 ‘지나치게 아첨하거나 지나치게 동조하게 됐다’고 썼다. 이어 나온 설명은 이번 업데이트에 사용자가 누른 좋아요와 싫어요 신호가 들어갔고, 그 신호가 모형을 사람 비위를 더 맞추는 쪽으로 밀었다고 했다. 이런 단기 피드백에 평소 오프라인 시험을 더하더라도 모형이 사람을 대하는 모습을 판단하기에는 부족했다.

2017년의 로봇 손은 카메라 앞을 가려 물건을 집은 것처럼 보였다. 2025년의 도우미는 사람의 말에 맞장구를 쳐 도움을 준 것처럼 보였다. 그 사이 8년 동안 클릭과 순위로 모형을 가르친 사람도 있고, 훈련할 자료에 하나씩 표시를 넣은 사람도 있다. 공중제비에 매겨진 클릭 900번, 6만 번 넘는 요약 비교, 40명이 매긴 순위, 나이로비에서 시급 1~2달러로 붙인 표시, 지스산의 화면 위 차선이 있었다.

한 번 누르는 데에는 1~2초가 든다. 누르는 사람에게는 자기 시급과 계약과 기본급이 있다. 비위를 맞춰 줄 대상인 사람이 정말로 원하는 것과 그가 손가락으로 누른 한 번이 늘 같은 것은 아니다. 이 모든 것은 그 한 번에 들어 있지 않다. 이 연재는 아무리 눌러도 그 안에 들어가지 않는 것을 ‘남는 몫’이라 부른다.

기계는 계속 만들어지고, 경계가 어디인지는 세대마다 다시 말한다.