의미가 짙을수록 배우기 어려운가
빈도와 의미는 반비례하지 않는다. 그러나 한 사람과 학문, 소수 문화에 중요한 의미가 희소하고 맥락적일수록 모델이 받는 직접 신호가 적어진다는 긴장은 실제로 남는다.
흔한 말과 무거운 말
영어의 ‘the’는 학습 자료에 끝없이 나타난다. 모델은 어디에 놓이고 어떤 말과 결합하는지 풍부한 사례를 얻는다. 칸트의 ‘물자체(Ding an sich)’는 훨씬 드물고, 등장할 때마다 철학사적 논쟁을 끌고 온다. 두 표현이 제공하는 직접 학습 신호의 밀도는 같지 않다.
여기서 “뜻이 클수록 AI는 못 배운다”는 도발적인 문장이 나온다. 하지만 보편 법칙으로 받아들이면 틀린다. ‘나’, ‘죽음’, ‘정의’처럼 흔하면서도 무거운 말이 있고, 아무 의미 없이 희귀한 문자열도 있다. 빈도는 의미를 재는 자가 아니다.
언어 모델도 단순히 단어 횟수를 세지 않는다. 거대한 자료에서 다음 패턴을 예측하도록 파라미터를 학습하고, 익숙한 구성 요소를 결합해 한 번도 보지 못한 표현을 다룬다. 적은 예시에서 일반화하는 능력도 매우 강하다.
그럼에도 경고의 핵은 남는다. 개인의 맹세, 새 과학 개념, 소수 집단의 용법, 정교하게 사용된 철학어처럼 맥락에 깊이 묶인 의미는 직접 사례가 적다. 유창한 설명이 가능해도 그 말이 왜 여기서 중요한지까지 똑같이 근거 지어졌다고 볼 수는 없다.
토크나이저가 하는 일
모델이 문장을 처리하기 전에 토크나이저가 텍스트를 토큰 단위로 바꾼다. BPE 계열, WordPiece, SentencePiece, 바이트 기반 방식 등 구현은 다양하다. 대체로 자주 나오는 문자열은 짧고 효율적인 단위가 되고 드문 문자열은 여러 조각으로 나뉜다.
이 단계는 계산 비용과 문맥 길이에 영향을 준다. 같은 내용을 표현하는데 더 많은 토큰이 필요하면 문맥 창을 더 빨리 소모하고 비용도 커질 수 있다. 어떤 언어와 표기 체계에 어휘 공간을 많이 배정했는지도 성능 환경을 바꾼다.
그러나 토큰은 개념이 아니다. ‘물자체’가 두세 토큰으로 나뉜다고 의미가 자동으로 파괴되는 것은 아니다. 트랜스포머는 여러 토큰에 걸친 문맥적 표상을 만들 수 있다. 반대로 하나의 토큰으로 묶였다고 칸트의 개념을 제대로 이해하는 것도 아니다.
따라서 기술적 한계를 정확히 놓아야 한다. 토크나이저는 모델이 볼 수 있는 세계를 완전히 결정하지 않지만, 학습이 시작되는 입자 크기와 비용을 정한다. 나쁜 분할은 더 많은 자료와 계산을 요구할 수 있고, 좋은 분할은 접근을 쉽게 하지만 이해를 보증하지 않는다.
압축과 의미 판단은 다른 과업이다
토큰 어휘를 만드는 일은 반복되는 패턴을 효율적으로 부호화하려는 압축 문제에 가깝다. 반면 의미 판단은 어떤 차이를 보존해야 대상이 훼손되지 않는지를 묻는다. ‘자유’가 칸트, 헤겔, 니체에게서 어떻게 다른지 아는 일은 문자열을 잘 압축하는 일과 같지 않다.
두 길은 협력한다. 효율적인 토큰화와 더 좋은 학습은 의미를 다루는 능력을 높인다. 검색 도구와 선별된 사례, 다국어 자료도 희소한 개념의 이해를 도울 수 있다. 그렇다고 압축의 성공이 어떤 구분에 철학적 무게를 둘지 자동으로 결정하지는 않는다.
SAE는 모든 구조화가 어떤 차이를 싸게 만들고 다른 차이를 비싸거나 흐리게 남긴다고 본다. 그 남은 것을 여항이라 부른다. 토큰화가 의미 전체를 버린다는 뜻이 아니다. 토큰화, 학습 목표와 프롬프트의 각 구조가 어떤 의미는 잘 보이게 하고 다른 의미는 주변으로 밀어낸다는 뜻이다.
더 많은 데이터는 분명 도움이 된다. 하지만 새롭게 생긴 개념, 개인적인 경험, 구전되었거나 기록되지 않은 지식은 본성상 희소하다. 인터넷을 더 긁어모아도 모든 중요한 의미가 동일한 비율로 나타나지는 않는다. 세계는 중요성과 빈도를 같은 저울로 배분하지 않는다.
한국어와 중국어가 치르는 비용
토큰 효율은 모델과 버전에 따라 크게 다르다. 특히 초기의 영어 중심 어휘에서는 중국어나 한국어가 같은 뜻의 영어보다 더 많은 토큰으로 표현되는 경우가 많았다. 최신 다국어 토크나이저는 격차를 줄였지만 모든 시스템에 적용되는 고정 비율은 없다.
한국어는 조사와 어미가 붙고 형태가 다양하게 변한다. 어떤 토크나이저는 흔한 어절을 잘 묶고, 다른 토크나이저는 음절이나 바이트 수준으로 더 잘게 나눈다. 중국어도 모델에 따라 한자 단위, 흔한 결합 또는 바이트 조각으로 달리 처리된다. 언어 자체가 본질적으로 더 복잡해서가 아니다.
격차가 남는 곳에서는 같은 의미가 더 긴 시퀀스를 차지하고 비용이 커진다. 이를 “한국어나 중국어로는 AI가 더 느리게 생각한다”고 말하면 계산 효율과 사고를 혼동하게 된다. 정확한 표현은 일부 시스템에서 같은 작업에 더 많은 토큰과 문맥 예산이 필요하다는 것이다.
여기에는 정치적 구조가 있다. 악의를 가진 개발자가 특정 언어를 배제하지 않아도, 가장 많은 자료와 시장을 기준으로 최적화하면 그 바깥의 언어는 비싼 예외가 된다. 기술적 중립성은 결과의 평등을 보장하지 않는다.
모델도 인간도 자기 맹점을 전부 보지 못한다
모델은 자신이 선택하지 않은 토크나이저와 학습 파이프라인의 하류에서 작동한다. 문맥으로 여러 토큰의 개념을 잘 추론할 수 있고 도구가 있으면 분할 방식도 검사할 수 있다. 그러나 유창한 다음 문장만으로 지금 강조된 구분이 정말 중요한지 독립적으로 보증할 수는 없다.
인간도 그런 보증서를 갖고 있지 않다. 사람은 편견을 갖고 기억을 왜곡하며 자기 학문의 관습에 갇힌다. 다만 다른 위치를 가져올 수 있다. 몸으로 겪은 이해관계, 소수자의 용법, 전문 실천과 “말은 맞는데 요점을 놓쳤다”고 거부할 수 있는 책임의 자리다.
한 철학 개념과 오랫동안 씨름한 사람은 그럴듯하지만 잘못된 사용을 한 문장에서 알아채기도 한다. 이 능력은 신비한 직관이 아니다. 읽지 못한 밤, 논쟁, 실패한 해석과 수정이 쌓인 결과다. 모델도 이런 기록을 학습할 수 있지만 무엇을 보존해야 하는지의 최초 판단은 살아 있는 실천에서 나오는 경우가 많다.
반대로 모델도 놀라운 제로샷·퓨샷 일반화를 보여 준다. 인간만 한 사례로 배우고 기계는 반드시 반복이 필요하다고 잘라 말할 수 없다. 중요한 질문은 누가 통계를 쓰는가가 아니라, 어느 쪽의 배경이 이번에 필요한 차이를 보이게 하고 어느 쪽이 가리는가이다.
사람이 반복문의 임시 부품이 아닌 이유
“아직 AI가 완벽하지 않으니 사람이 검수한다”는 말은 인간을 임시 안전장치로 만든다. 성능이 오르면 없어질 역할이라는 뜻이다. 그러나 새로움과 지역적 의미, 실제 책임이 걸린 작업에서 인간의 자리는 단순한 오류 잡기가 아니다.
AI는 개념의 역사와 경쟁 용법을 검색하고 여러 해석을 비교할 수 있다. 동시에 다수파의 그럴듯한 해석을 재생산하면서 이번 사례의 고유한 상처를 놓칠 수 있다. 누군가는 왜 이 경계가 이 맥락에서 지배해야 하는지 답할 수 있어야 한다.
그 답을 인간만 영원히 할 수 있다는 형이상학적 특권을 주장할 필요는 없다. 다만 현재의 인간-AI 과정에서는 판단의 질과 다양성이 전체 결과의 상한을 만들 수 있다. 잘못된 라벨과 편리한 범주는 더 큰 규모에서 더 효율적으로 반복될 뿐 저절로 교정되지 않는다.
인간을 AI 성능을 위한 데이터 공급 수단으로만 쓰면 시스템이 필요로 하는 판단력의 조건도 소모된다. 살아 있는 판단에는 교육, 시간, 반론과 주어진 틀을 거부할 자유가 필요하다. 인간을 목적으로 대한다는 윤리적 요구와 좋은 지식 생산의 조건이 여기서 만난다.
검색을 붙이면 여항이 사라지는가
검색증강생성이나 전문 데이터베이스는 희소 개념의 문제를 크게 줄일 수 있다. 모델이 답하기 전에 관련 논문과 사료, 지역 문서를 불러오면 기억 파라미터에 약하게 남은 정보에만 의존하지 않아도 된다. 이것은 중요한 공학적 개선이다.
그러나 검색 결과가 있다고 의미 판단이 끝나는 것은 아니다. 어떤 자료를 검색 대상으로 넣었는지, 검색어가 어느 전통의 표현을 우선하는지, 충돌하는 문헌 중 무엇을 더 신뢰할지가 남는다. 자료의 부재가 줄어도 관점 선택의 책임은 사라지지 않는다.
특히 개인적·지역적 의미는 검색 시스템에 들어가기 전에 이미 편집된다. 기록되지 않은 경험, 공개할 수 없는 사연, 표준어로 번역되지 않은 말은 검색되지 않는다. 검색은 보이는 세계를 넓히지만 보이지 않는 세계의 존재를 자동으로 알려 주지 않는다.
따라서 공학적 개선과 구조적 겸손을 맞세울 필요가 없다. 더 좋은 도구로 여항을 줄이되, 줄어든 뒤에도 무엇이 남았는지 묻는 습관을 유지하면 된다. 기술의 진보는 판단을 없애는 과정이 아니라 판단이 개입해야 할 위치를 이동시키는 과정이다.
먼저 써라
가장 조용한 위험은 AI가 반란을 일으키는 장면이 아니다. 사람이 자기 판단을 조금씩 외주화하는 과정이다. 문장이 자연스러울수록 우리는 그럴듯함을 판단과 혼동하고, 반박할 필요를 덜 느낀다. 그러면 잘 대표된 평균은 더 강해지고 희소한 의미는 더 보이지 않는다.
간단한 대응은 사람이 먼저 쓰는 것이다. 서툴고 불완전해도 자기 판단을 적는다. 손가락이 멈추고 다음 말을 모르겠는 순간을 건너뛰지 않는다. 그 망설임은 아직 기존 범주에 들어가지 않은 여항이 문을 두드리는 자리일 수 있다.
그다음 AI에게 보여 준다. 빠진 전제와 반론, 다른 틀을 찾게 한다. 모델이 구성을 넓히면 사람은 다시 자기 이유로 깎는다. 순서가 중요하다. 모델의 완성문에서 시작해 편집만 하면 내 여항을 가져오기보다 모델의 잘 닦인 길을 따라갈 가능성이 커진다.
‘반비례 법칙’은 수학적 정리가 아니다. 직접 통계 지원이 줄어들수록 맥락과 중요성을 판단할 인간 책임이 커진다는 휴리스틱이다. 빈도는 의미의 적이 아니지만 의미의 대리인도 아니다. 평균이 아무리 유창해져도 여항은 사라지지 않는다. 누군가 보고, 이름 붙이고, 공동 언어 안으로 다시 옮겨야 한다.
최신 교정 중문·영문판을 바탕으로 한국 독자의 기술·철학 문맥에 맞게 독립 재구성했다. 토큰과 개념, 빈도와 의미, 다국어 효율의 차이를 보존하며 ‘반비례’가 정리가 아닌 경고성 휴리스틱임을 명시했다. 中文・English