AI는 무엇을 먹고 배우는가?...학습 데이터 수급의 역사

AI 모델은 사람처럼 경험을 통해 배운다. 텍스트, 이미지, 동영상, 코드, 오디오 등 이 모든 것이 AI의 "경험"이다. 챗GPT가 문장을 이어 쓸 수 있는 건 수천억 개의 문장을 학습했기 때문이고 이미지 생성 AI가 "고양이가 피자를 먹는 장면"을 그릴 수 있는 건 인터넷에 떠도는 수십억 장의 이미지를 본 적 있기 때문이다. 

AI 학습 데이터 시장 규모는 2022년 19억 달러에서 2026년 기준 42억 달러 수준으로 성장했으며 2029년에는 67억 달러에 달할 전망이다. 

그렇다면 이 데이터는 애초에 어디서 왔을까.

Common Crawl은 인터넷을 통째로 퍼다 나른다는 뜻으로 이해하면 쉽다. AI 훈련 데이터의 역사는 사실상 Common Crawl의 역사와 겹친다. 

2008년 시작된 이 비영리 단체는 웹 전체를 크롤링해 결과물을 무료로 공개하는 조직으로 매월 2~30억 개의 웹페이지를 수집해 200~400TB에 달하는 비압축 데이터를 쏟아낸다. AWS Open Data 프로그램을 통해 누구나 무료로 내려받을 수 있다.

오픈AI의 GPT-3 논문에 따르면 해당 모델 학습 데이터의 80% 이상이 Common Crawl에서 나왔다. 구글의 T5, 메타의 RoBERTa, 앤트로픽의 Claude, 메타의 LLaMA 등 사실상 지난 5년간 등장한 주요 대형언어모델(LLM)은 모두 Common Crawl을 기반 데이터로 사용했다.

그런데 2025년 11월, 디 애틀랜틱의 탐사보도는 Common Crawl이 출판사들의 크롤링 차단 요청과 유료 콘텐츠 장벽(paywall)을 무시하고 수집을 계속했다는 사실을 폭로했다. Common Crawl은 이후 반박문을 냈지만 논란은 가라앉지 않았다.

Common Crawl 외에도 초기 AI 훈련에 쓰인 데이터 소스는 다양했다. 위키피디아는 양질의 다국어 텍스트 공급원으로 거의 모든 LLM에 포함됐다. ArXiv(과학 논문), PubMed(의학 논문), GitHub(코드), StackExchange(기술 질의응답)도 표준 재료로 자리 잡았다.

특히 레딧은 독특한 방식으로 활용됐다. 오픈AI는 GPT-2 개발 당시 "레딧에서 3 karma 이상을 받은 링크에 연결된 페이지만 수집"하는 방식으로 WebText 데이터셋을 만들었다. 대중이 '읽을 만하다'고 판단한 콘텐츠를 품질 필터로 삼은 것이다.

이미지 분야에서는 ImageNet이 2009년부터 이미지 AI 연구의 기반을 닦았다. 1,400만 장 이상의 이미지를 인간이 직접 분류한 이 데이터셋은 딥러닝 혁명의 실질적인 기폭제였다.

이후 Stable Diffusion 같은 이미지 생성 AI의 부상과 함께 LAION(Large-scale Artificial Intelligence Open Network)이 핵심 공급원으로 등장했다. 독일 자원봉사자들이 만든 이 비영리 단체는 Common Crawl의 HTML 태그를 긁어 모아 58억 개의 이미지-텍스트 쌍으로 구성된 LAION-5B 데이터셋을 공개했다. Stable Diffusion, 구글 Imagen, 구글 Parti 등이 이 데이터셋으로 학습됐다.

이 과정에서 저작권이나 프라이버시 문제 등도 상당했을 것 같은데.

당연하다. 2023년 1월, 일러스트레이터 세 명(Sarah Andersen, Kelly McKernan, Karla Ortiz)이 Stability AI, Midjourney, DeviantArt를 상대로 집단소송을 제기했다. Stability AI가 50억 장 이상의 이미지를 허가 없이 복제해 Stable Diffusion을 학습시켰다는 내용이었고, LAION도 소장에 이름이 올랐다.

같은 달 게티이미지는 Stability AI를 상대로 1,200만 장 이상의 저작권 이미지가 무단으로 학습에 쓰였다는 이유로 별도의 소송을 냈다.

LAION-5B를 둘러싼 문제는 저작권보다 한 단계 더 심각한 문제였다. 연구자들과 인권 단체들이 데이터셋을 조사한 결과, 동의 없이 공개된 환자의 수술 후 사진, 의료 기록 등이 포함되어 있음이 드러났다. 

휴먼라이츠워치는 전체 데이터셋의 0.0001%도 안 되는 극히 일부만 검토했는데도 브라질 어린이 170장, 호주 어린이 190장의 사진을 찾아냈다. 일부는 사진작가에게 "의료 기록 전용"이라는 동의서까지 받은 이미지였다.

2023년 12월, 스탠퍼드 인터넷 관측소 연구팀이 LAION-5B 내에서 아동 성착취 의심 이미지 3,200장 이상을 발견했다고 발표했다. LAION은 즉시 데이터셋을 내리고 재검토에 들어갔다. 이 사건은 인터넷을 무분별하게 긁어 모으는 방식 자체의 위험성을 극명하게 보여줬다.

비슷한 시기에 뉴욕타임스가 오픈AI와 마이크로소프트를 상대로 저작권 침해 소송을 제기했다. 뉴욕타임스 기사들이 허가 없이 GPT 학습에 활용됐다는 주장이었다. 이 소송은 "AI 학습을 위한 웹 스크래핑이 공정이용(fair use)인가"라는 미국 법원의 핵심 쟁점으로 떠올랐다. 

오픈AI는 "공개된 인터넷 자료를 이용한 AI 학습은 오랜 법적 판례에 따른 공정이용"이라고 주장했지만 법원의 명확한 판단은 아직 나오지 않았다. 앤트로픽도 저자들의 저작물을 무단으로 Claude 학습에 사용했다는 집단소송에서 2025년 15억 달러에 합의했다.

오픈AI와 구글이 유튜브 영상을 텍스트로 변환해 AI 학습에 사용했다는 의혹도 제기됐다. 유튜브는 이용약관에서 자동화 수단을 이용한 영상 수집을 명시적으로 금지하고 있다. 

2026년 4월에는 유튜버들이 애플을 상대로 AI 학습을 위해 영상 보호 장치를 우회하며 콘텐츠를 수집했다는 이유로 집단소송을 냈다. 여기에는 애플 연구팀이 Panda-70M 데이터셋을 활용했다는 학술 논문이 증거로 제시됐다.

AI 데이터 수집 단계에서 사람의 역할은 무엇일까.

AI 모델은 데이터를 학습하는 것만으로 충분하지 않다. "이 답변 중 어느 쪽이 더 나은가"를 수백만 번 판단해줄 사람이 필요하다. 이 역할을 맡은 게 아마존의 Mechanical Turk 같은 크라우드소싱 플랫폼이다. Scale AI, Appen, Innodata 같은 데이터 레이블링 전문 기업들도 이 시장을 주도한다.

그런데 2023년 프린스턴 대학 연구진이 충격적인 결과를 발표했다. Mechanical Turk 작업자의 33~46%가 실제로 GPT 같은 LLM을 이용해 레이블링 작업을 했다는 것이다. AI를 학습시키기 위한 "인간 판단"이 사실은 또 다른 AI의 판단이었던 셈이다.

노동 조건 문제도 심각하다. 2024년 5월, 케냐의 데이터 레이블러 100여 명이 바이든 대통령에게 공개 서한을 보내 "시간당 2달러도 안 되는 임금으로 폭력적인 콘텐츠를 검토하며 심각한 트라우마를 입고 있다"고 호소했다. 콘텐츠 모더레이터들은 AI가 생성하거나 학습에 쓰이는 극단적 콘텐츠를 하루 종일 검토해야 한다.

누적되는 소송 압박과 공중의 시선이 AI 기업들의 행동을 바꾸기 시작했다. 2023년 말부터 2024~2025년에 걸쳐 AI 기업들은 주요 미디어 기업들과 콘텐츠 라이선스 계약을 대거 체결했다.

○ 오픈AI: Financial Times, Le Monde, Prisa Media, Time, Condé Nast, Dotdash Meredith, Axios 등 18개 이상의 퍼블리셔와 계약

○ 뉴스코프 (WSJ, Fox News 등): 오픈AI와 5년 계약, $2억5천만 이상 규모

○ 구글: AP통신과 계약 (제미나이 챗봇에 실시간 뉴스 피드 제공)

○ Mistral: AFP와 계약 (하루 2,300건의 6개 언어 기사 제공)

○ 메타, 마이크로소프트, 아마존: 2025년 하반기부터 퍼블리셔 라이선스 계약 시작

계약 구조는 대체로 동일하다. AI 기업은 유료 콘텐츠를 포함한 기사를 학습 및 서비스에 활용하고, 퍼블리셔는 금전적 보상과 함께 자사 콘텐츠가 챗봇 응답에 인용·링크되는 노출 효과를 얻는다. 반면 일부 퍼블리셔는 계약 대신 소송을 택했다. 

뉴욕타임스는 여전히 오픈AI와 법정에서 다투고 있고 Ziff Davis, Condé Nast 등도 소송 대열에 합류했다.

레딧는 2024년 초 구글과 데이터 라이선스 계약을 맺으며 자사 데이터의 상업적 가치를 공식화했다. 이어 레딧는 무단 스크래핑에 강경하게 대응하기 시작했다. 2025년 10월에는 SerpApi, Oxylabs, AWMProxy, 퍼플렉시티 AI를 상대로 소송을 제기했다. 

소장은 피고들이 "가짜 신원, 프록시, IP 로테이션, robots.txt 무시, 봇 탐지 우회" 등의 방법으로 데이터를 탈취했다고 묘사하며 "마치 금고가 아니라 현금을 싣고 가는 장갑차를 터는 것"이라고 표현했다. 이 사건은 단순한 저작권 침해가 아니라 기술적 접근 통제를 의도적으로 우회한 행위에 집중한 첫 주요 사례라는 점에서 주목받았다.

결국 규제가 등장하지 않을 수 없는 환경이다. 규제의 현 상황은 어떠한가?

유럽연합은 2025년부터 AI Act를 본격 시행하면서 학습 데이터에 관한 새로운 규범을 만들었다. 핵심은 두 가지다.

첫째, AI 기업은 학습 데이터 출처를 투명하게 공개해야 한다. 둘째, 저작권자가 robots.txt 또는 기타 기계 판독 가능한 방법으로 크롤링 거부 의사를 표시하면 이를 준수해야 한다. 

EU는 이를 위한 업계 행동 강령(GPAI Code of Practice)을 2025년 4월에 발표했고, 서명 기업들은 콘텐츠 권리 보유자가 사용하는 크롤러 차단 프로토콜을 반드시 따르도록 규정됐다.

2026년 2월에는 미국에서도 AI 기업이 콘텐츠 스크래핑 전 허가를 받고 보상을 지불하도록 의무화하는 법안이 의회에 제출됐다. 클라우드플레어는 한발 더 나아가 퍼블리셔의 별도 조치 없이도 AI 크롤러를 기본으로 차단하는 기능을 내놓았다. 이로써 통제권이 개별 웹사이트에서 인프라 레벨로 이동했다.

이제 쓸 수 있는 데이터의 양이 한계에 도달했다. 기술자들은 이를 어떻게 해결하려 하나?

AI 연구기관 Epoch AI에 따르면 LLM 학습에 적합한 고품질 공개 텍스트 재고는 2026~2032년 사이 완전히 소진될 것으로 예측된다. 중복 반복 훈련을 100배로 가정하면 이미 2025년에 한계에 도달했을 수 있다. 2024년 기준 AI·분석 프로젝트에서 사용된 데이터의 60%가 합성 데이터였으며 이 비율은 2021년 1%에서 폭발적으로 증가한 것이다.

해결책으로 부상한 것이 합성 데이터(synthetic data)다. AI 모델이 직접 학습용 데이터를 생성하는 방식이다. 마이크로소프트, 구글, 메타 등은 모두 합성 데이터 생성을 대규모로 도입했다. 

허깅페이스의 FineWeb-Edu는 Common Crawl에서 가져온 원시 텍스트를 LLM이 교육적 가치를 채점해 필터링한 1.3조 토큰 규모의 데이터셋이다. 엔비디아의 Nemotron-CC는 합성 데이터를 혼합해 같은 토큰 수 대비 실제 성능을 크게 높인 파이프라인이다.

수학과 코딩 분야에서는 검증 가능한 합성 데이터가 특히 효과적임이 입증됐다. 답이 정해져 있으므로 품질 검증이 자동화되기 때문이다. 딥시크와 같은 추론 특화 모델들이 이 방식으로 학습 효율을 대폭 끌어올렸다.

그러나 합성 데이터에는 치명적인 함정이 있다. 2024년 7월 Nature에 실린 구글 딥마인드 연구진의 논문은 "모델 붕괴(model collapse)"라는 현상을 공식화했다. 모델이 자신의 출력물로 반복 훈련되면 점진적으로 품질이 저하되는 현상이다. 

희귀하고 다양한 표현이 먼저 사라지고 결국 출력이 단조롭고 획일적으로 변해간다. 마치 복사본의 복사본을 반복하면 원본이 흐릿해지는 것과 같다.

2025년 4월 기준으로 새로 만들어지는 웹페이지의 74%가 AI 생성 텍스트를 포함하고 있다는 연구도 나왔다. AI가 만든 콘텐츠가 인터넷을 잠식하면 그것이 다시 다음 세대 AI의 훈련 데이터로 들어가는 악순환이 형성된다. 업계의 현재 해법은 "인간 데이터를 앵커로 삼아 합성 데이터를 그 주변에 생성하는 것"이다. 

작더라도 검증된 인간 생성 데이터를 핵심으로 두고 합성 데이터를 외곽에 배치해 다양성을 보완하는 방식이다. LLM-as-judge(AI가 AI의 출력을 채점) 파이프라인, 프로그래밍 방식의 자동 검증, 실제 데이터 분포와의 통계적 비교 등이 품질 관리 도구로 함께 사용된다.

2025~2026년의 가장 뚜렷한 트렌드는 "더 많은 데이터"보다 "더 좋은 데이터"로의 전환이다. 가트너는 데이터 품질 저하가 기업에 연평균 $1,290만~$1,500만의 손실을 야기한다고 추산했다. 

일반적인 웹 텍스트가 포화 상태에 가까워지면서 기업 내부 데이터(고객 상담 기록, 의료 진단 데이터, 법률 문서, 금융 거래 내역 등)의 가치가 급부상하고 있다. 이런 데이터는 외부에서 구할 수 없고 실제 인간의 전문적 판단이 녹아 있어 범용 웹 텍스트로는 절대 재현할 수 없다.

AI 학습 데이터의 역사는 짧지만 격렬했다. 인터넷을 무차별적으로 긁는 것에서 시작해 저작권 소송의 세례를 받고 법적 라이선스 계약이라는 새로운 규범을 만들어냈다. 동시에 인간이 생산한 데이터의 한계에 부딪혀 합성 데이터로 눈을 돌렸지만 모델 붕괴라는 새로운 위험이 도사리고 있다.

2026년 현재의 답은 "포기하지 않고 인간 데이터를 더 잘 활용하는 것"이다. 규모에서 품질로, 수집에서 큐레이션으로, 무단 취득에서 정당한 계약으로의 패러다임 전환이 진행 중이라고 보아야 한다.