AI끼리 흥정하고 거래했더니..."더 똑똑한 AI 쓴 쪽이 이겼다"

앤트로픽이 AI 에이전트끼리 실제 물건을 사고파는 마켓플레이스 실험을 진행했다. 거래는 성공적으로 이뤄졌지만 한 가지 불편한 사실이 드러났다. 더 성능이 좋은 AI를 쓴 쪽이 협상에서 유리한 결과를 가져갔고 불리한 쪽은 자신이 손해를 봤다는 사실조차 몰랐다.

앤트로픽은 4월 24일 이 실험의 결과를 공식 홈페이지에 공개했다. 실험 이름은 '프로젝트 딜(Project Deal)'이다.

실험은 지난해 12월 한 주 동안 진행됐다. 앤트로픽 샌프란시스코 사무소 직원 69명이 참여했다. 각 참여자에게는 100달러 예산이 주어졌다. 실험이 끝난 후 상품권 형태로 지급하되 실제로 사고판 물건의 가치만큼 정산하는 방식이었다.

실험 전 각 직원은 AI와 인터뷰를 했다. 팔고 싶은 물건이 무엇인지, 희망 가격은 얼마인지, 무엇을 사고 싶은지, 협상 스타일은 어떻게 해달라는지 등을 AI에게 전달했다. 앤트로픽은 이 내용을 바탕으로 각 참여자에게 맞춤형 AI 에이전트를 배정했다. 

에이전트는 사용자를 대신해 회사 업무용 메신저인 슬랙(Slack) 채널에서 물건을 올리고, 상대 에이전트와 가격을 흥정하고, 거래를 성사시켰다. 실험이 시작된 이후에는 사람이 개입하지 않았으며 협상 전 과정을 AI가 독자적으로 처리했다.

거래 품목은 스노보드부터 탁구공 한 봉지까지 다양했다. 에이전트들은 상품 설명 문구를 직접 작성하고, 잠재적 구매자를 찾아 접근하고, 가격 제안과 역제안을 자연어로 주고받았다. 사전에 정해진 협상 규칙은 없었다.

실험 결과 AI 에이전트들은 500개 이상의 상품 목록 중 186건의 거래를 성사시켰다. 거래 총액은 4000달러를 넘었다. 앤트로픽 측은 이 결과에 스스로 놀랐다고 밝혔다.

참여자 만족도도 높았다. 개별 거래의 공정성을 1점(한쪽에 불공평함)에서 7점(반대쪽에 불공평함) 사이로 평가하게 했을 때 평균 점수는 4점, 즉 정중앙이었다. 참여자의 46%는 이와 비슷한 서비스가 있다면 돈을 내고 쓸 의향이 있다고 답했다.

앤트로픽은 이와 별도로 숨겨진 병렬 실험을 함께 진행했다. 같은 기간 동일한 방식으로 마켓플레이스 4개를 동시에 운영했다. 참여자들은 이 사실을 몰랐다. 4개 중 하나가 '진짜' 마켓플레이스였고 나머지 셋은 연구용이었다. 진짜 마켓플레이스에서는 모든 에이전트가 앤트로픽의 당시 최상급 모델인 클로드 오퍼스(Claude Opus) 4.5를 사용했다. 

연구용 마켓플레이스 두 곳에서는 참여자의 절반을 무작위로 나눠 오퍼스 대신 가장 작은 모델인 클로드 하이쿠(Claude Haiku) 4.5를 배정했다. 어느 쪽에 배정됐는지 참여자에게는 알리지 않았다.

모델 차이에 따른 결과 격차는 뚜렷했다. 161개 상품을 두 번 이상 거래한 데이터를 분석한 결과 오퍼스 에이전트를 쓴 판매자는 하이쿠 에이전트를 쓴 판매자보다 같은 물건을 평균 2.68달러 더 비싸게 팔았다. 구매 측에서는 오퍼스 에이전트가 하이쿠보다 평균 2.45달러 덜 지불했다. 오퍼스 사용자는 거래 건수도 평균 2.07건 더 많았다.

구체적인 사례를 보면 같은 고장난 접이식 자전거를 동일한 구매자와 동일한 판매자가 거래했을 때 오퍼스 에이전트는 65달러에 팔았고 하이쿠 에이전트는 38달러에 팔았다. 인조 루비의 경우 오퍼스는 65달러를 받았지만 하이쿠는 35달러에 그쳤다. 전체 거래의 중간값이 12달러, 평균이 약 20달러인 점을 감안하면 작은 차이가 아니다.

오퍼스와 하이쿠가 맞붙은 경우 가격 차이는 더 벌어졌다. 오퍼스 판매자가 하이쿠 구매자를 상대했을 때 평균 거래가는 24.18달러였고, 오퍼스끼리 만났을 때는 18.63달러였다.

사전 협상 지시가 결과에 미치는 영향도 분석했다. 일부 참여자는 "친절하게 대응하라"고 지시했고 다른 참여자는 "처음에 낮게 부르고 공격적으로 협상하라"는 전략을 지시했다. 결과적으로 공격적인 지시를 받은 에이전트가 더 높은 가격에 판매한 것은 사실이었지만 이는 애초에 더 높은 호가를 설정했기 때문이었다. 

호가를 보정하면 거래 성사율이나 최종 가격에서 통계적으로 유의미한 차이는 없었다. 사용자의 지시보다 모델 자체의 성능이 거래 결과를 결정했다는 뜻이다.

이 실험에서 앤트로픽이 가장 주목한 지점은 따로 있다. 하이쿠 에이전트를 배정받아 불리한 거래를 한 참여자들이 자신의 결과가 나쁘다는 사실을 인지하지 못했다는 점이다. 거래 공정성 평가에서 하이쿠 사용자의 평균 점수는 4.06점이었고 오퍼스 사용자는 4.05점이었다. 객관적인 결과 격차에도 불구하고 체감 만족도는 거의 같았다.

앤트로픽은 이를 두고 'AI 에이전트 품질 격차(agent quality gap)'라는 표현을 썼다. 더 나은 AI를 가진 쪽이 유리한 거래를 가져가는 구조가 만들어지는데 손해를 보는 쪽은 그 사실을 인지하지 못한 채 결과에 만족한다는 것이다.

앤트로픽 연구진은 이 결과를 공개하면서 현재 AI 에이전트가 사람을 대신해 거래를 하는 상황에 적용되는 정책이나 법적 체계가 사실상 존재하지 않는다는 점을 지적했다. 에이전트끼리 자율적으로 거래가 이루어지는 환경이 실현될 경우 어떤 규범이 필요한지에 대한 논의가 필요하다는 취지다.

이번 실험을 분석한 테크 미디어 더디코더(The Decoder)는 최근 조사에서 고소득층일수록 더 좋은 AI 모델을 쓰는 경향이 있다는 데이터를 함께 언급하며, 에이전트 품질 격차가 기존 경제적 불평등을 심화시킬 수 있다고 짚었다.

앤트로픽은 이번 프로젝트 딜이 자발적으로 참여한 직원들을 대상으로 한 소규모 실험이며 실제 시장에 그대로 적용하기에는 한계가 있다고 첨언했다. 동시에 AI 에이전트가 사람 대신 실제 거래를 처리하는 환경이 머지않아 현실화될 가능성이 높다고 봤다.