천정부지로 치솟는 AI 토큰 비용…리플링, 직원별 'AI 낭비' 잡는 도구 내놨다

미국 인사관리 소프트웨어 기업 리플링이 회사 안에서 벌어지는 AI 지출을 직원 단위까지 추적하고 통제하는 도구 'AI 스펜드 콘솔'을 공개했다. 

어떤 직원이 얼마나 AI를 쓰고 그 돈이 실제 성과로 이어지는지 아니면 결과물만 잔뜩 만들어내는 이른바 'AI 슬롭'에 그치는지를 가려내는 것이 핵심이다. 회사는 블로그에서 이 도구가 AI 지출은 많지만 코드 검토 과정에서 동료들이 자주 재작업을 요청하는 엔지니어를 짚어낼 수 있다고 설명했다.

이 제품은 리플링 자신의 실패에서 나왔다. 리플링은 올해 초 다른 많은 기업처럼 AI 사용을 최대한 늘리는 '토큰맥싱'에 뛰어들었다. 토큰은 AI가 글이나 코드를 처리할 때 쓰는 계산 단위로 많이 쓸수록 요금이 올라간다. 문제는 3월 경영진 회의에서 드러났다. 

애덤 스비에치키 최고재무책임자(CFO)가 내놓은 숫자에 경영진은 말문이 막혔다. 리플링은 연구개발(R&D) 조직 인건비 예산의 40%를 AI 토큰 값으로 쓸 궤도에 올라 있었다. R&D 조직은 대부분의 기술기업에서 엔지니어링 부문을 뜻한다. 즉 이 부서 전체 직원 인건비의 40%에 맞먹는 돈을 AI에 쓰고 있었던 셈이다.

지출은 매달 80%씩 불어나고 있었다. 이 추세대로라면 이듬해에는 R&D 직원 인건비의 90%에 육박하는 돈이 AI 토큰으로 나갈 상황이었다. 매트 매키니스 최고제품책임자(CPO)는 도저히 믿기지 않았다고 당시를 회고했다. 

실제 이 제품의 출시 광고에는 스비에치키 CFO가 의자에 앉아 있고 직원들이 현금 뭉치를 문서 파쇄기에 밀어 넣는 장면이 담겼다.

경영진은 곧바로 지출 실태를 파악하는 긴급 프로젝트에 착수했다. 분석 결과 전체 직원의 10~15%가 AI 지출의 약 60%를 발생시키고 있었다. 한 엔지니어는 한 달에 5만달러를 쓰고 있었다.

리플링이 AI 사용을 막으려 한 것은 아니었다. 다만 크게 줄이려 했다. 회사는 우선 커서, 오픈AI, 앤트로픽 등 자사가 쓰는 도구마다 지출 상한을 두는 협상을 벌였다. 곧 문제의 원인이 드러났다. 직원들이 어떤 작업이든 가장 최신이면서 가장 비싼 최고 성능 모델을 습관적으로 골라 쓰고 있었다.

매키니스는 앤트로픽이나 오픈AI 같은 AI 공급사들이 고객의 지출을 줄여줄 이유가 전혀 없다고 지적했다. 비용이 걷잡을 수 없이 불어나는 편이 그들에게 이득이며 실제로 사용 내역을 제대로 보여주지도 않고 서로 협력하지도 않는다는 것이다.

이는 2026년 초 많은 기업이 겪은 문제였다. 8개월이 지난 지금 기업들은 두 가지를 깨달았다. 첫째, 여러 AI 연구소의 여러 모델을 가격대별로 갖춰야 한다는 점이다. 여기에는 내부를 공개해 직접 운영할 수 있는 '오픈 웨이트' 모델이 포함되며, 중국산이 유력한 후보로 꼽힌다. 

리플링 창업자이자 CEO인 파커 콘래드는 지난달 자체 벤치마크 결과를 공개하며 스페이스X의 그록이 전반적으로 앞섰지만 중국 Z.ai의 GLM 5.2가 85% 더 저렴하면서도 거의 같은 성능을 냈다고 밝혔다. GLM 5.2는 코딩 작업에서 기술기업들이 즐겨 찾는 중국 모델로 자리 잡았고, 데이터브릭스도 이를 밀고 있다.

둘째, 프롬프트를 작업에 가장 알맞고 값싼 모델로 자동 연결해주는 'AI 게이트웨이'가 필요하다는 점이다. 리플링은 이 게이트웨이를 직접 만들어 제품에 넣었다. 이미 다른 게이트웨이를 쓰는 기업도 AI 스펜드 콘솔을 쓸 수 있지만 지출 통제 기능을 원한다면 리플링의 게이트웨이를 써야 한다.

AI 스펜드 콘솔은 하루 프롬프트 수, 코드 줄 수나 풀 리퀘스트 같은 작업 결과물, 지출을 함께 점수화하는 대시보드를 만들어낸다. 이 도구를 도입한 뒤 리플링의 토큰 지출은 인건비 예산의 40%에서 약 15%로 떨어졌다. 그러면서도 AI 사용 자체는 줄지 않았다. 

CFO가 경고를 내놓은 달 6050억 토큰으로 정점을 찍었는데 7월에도 6000억 토큰을 다시 썼다. 그런데도 7월 토큰 비용은 4월의 37%에 그쳤다. 매키니스는 더 효율적인 모델로 연결한 덕분이라며 영업팀이 문법 교정 같은 일에 고성능 모델을 쓰도록 놔두지 않는다고 말했다.

기술적 해법만으로는 부족했다. 리플링은 AI를 잘 쓰는 직원을 'AI 캡틴'으로 세워 나머지 직원을 돕게 했다. 다만 엔지니어링 밖으로 AI를 넓히는 일은 아직 진행 중이다. 

지금까지는 소프트웨어 엔지니어가 주 사용자였다. 회사는 고객 온보딩 팀이 우편 데이터 처리나 데이터 대조 작업을 자동화하도록 적용하는 작업을 진행 중이며 이 경우 대시보드는 온보딩한 고객 수로 생산성을 측정한다.

매키니스는 관리·지원 부서나 고객 응대 부서의 토큰 사용을 생산성과 연결하지 못한다면 이런 기능을 전 직원에게 열어주는 일 자체가 어려워진다고 말했다. AI 접근이 슬랙이나 이메일처럼 당연한 권한이 아니라 생산성을 측정할 수 있어야 주어지는 권한이 될 수 있다는 뜻이다.

AI 스펜드 콘솔은 리플링 인사관리 구독 고객에게 기본 제공되며 AI 사용량에 따른 추가 비용이 붙는다. 별도 제품으로 구매해 다른 인사 시스템에 연동할 수도 있다.

(썸네일 사진 출처: Rippling AI 공식 홈페이지)