AI도 안전보고 의무화...캘리포니아, SB53 서명으로 ‘프런티어 모델’ 첫 법적 통제

미국 캘리포니아주가 대형 AI 기업을 직접 겨냥한 안전 규제 법안을 공식 발효시켰다. 개빈 뉴섬 주지사는 9월 29일 ‘SB 53’으로 불리는 AI 안전·투명성 법안에 서명했다. 

이 법은 일정 규모 이상의 최첨단 AI 모델을 개발하거나 배포하는 기업에 대해 안전 프레임워크 수립과 사고 보고 의무를 부과하는 내용을 담고 있다.

SB 53은 정식 명칭이 ‘Transparency in Frontier Artificial Intelligence Act’다. 여기서 말하는 프런티어 AI는 막대한 연산 자원과 데이터를 투입해 학습된 대규모 모델을 뜻한다. 통상 수십억 개 이상의 파라미터를 가진 생성형 AI나 범용 추론 모델이 해당된다. 

법은 이런 모델이 사회 전반에 미치는 영향력이 커진 만큼 개발 단계부터 안전 관리 체계를 갖추도록 요구한다.

법에 따르면 일정 기준 이상의 연산 능력을 사용해 모델을 학습한 기업은 내부 위험 평가 절차를 마련해야 한다. 모델이 대량 허위정보 생성, 사이버 공격 지원, 생물학·화학 관련 오남용 등 중대한 피해를 유발할 가능성이 있는지를 사전에 점검해야 한다. 

또한 실제로 심각한 사고가 발생했을 경우 이를 주정부에 보고해야 한다. 여기서 사고는 공공 안전이나 국가 안보에 영향을 줄 수 있는 사건을 의미한다.

기업은 모델의 안전 정책과 대응 체계를 문서화하고 외부 감사를 받을 수 있는 수준으로 관리해야 한다. 모델이 어떤 데이터로 학습됐는지, 어떤 위험 완화 조치를 적용했는지에 대한 기본 정보도 공개 대상에 포함된다. 

다만 영업 비밀에 해당하는 세부 기술까지 공개하도록 강제하지는 않는다. 법은 혁신을 위축시키지 않으면서도 최소한의 안전 장치를 마련하겠다는 구조로 설계됐다.

캘리포니아는 실리콘밸리를 중심으로 오픈AI, 구글, 메타, 앤트로픽 등 주요 AI 기업이 밀집해 있는 지역이다. 이번 법은 사실상 이들 기업을 직접 규율하는 첫 주 단위 규제라는 점에서 상징성이 크다. 연방 차원의 포괄적 AI 규제가 아직 마련되지 않은 상황에서 주정부가 먼저 법적 기준을 제시한 셈이다.

법안은 모델 개발 기업뿐 아니라 일정 조건을 충족하는 배포 기업에도 적용될 수 있다. 클라우드 인프라를 통해 대규모 모델을 제공하는 사업자 역시 관리 의무 대상에 포함될 여지가 있다. 

이에 따라 AI 모델을 학습하는 기업과 이를 호스팅하거나 API 형태로 유통하는 기업 모두 내부 통제 체계를 재정비해야 할 것으로 보인다.

SB 53은 법적 의무를 부과한다는 점에서 기존의 자율 규제와 다르다. 그동안 빅테크 기업들은 자체 안전 헌장이나 외부 자문위원회를 통해 책임 있는 AI 개발을 약속해왔다. 그러나 구속력 있는 보고 의무나 제재 규정은 없었다. 이번 법은 최소한의 안전 기준을 충족하지 못할 경우 행정 조치가 가능하도록 설계됐다.

주지사실은 이번 서명을 통해 캘리포니아가 AI 혁신의 중심지로서 책임 있는 리더십을 보여주겠다는 입장을 밝혔다. 기술 경쟁력을 유지하는 동시에 잠재적 위험을 제도권 안에서 관리하겠다는 메시지다. 

법안 지지자들은 AI가 의료, 금융, 교육 등 핵심 산업에 빠르게 확산되는 상황에서 안전 장치 없이 시장에 맡겨두는 것은 무책임하다고 지적해왔다.

반면 업계 일각에서는 규제 기준의 모호성과 행정 부담을 우려하는 목소리도 있다. ‘중대한 사고’의 범위와 ‘프런티어 모델’의 정의가 향후 해석에 따라 확대될 가능성이 있다는 지적이다. 다만 법안은 세부 기준을 행정 규칙을 통해 구체화하도록 해 기술 발전 속도에 맞춰 조정할 여지를 남겨두었다.

이번 조치는 다른 주와 연방 의회에도 영향을 줄 가능성이 있다. 이미 뉴욕, 일리노이 등 일부 주에서는 AI의 차별, 개인정보 보호 문제를 다루는 별도 법안을 추진 중이다. 

캘리포니아가 대형 모델의 안전성 자체를 직접 규율하기 시작하면서 주 단위 규제 경쟁이 본격화할 가능성도 제기된다. 구체적인 시행 일정과 세부 가이드라인은 후속 행정 절차를 통해 확정될 예정이다.

(썸네일 사진 출처: 캘리포니아 주 정부 홈페이지)