[자율주행]자동차의 자율주행과 항공기의 자율운항은 어떻게 다를까?...‘휴리스틱’의 문제

최근 한국 시장에도 상륙한 테슬라의 FSD(Full Self-Driving) 도입을 둘러싼 논란은 기술의 완성도에 따른 문제처럼 보이지만 실제로는 더 근본적인 문제가 자리 잡고 있다. 

1초라도 잘못된 판단을 내리면 인명 및 시설 피해가 발생하기 쉬운 도로의 환경에서 자동차에 자율성을 더 큰 범위로 부여할 경우, 탑승한 운전자가 시스템의 오류를 감각적으로 알아채고 즉시 개입할 수 있는가 하는 문제다. 

사람은 원래 복잡한 계산보다 ‘뭔가 이상하다’는 감각을 기반으로 빠른 판단을 한다. 이런 판단을 흔히 휴리스틱이라고 부르는데, 이 감각이 작동하려면 시스템이 언제 어떻게 실수하는지 일정한 패턴이 있어야 한다. 실패가 일정해야 사람이 그 실패를 예측할 수 있고 그 예측이 있어야 개입 시점도 확보된다. 

항공 업계는 수십 년 동안 이 원리를 기준으로 자동화를 설계해 왔다. 지금 FSD 논란이 불거지는 이유는 자동차 산업이 이 원리를 아직 충족시키지 못하고 있기 때문이다.

우선, 자동화를 항공 부문과 자동차 부문에 각각 적용하면 자율운항(Auto Pilot)과 자율주행(Self Driving)이 된다. 자동화에 있어서는 당연히 자율주행보다 자율운항의 역사가 훨씬 오래되었다.

항공 부문에서의 자동화는 파일럿을 대체하기 위한 장치가 아니다. 오히려 파일럿이 상황을 더 명확히 이해하고 기계를 더 안정적으로 다룰 수 있도록 하는 도구로서 설계된다. 

이를 위해 먼저 실패를 설계에 넣는다. 특정 센서가 고장 나면 어떤 경고가 뜨고 어떤 체크리스트가 자동으로 열리고 어떤 순서로 조치가 이어지는지까지 정해져 있다. 이렇게 실패 패턴을 고정해두면 파일럿은 시뮬레이터에서 계속 반복 훈련을 하며 몸으로 익힌다. 

덕분에 실제 비행 중 예상하지 못한 일이 발생해도 이상 신호를 빠르게 감지하고 곧바로 절차대로 움직일 수 있다.

또 항공 자동화는 지금 기계가 무엇을 하고 있는지 파일럿에게 명확히 알려주는 방식을 쓴다. 오토파일럿의 모드가 고도 유지인지 속도 유지인지, 항로 추종인지가 화면에 크게 표시되고 모드가 바뀌면 그 순간을 파일럿이 놓치지 않도록 시각적 신호가 함께 제공된다. 

파일럿은 화면만 보면 기계가 어떤 판단을 하고 있고 어디까지 책임지고 있는지 즉시 이해할 수 있다. 이런 정보 전달 방식은 모두 국제 기준으로 정해져 있어 항공사나 기종이 달라도 흐름은 크게 변하지 않는다.

가장 중요한 차이는 개입 시간이다. 항공은 설계 단계에서부터 파일럿이 경고를 확인하고 판단하고 조작을 실행할 때까지 필요한 시간을 계산해 안전 기준에 포함시킨다. 

이 시간은 의도적으로 여유 있게 확보한다. 그래야 사람이 기계가 놓친 상황을 충분히 되찾아올 수 있기 때문이다. 이런 구조 덕분에 항공 자동화는 높은 수준의 자동 운항을 하고 있어도 사람은 항상 루프(loop) 안에 남는다.

이 기준을 자동차 자율주행 시스템에 가져와 보면 지금의 문제점이 명확해진다. FSD는 법적으로 여전히 운전자가 항상 감시하고 즉시 개입할 준비를 해야 하는 레벨 2 시스템이다. 겉으로는 사람에게 책임을 요구하는 형태다. 하지만 정작 사람이 판단하는 데 필요한 정보는 거의 제공하지 않는다. 

시스템이 무엇을 보고 무엇을 계산하며 어떤 상황을 어려워하는지 운전자가 알 수 있는 방법이 없다. 내부 네트워크의 신뢰도가 떨어져도 계기판에는 아무런 신호가 나타나지 않는다. 운전자는 도로와 화면을 동시에 보면서 시스템의 상태를 추측해야 한다. 

이런 구조에서는 휴리스틱 판단이 만들어질 수 없다. 여기에 자동차 주행의 자동화에서 자주 논의되는 몇 가지 개념이 문제를 더 선명하게 한다. 우선 영문 용어를 한국어로 번역하는 것부터 시작하도록 한다.

○ out-of-the-loop performance problem: 통제권 이탈 문제

○ automation bias: 자동화 신뢰 편향

○ mental model mismatch: 사용자 이해 모델과 실제 시스템의 불일치

○ explainability: 설명 가능성

○ certifiability: 인증 가능성

가장 먼저 ‘out-of-the-loop 문제’가 있다. 자동화가 대부분의 일을 처리할 때 사람은 감시자로 밀려나고 이때 사람의 주의력과 판단 능력은 급격히 떨어진다. 

항공 부문에서는 이 문제를 피하려고 자동화가 사람을 배제하지 않도록 설계하지만 FSD는 운전자를 사실상 ‘준수동 모드’에 두고 있다.

다음은 ‘automation bias’다. 사람은 기계가 만들어낸 결과를 자신이 직접 판단하는 것보다 더 신뢰하려는 경향이 있다. 자동차 자동화 연구에서는 사용자가 시스템의 능력을 실제보다 더 높게 평가하는 현상이 반복적으로 확인된다. 시스템을 과신하면 개입 타이밍은 더 늦어지고 사고 가능성은 높아진다.

또 하나는 ‘mental model mismatch’다. 사람 머릿속에 들어 있는 시스템 이해와 실제 시스템 동작 방식이 어긋나는 현상을 뜻한다. 

항공은 시스템 철학까지 명확히 밝혀서 파일럿이 정확한 마음속 모델을 가질 수 있도록 하지만 자동차는 제조사마다 이름도 다르고 기능 범위도 다르다. ‘FSD’라는 용어만 보면 완전 자율주행처럼 보이지만 실제로는 레벨 2다. 이런 불일치는 오해를 만들고 오해는 위험으로 이어진다.

AI를 적용하는 산업에서 최근 가장 많이 등장하는 개념은 ‘explainability’와 ‘certifiability’다. AI가 왜 그런 판단을 했는지 적어도 사람이 이해할 수 있는 수준으로 설명이 가능해야 explainability가 확보된다. 

설명이 가능해야 규제기관도 기능을 검증할 수 있는데, 이것이 certifiability다. 항공 분야는 이미 이런 기준을 적극적으로 논의하고 있으며 설명할 수 없는 AI는 인증 자체가 어렵다는 분위기가 자리 잡고 있다. 자동차는 아직 이 단계까지는 도달하지 못했다. 

시스템 안에서 어떤 계산이 오가고 있는지 사용자도 규제기관도 정확히 알기 어렵다.

이 모든 요소를 합쳐 나오는 결론은 의외로 간단하다. 사람은 어떤 방식으로 실패할지 알고 있는 시스템은 관리할 수 있다. 실패 패턴이 일정하고 그 실패가 어떻게 드러나며 대처 시간까지 확보돼 있으면 사람은 그 틀 안에서 순간적인 판단을 내릴 수 있다. 

항공 자동화가 수십 년 동안 이어온 안전 기록을 유지하는 이유가 바로 여기에 있다. 반면 자동차 자율주행은 실패 패턴이 아직 일정하지 않고 그 실패를 사용자에게 전달하지도 않는다. 

운전자는 어느 순간 갑자기 튀어나오는 비정형 오류를 다루라는 요구를 받는다. 사람은 이런 요구에 대응할 수 없다.

그래서 FSD 인증 논란은 기술 발전의 속도와 인간공학적 설계의 간극이 만든 문제다. 자동화는 사람을 더 안전하게 만들 수 있는 기술이지만 그 전제는 사람을 배제하지 않는 설계다. 항공이 오랜 시간 쌓아온 기준을 자동차 산업이 참고해야 한다는 목소리가 점점 커지고 있는 이유도 바로 여기서 찾을 수 있을 것이다.