[제약바이오]임상 전 ‘신약 설계’에 쓰이는 생성형 AI, 어디까지 왔나

생성형 AI가 산업의 전 분야에 순차적으로 침투하고 있지만 신약 개발에서는 진보가 마냥 녹록치만은 않다. 그럼에도 불구하고 현재 제약·바이오 업계에서 생성형 AI가 가장 빠르게 자리 잡은 곳은 임상 이전 신약개발이다. 

특히 “약이 될 만한 분자”를 찾아내는 단계와 그 분자의 구조를 처음부터 고안하는 단계에서 활용이 폭발적으로 늘었다. 과거 방식은 연구자가 수천 개 후보를 미리 정해놓고 실험으로 맞혀보는 느낌에 가까웠다. 하지만 지금은 순서가 바뀌었다. 

먼저 AI가 “이 단백질 표적의 결합 자리(포켓)에 잘 맞을 모양”을 3D로 잡아주고 그 조건을 만족하는 분자 구조를 대량으로 만들어낸 뒤 점수 높은 것부터 실제 합성·실험으로 확인하는 흐름이 표준으로 굳어지는 중이다. 

여기서 ‘표적’은 질병을 일으키거나 악화시키는 단백질 같은 생체 분자를 뜻한다. 약은 대개 이 표적에 붙어서 작동한다. 그래서 임상 전 단계의 핵심은 “잘 붙는 분자를 빨리 찾고 약으로 쓸 수 있게 다듬는 일”이다. 생성형 AI는 이 일을 빠르게 반복하도록 돕는다. 

예를 들어 단백질과 약 후보가 어떤 자세로 붙는지 예측하는 기술이 발전하면서 구조 기반 설계가 더 촘촘해졌다. 

2024년에 공개된 AlphaFold 3는 단백질만 보던 모델에서 확장돼 단백질과 작은 분자 같은 다양한 구성요소가 함께 있을 때의 결합 형태를 예측하는 방향을 제시했다. 

이런 유형의 모델은 연구자 입장에서 “어디에 붙고 어떤 상호작용이 필요한지”를 지도처럼 제공해준다. 상호작용은 수소결합, 전하 끌림, 소수성 결합처럼 분자가 서로 붙는 힘을 말한다. 이 지도가 생기면 생성형 모델은 아무 모양이나 뽑는 게 아니라 목표에 맞게 분자를 설계한다.

실무에서는 이렇다. 먼저 표적 단백질의 결합 자리를 잡는다. 그 다음 AI가 분자 구조를 만든다. 표현 방식은 크게 두 갈래다. 하나는 SMILES라는 문자 코드로 분자를 “문장처럼” 써서 생성하는 방식이다. 다른 하나는 분자를 점과 선의 그래프 또는 3D 좌표로 다루며 공간에서 직접 만드는 방식이다. 

최근에는 diffusion 계열이 3D 생성에 자주 쓰인다. diffusion은 노이즈에서 시작해 조금씩 형태를 다듬는 방식이다. 구겨진 종이를 펴서 원하는 모양을 만드는 느낌에 가깝다. 

이렇게 생성된 후보는 곧바로 “약으로서의 기능을 할 수 있는지” 평가를 받는다. 여기서 보는 것은 효능을 포함하여 몸에 흡수되는지, 간에서 너무 빨리 분해되지 않는지, 심장 리듬에 위험 신호를 주지 않는지, 제조가 가능한지까지 한꺼번에 따진다. 

이 묶음을 ADMET라고 부른다. Absorption(흡수), Distribution(분포), Metabolism(대사), Excretion(배설), Toxicity(독성)의 약자다. 문제는 이 조건들이 서로 싸운다는 점이다. 

잘 붙게 만들면 독성이 올라가기도 하고 독성을 낮추면 효능이 빠지기도 한다. 그래서 2025년 트렌드는 “한 번 만들어 끝”이 아니라 생성→평가→수정 루프를 수십 번 돌리는 다목적 최적화로 가고 있다. 

강화학습 같은 방법을 붙여 “점수를 올리는 방향의 수정”을 반복하기도 하고 실제 실험 결과를 다시 학습 데이터로 넣어 다음 라운드 분자가 더 현실적으로 나오게 만들기도 한다.

현장에서 “이게 진짜 돈이 되는가”를 판단하는 기준은 결국 임상 성적이다. 임상은 사람 대상으로 약을 시험하는 단계다. 그래서 임상 이전의 AI 설계가 의미가 있으려면 사람에서 통과한 사례가 쌓여야 한다. 

이 부분에서 상징적인 발전이 있었다. 타케다가 인수한 Nimbus 계열 자산 중 하나인 건선 치료 후보 zasocitinib이생성형 AI를 적극 활용하여 개발되었고, 2025년 12월 후기 임상 단계 시험에서 성공했다는 발표가 나온 것이다.

zasocitinib은 TYK2 억제제 계열로 알려져 있다. TYK2는 면역 반응을 조절하는 신호전달에 관여하는 단백질이라 과도한 염증이 문제인 건선 같은 자가면역 질환에서 중요한 표적이다. 제약사가 이 계열에 집착하는 이유도, 효과가 나오면 시장이 크고 기존 치료제의 부작용이나 투여 편의성 문제를 파고들 여지가 있기 때문이다. 

또 다른 흐름은 빅파마가 AI 회사를 ‘협력 파트너’가 아니라 ‘엔진 공급자’로 대우하는 장면이다. 2025년 초 노보 노디스크는 Valo Health와의 협력 확대를 발표하며 더 많은 프로그램을 함께 추진한다는 방향을 공개했다. 

이런 계약은 “분자를 만들어 달라”보다 앞단을 겨냥하는 경우가 많다. 어떤 표적을 잡아야 성공 확률이 높은지, 어떤 환자군에서 약효가 잘 나올지, 어떤 바이오마커로 임상을 설계해야 실패를 줄일지 같은 판단을 데이터와 모델로 보강하는 형태다. 임상 전이라고 하지만 사실상 임상 설계의 초기까지 이어진다.

구조 예측 쪽에서는 Isomorphic Labs 같은 팀이 존재감을 키웠다. 단백질과 리간드가 어떤 모습으로 결합하는지 예측하는 역량이 올라가면 붙을 만한 분자를 더 빨리 만드는 것이 아니라 붙는 방식이 납득되는 분자만 만들어서 실험 비용을 줄이는 것으로 의미가 바뀐다. 

제약사가 비용을 아끼고 시간을 줄이는 가장 간단한 방법은 실패를 빨리 확정하는 것이다. 

생성형 AI는 실패를 앞당기는 도구로 쓰인다. 후보물질을 많이 만드는 것보다 중요한 것은 실험 가능한 수십 개로 압축하는 능력이다. 그래서 2025년 현장에서는 생성 모델과 함께 합성 가능성 평가가 패키지로 붙는 경우가 늘었다. 

합성 가능성은 이 구조를 실제 화학 공정으로 만들 수 있는가를 점수로 매기는 작업이다. 아무리 멋진 구조라도 실제로 만들 수 없으면 쓰레기에 불과하다. 생성형 AI는 이 현실 규칙을 학습하거나 별도 필터로 통과시키며 점점 ‘실험실 친화적’으로 바뀌고 있다.

단백질 치료제나 항체 영역에서도 생성형 AI는 빠르게 확장되고 있다. 소분자는 작은 분자 조각을 설계하는 일이라면 단백질 치료제는 아미노산 서열 자체를 설계하는 일이다. 

서열이 바뀌면 형태가 바뀌고 형태가 바뀌면 표적에 붙는 방식이 달라진다. 여기에 안정성, 응집, 면역 반응 유발 가능성 같은 조건이 같이 따라온다. 이런 다중 조건 설계는 인간이 감으로 하기에 한계가 크다. 

그래서 제약 및 바이오 부문에서의 생성형 AI는 “결합력은 높이고 면역원성 위험은 낮추는 서열” 같은 목표를 가지고 후보를 만들고 실험으로 검증한 결과를 다시 학습시키는 루프가 천천히 산업화되고 있다. 앞으로의 발전 방향성을 주목해볼 만 하다.