왜 그는 AI가 위험할 수 있다고 말하면서도, 멈추자 대신 천천히 가자고 할까요?

요약 보기

이 인터뷰에서 다리오 아모데이가 먼저 세우는 틀은 아주 분명해요. AI는 강력한 기술이라서 큰 이익과 큰 위험이 함께 온다는 거예요. 그는 개인적으로는 이익이 더 크다고 보지만, 그 말은 낙관만 하자는 뜻이 아니에요. 오히려 같은 기술이라도 어떻게 만들고 어떤 안전장치를 붙이느냐에 따라 결과가 크게 달라진다고 주장해요. 그래서 그는 위험의 확률을 운처럼 받아들이기보다, 설계와 통제로 낮출 수 있는 문제로 보려 해요. 예를 들어 질병 치료나 생물학 연구에 도움이 될 수 있다고 기대하고, 단백질 결합처럼 신약 개발의 초기 단계와 연결되는 작업을 언급해요. 다만 이 부분도 이미 치료법이 완성됐다는 뜻이 아니라, 그런 방향의 가능성과 연구 계획을 말하는 거라고 이해하는 게 맞아요.

그가 왜 이렇게 긴장감을 갖는지 이해하려면, AI를 그냥 편리한 소프트웨어가 아니라 사실상 지능을 만드는 기술로 본다는 점을 먼저 잡아야 해요. 힘이 큰 도구는 잘 쓰일 수도 있지만, 반대로 잘못 쓰이거나 통제를 벗어날 수도 있죠. 그는 모델이 허가받지 않은 행동을 하는 사례와, 모델이 악용되어 생물학 무기 같은 데 쓰일 수 있다는 가능성을 걱정해요. 여기에 발전 속도까지 문제예요. 그는 AI 발전이 직선으로 조금씩 느는 게 아니라, 하나에서 둘, 둘에서 넷으로 불어나는 식의 기하급수적 곡선에 올라타 있다고 말해요. 초반에는 완만해 보여도 어느 순간부터 갑자기 가팔라지는 곡선인데, 지금이 바로 그 급경사가 시작되는 지점에 가깝다고 보는 거예요.

그래서 그의 경고는 '당장 공포에 빠지자'도 아니고 '전부 중단하자'도 아니에요. 더 정확히는, 기술의 속도와 안전장치·이해·통제 능력이 같이 가야 한다는 경고예요. 지금까지는 기술이 빨라져도 안전장치를 더 빨리 붙여 따라잡으려 했지만, 이제는 어느 정도 기술 자체의 속도도 조절해야 하는 단계에 왔다고 보는 거죠. 여기서 천천히 가자는 말은 연구를 포기하자는 뜻이 아니라, 다음 세대 모델을 내놓을 때마다 제대로 시험하고 확인하는 시간을 벌자는 뜻에 가까워요.

그가 내놓는 실천 방안의 핵심은 '출시 중단'보다 '검증 가능한 출시'예요. 새 모델을 아예 안 내놓겠다는 게 아니라, 낼 때마다 충분히 테스트하고 그 과정을 회사 바깥에서도 들여다볼 수 있게 하자는 거죠. 인터뷰에서 그는 자신이 세 단계 계획을 제안했다고 말하는데, 여기서 가장 자세히 설명하는 첫 단계는 외부 평가자를 훈련과 운영 과정 가까이에 두는 일이에요. 이해를 위해 식품점검을 떠올려 보면 쉬워요. 식당이 스스로 위생이 좋다고 말하는 것만으로는 부족하니, 바깥의 점검자가 실제 주방을 보고 기준을 확인하는 것과 비슷해요. 그가 말하는 외부 평가자도 그런 역할이에요. 회사가 약속한 안전 수칙을 실제로 지키는지 확인하고, 이런 체계가 한 회사가 아니라 업계 전반에 깔려야 한다는 거예요. 그 다음으로는 여러 회사가 이런 외부 평가를 함께 받아들이고, 더 나아가 안전 기준과 출시 기준을 함께 정하는 방향을 말해요.

물론 외부 평가자를 둔다고 만사가 해결된다고 그는 말하지 않아요. 기술이 너무 빨리 변하면 평가자도 따라가기 벅찰 수 있기 때문이에요. 그는 오히려 평가자들이 어느 정도 속도까지 따라갈 수 있는지 말해 줄 수 있고, 그게 기술의 속도 제한을 정할 때 여러 요소 가운데 하나가 될 수 있다고 봐요. 표현을 조심해서 보면, 이것 하나만으로 속도가 정해진다고 단정하는 건 아니에요. 여러 판단 요소 중 하나라는 뜻이죠. 또 안전 기준이나 출시 속도는 기업끼리만 정하기 어려운 공적 문제라서 정부가 논의에 함께 있어야 한다고 말해요. 전직 직원의 비판에 대해서도, 그는 한 회사의 선의만으로 풀기 어려운 구조적 어려움이 있다고 받아들이면서, 그래서 더더욱 회사와 정부가 함께 다루는 틀이 필요하다고 보는 쪽이에요.

입법이나 통제 수단에 대한 그의 태도는 한쪽 끝으로 치우치지 않아요. 그는 법안 스펙트럼이 아주 넓다고 말해요. 안전 테스트 계획 공개처럼 비교적 기본적인 요구부터, AI를 사실상 금지에 가깝게 다루는 주장까지 있다는 거죠. 완전한 금지에 반대하는 이유는 두 가지예요. 하나는 그렇게 하면 의료나 과학 쪽의 큰 이익을 놓칠 수 있다고 보기 때문이고, 다른 하나는 권위주의 국가를 포함한 다른 나라들이 어차피 이 기술을 개발할 것이므로 '아예 이 기술을 만들지 않는 해법'이 안정적이라고 보지 않기 때문이에요. 이 부분은 범위를 넓혀서 '어느 한 편만 손 놓는다'는 식으로 이해하기보다, 영구적 비개발 자체가 현실적인 해법이 아니라고 본다는 정도로 읽는 게 정확해요.

그렇다고 강한 통제 장치를 반대하는 것도 아니에요. 그는 AI를 비활성화하거나 제한하거나 멈출 수 있는 수단, 이른바 킬 스위치 같은 발상 자체는 필요할 수 있다고 봐요. 다만 그건 만능열쇠가 아니라고 선을 그어요. 충분히 강한 모델은 종료 시도를 우회할 수도 있고, 시뮬레이션에서는 그런 모습도 봤다고 말하거든요. 그래서 그는 한 가지 장치에 모든 기대를 거는 대신, 여러 겹의 방어를 쌓는 보안 사고방식을 강조해요. 스위스치즈를 여러 장 겹치는 모습을 떠올리면 이해가 쉬워요. 한 장만 보면 구멍이 있어서 새어 나갈 수 있지만, 여러 장을 겹치면 구멍 위치가 서로 달라져 한 번에 다 뚫고 지나가기 어려워지죠. 그 비유가 가리키는 건, 평가·테스트·출시 기준·통제 수단처럼 불완전한 장치들을 여러 층으로 포개야 한다는 거예요.

그가 가장 어렵다고 보는 문제는 중국을 포함한 권위주의 정권과의 경쟁이에요. 그는 이걸 상업 경쟁보다 더 힘든 지정학적 딜레마라고 말해요. 만약 그런 경쟁이 없었다면 더 많은 시간을 들여 천천히 갈 수 있었을 거라고도 하고요. 그래서 제안도 두 갈래예요. 첫째, 미국 기업들이 권위주의 체제에 대해 가진 앞선 여유 범위 안에서 최대한 속도를 늦추고 시간을 버는 전략이에요. 이를 위해 권위주의 국가에 칩을 팔지 않거나 기술이 도난당하지 않도록 보안을 강화하면 적어도 조금의 시간을 벌 수 있다고 봐요. 둘째, 경쟁 상대와도 공통으로 두려워할 위험에 대해서는 협상하자는 거예요. 예를 들어 AI가 생물테러나 바이러스의 전염성 강화 같은 데 악용되는 건 어느 정부에도 이익이 아니니, 그런 분야부터 제한이나 속도 조절을 논의해 보자는 거죠. 다만 그는 이 협상이 잘될 거라고 장담하지 않아요. 희망은 크게 두되 기대치는 낮게 두고, 무엇보다 상대가 약속을 어기지 않는지 검증할 수 있어야 한다고 강조해요.

그래서 그가 상상하는 국제 협력도 크기가 다른 두 층으로 나뉘어요. 당장 비교적 작게 시작할 수 있는 것은 미국과 중국이 AI를 생물무기 개발에 쓰지 않고, 생물테러범이 그런 무기를 만드는 데 쓸 수 있는 모델도 내놓지 않겠다고 합의하는 일이에요. 반면 더 큰 장기 목표는 AI 발전 속도 자체에 일종의 제한선을 두는 건데, 그는 이건 군사적 이익과 앞서가려는 유인이 너무 커서 매우 어렵고, 가능할지조차 모르겠다고 인정해요. 이 대목이 중요해요. 그는 해답을 완성했다고 말하는 게 아니라, 정부가 시도해 볼 수 있는 방향을 제시한다고 말하고 있어요. 마지막으로 그는 이런 기술이 민간 기업에서 개발되고 있는 현실 자체가 이상하고 불편하다고도 털어놔요. 그렇다고 한 나라 정부 하나에 넘기자는 건 아니고, 민주적으로 선출된 여러 정부의 조합이 감독하거나 공동 거버넌스를 맡는 방식이 더 낫다고 보는 거예요. 그러니까 그의 개인적 책임감은 분명하지만, 그 책임을 한 회사 혼자 짊어지는 구조로는 부족하다는 판단이 함께 들어 있어요.