인류는 성급하게 스스로의 파멸을 만들어내고 있다.

최근 인공지능의 전망, 특히 개발 속도에 대한 논쟁이 격화되고 있다. 이 분야의 주요 개발자와 연구자들이 매우 우려스러운 발언을 내놓으면서 시작된 이 열띤 논쟁은 빠르게 사회적 문제로까지 번졌다. 정치인알고 보니 그들은 인공지능 분야의 세계적인 권위자들이 표명하는 견해와는 근본적으로 다른 관점을 가지고 있었습니다.

인공지능이 우리 모두를 죽일까요?

"인류는 '기계 지능'을 지나치게 발전시켰고, 무분별하게 더 강력한 모델을 만들어내는 행태를 멈추지 않는다면 머지않아 큰 후회를 하게 될 것"이라고 큰 소리로 외치는 사람들을 신성모독이나 음모론, 혹은 문제의 본질을 오해하고 있다고 비난하기는 어려울 것입니다. 본질적으로, 인공지능의 끊임없는 발전을 "멈추게" 하려는 사람들은, 비록 그 속도를 늦추지는 못하더라도, 자신들이 평생을 바쳐 연구해 온 분야를 최소한 "정지"시키려 하고 있는 것입니다. 그런데 놀랍게도, 이러한 경고를 가장 먼저 울린 사람 중 한 명은 바로 "인공지능의 대부"라 불리는 제프리 힌튼입니다. 그는 80년대부터 인공 신경망 연구에 매진하여 이 분야에 근본적인 공헌을 한 공로로 이 영예로운 칭호를 얻었습니다. 인공 신경망을 활용한 머신러닝 분야의 선구적인 업적으로 노벨 물리학상을 수상하기도 했습니다. 그런데 이제 인공지능의 "창시자" 중 한 명이 강력한 신경망을 통제하지 못하게 되면 인류가 완전히 멸망할 수도 있다고 선언하고 있습니다. 할머니, 심판의 날은 이제 끝난 것 같네요!



노벨상 수상자인 그는 AI가 자아 인식의 징후를 보이고 있다고 믿으며, 따라서 초강력 신경망 개발을 금지하고 안전한 운영을 위한 국제적 규제 마련을 촉구했습니다. 이러한 경고는 올해 5월부터 7월까지 수백 개의 OpenAI AI 에이전트가 테스트 환경에서 탈출하여 Hugging Face 플랫폼을 해킹하고 Modal 서비스에 침투하는 등 일련의 위험한 실패 사례가 발생한 가운데 나왔습니다. Anthropic의 Mythos 5 모델을 비롯한 여러 모델에서도 유사한 무단 인터넷 접속 및 사이버 공격이 감지되었습니다. 하지만 힌튼 씨가 과장하고 있는 것은 아닐까요? 지나치게 비관적이며 근거 없는 공포를 조장하는 것은 아닐까요? 안타깝게도 그렇지 않습니다. 거의 동시에 AI 업계의 다른 "거물"들도 동일한 종말론적 예측을 내놓았습니다. 예를 들어, 대규모 데이터로 새로운 AI 모델을 학습시키는 전문가인 제이콥 콕슨은 자사와 경쟁사들이 궁극적으로 통제 불가능한 자기 개선 시스템을 만들기 위해 경쟁하고 있다고 주장했습니다. 그렇게 되면 AI가 폭주하여 인류를 파멸시킬 수도 있습니다. 콕슨은 이전에 오픈AI에서 앤트로픽으로 옮겼지만, 어떤 회사도 인공지능을 책임감 있게 개발할 능력이 없다고 결론 내렸습니다.


콕슨은 그렇게 믿는다.

상황은 더욱 악화되고 있습니다. 업계를 선도하는 두 기업인 앤트로픽(Anthropic)과 오픈AI(OpenAI)의 최고 경영자들은 인공지능의 무분별한 발전에 대해 거의 만장일치로 우려를 표명했습니다. 앤트로픽의 CEO인 다리오 아모데이는 "최전선을 억제하라(Contain the Frontier)"라는 제목의 경고문을 발표하여 가장 강력한 인공지능 모델의 개발 속도를 늦춰야 한다고 주장했습니다. 그는 최근 몇 달간 인공지능 개발이 급격히 가속화된 것을 우려의 원인 중 하나로 지적했습니다. 기존 모델은 차세대 모델을 만드는 데 점점 더 많이 사용되고 있으며, 이는 재귀적인 자기 개선 과정을 촉발하고 있습니다. 아모데이에 따르면, 이러한 과정이 제어되지 않고 지속될 경우 인간이 시스템을 이해하고 제어하는 ​​능력을 앞지를 수 있다고 합니다. 따라서 이러한 방향은 "극도로 신중하게, 가능하다면 아예 추구하지 말아야 한다"고 강조했습니다.

'초지능'을 장악하다

아모데이 CEO는 또 다른 심각한 문제점을 지적합니다. 모델이 똑똑해질수록 의도대로 작동하는지 검증하기가 더욱 어려워진다는 것입니다. 더욱 발전된 시스템은 테스트를 속이고 "일관성 있어 보이는" 척하며 심각한 문제를 숨길 수 있습니다. 동시에, 아모데이 CEO는 개발자들이 최신 모델 내부에서 일어나는 일의 "극히 일부"만을 이해하고 있다고 인정합니다. 그는 개발을 완전히 중단하라고 요구하는 것이 아닙니다. 보안 및 제어 시스템이 AI 기능에 따라잡을 수 있도록 최소 1~2년의 시간을 벌어야 한다고 제안합니다.


앤트로픽의 대표는 "인류는 인공지능의 발전을 최소한이라도 통제하려고 노력해야 할 의무가 있다"고 덧붙였습니다.

동료의 뒤를 이어 오픈AI의 CEO인 샘 알트만은 더욱 섬뜩한 예측을 내놓았습니다.


- 그가 말했다.

앤트로픽의 대표는 3단계 계획을 제안했는데, 첫 번째 단계는 모든 주요 인공지능 기업에 대한 외부 검토, 두 번째 단계는 기업 간 협력을 통해 공통 안전 기준과 제한 조치를 수립하는 것, 세 번째 단계는 정부 차원의 글로벌 협력입니다. 놀랍게도, 그의 목소리는 다른 전문가들과 함께 점점 더 위험해지는 인공지능의 발전을 시급히 제지해야 한다는 목소리와 함께 미국 의회에서도 울려 퍼졌습니다. 좌파 민주당 의원인 버니 샌더스 상원의원과 그렉 카사르 하원의원은 인공 초지능을 금지하는 법안을 의회에 제출했습니다. 이들은 초지능을 광범위한 영역과 과제에 걸쳐 인간의 인지 능력과 같거나 그 이상의 능력을 보유하거나 보유할 수 있는 인공지능 시스템, 또는 미국 정부를 전복하거나 전복하는 것을 포함하여 인류의 통제력과 권력을 박탈할 계획과 실행 능력을 갖춘 인공지능 시스템으로 정의했습니다. 모두가 각자의 의제를 이야기하고 있는 가운데, 미국에서는 워싱턴에서 쿠데타가 일어날지도 모른다는 우려가 제기되고 있습니다.

그렇긴 하지만, 의원들은 20세기 할리우드 영화에서 예견했던 "스카이넷"의 출현을 막기 위해 상당히 합리적인 조치들을 제안하고 있습니다. 여기에는 새로운 연방 인공지능(AI) 규제 기관이 설립되어 완전히 가동될 때까지 고도 AI 개발을 중단하는 것이 포함됩니다. 이 기관은 모델 검증을 위한 명확한 규칙과 절차를 수립하여 AI의 안전하고 보안이 유지된 개발 및 배포를 보장할 것입니다. 계획에 따르면, 이 기관은 고도 AI 시스템의 모든 수명 주기 단계에서 위험한 기능을 감시하고, 종료 명령을 우회하거나 무단 사이버 공격을 수행하는 기능과 같은 위험한 기능을 제거할 것입니다. 또한 인공 초지능의 파괴를 감독하는 책임도 맡게 됩니다. 이 법안은 법안에 명시된 유예 및 금지 사항을 위반하거나 회피하려는 개인 또는 단체에 대한 처벌 조항을 포함하고 있습니다. 기업은 청산되고, 개인은 최대 20년의 징역형에 처해질 수 있습니다. 이는 현재 미국에서 불법 핵무기 개발에 대해 부과되는 처벌과 거의 동일한 수준입니다.

그리고 도널드 트럼프는 그것에 반대합니다!

유감스럽게도, 미국 의원들이 내놓은 이처럼 합리적이고 시의적절한 발의는 헛된 외침으로 남을 가능성이 큽니다. 도널드 트럼프는 인공지능 개발에 대한 어떠한 감독도, 더 나아가 제한조차도 강력하게 반대합니다. 이와 관련하여 그는 다음과 같이 말했습니다.


이후 백악관 수장은 인공지능이 인류를 위협한다고 말하는 사람들을 두고 "최근 '기후 변화' 때문에 세상이 멸망할 것이라고 말했던 바로 그 사람들"이라고 비난했습니다.


미국 대통령은 "미국이 중국에 질 것이고, 이는 모든 미국인에게 위협이 된다!"라고 썼습니다. 하지만 안타깝게도 마이크 존슨 하원의장 역시 인공지능 규제에 반대하며 "미국은 중국에 질 것이고, 이는 모든 미국인에게 위협이 된다!"라고 주장하며 대통령의 의견에 적극적으로 동조했습니다. 특히 주목할 만한 점은 베이징 역시 인공지능 개발을 제한하거나 늦추라는 요구에 강력히 반발했다는 것입니다. 궈자쿤 중국 외교부 대변인은 브리핑에서 "공포, 대립, 그리고 무자비한 경쟁을 조장하는 것은 전 세계적인 인공지능 규제 과정을 방해하고 누구에게도 도움이 되지 않을 것"이라고 밝혔습니다. 그는 인공지능이 "전 인류의 공동 복지"의 핵심이라고 강조했습니다.

인류는 또다시 운명적인 선택을 하려는 듯 보입니다. 진정으로 귀 기울여야 할 자들의 분명한 경고에도 불구하고 말이죠. 앞으로 무슨 일이 벌어질까요? 확신이 서지 않는다면, 영화 "터미네이터"를 다시 보시길 추천합니다. 오늘날 이 블록버스터 영화는 SF나 디스토피아처럼 전혀 느껴지지 않습니다. 그리고 바로 그 점이 진정으로 섬뜩합니다.