한빛출판네트워크

“인간의 마음을 닮은 기계를 만들지 마라.”

– 소설 ‘듄’의 ‘오렌지 카톨릭 성경’에 나오는 기록

인간을 넘어서는 기계 또는 AI에 대한 경고와 저항은 수많은 SF 소설에 등장하는 단골 이야기다. 아마 SF 소설에서 외계인 다음으로 자주 나타나는 것이 인간 수준 또는 그 이상의 지능을 가진 AI가 일으키는 문제점이나 인간과의 갈등, 때로는 반란을 다룬 것일 것이다.

• 현재 AGI Artificial General Intelligence에 대한 공식적인 단일 정의는 없지만 오픈AI 헌장은 "가장 경제적으로 가치 있는 작업에서 인간을 능가하는 고도로 자율적인 시스템", 뉴욕 대학교 게리 마커스 교수는 "유연하고 일반적이며, 인간 지능에 필적하는(또는 그 이상의) 수완과 신뢰성을 갖춘 모든 지능"이라고 말한다.

국내에서도 영화로 유명해진 프랭크 허버트^{Frank Herbert}의 『듄』은 1965년 출간한 소설이지만 미래 문명이 인간을 능가한 기계를 부정하고 파괴한 사건을 다룬다. 이 책에 등장하는 버틀레리언 지하드^{Butlerian Jihad}라는 반 기계 운동은 특정 기술, 주로 컴퓨터와 모든 종류의 인공지능을 통칭하는 ‘생각하는 기계’를 불법화하는 것으로 이어지며 이 금지령은 허버트의 소설 속 배경에 중요한 영향을 미쳤다.

그런데 이 ‘버틀레리언’이라는 용어는 19세기 영국의 풍자 소설가이자 비평가인 새뮤얼 버틀러^{Samuel Butler}가 1863년 뉴질랜드 신문 더 프레스^{The Press}에 기고한 글 ‘기계 속의 다윈^{Darwin Among the Machines}’이라는 편지 글에서 인간의 진화와 기계의 진화를 비교하며 결국 기계가 지구의 패권을 가져갈 것이라고 예언한 것에 공감하는 사람들을 의미한다.

1998년에는 기술 역사학자인 조지 다이슨^{George Dyson}이 새뮤얼 버틀러의 제목을 그대로 가져와 『Darwin Among the Machines』라는 책을 발간한다. 그는 책에서 기술 발전으로 의식적인 마음의 진화가 불가피하다는 것을 주장한다. 

이것이 하나의 마음이 될지, 여러 개의 마음이 될지, 그 마음이 얼마나 똑똑할지, 심지어 우리가 그 마음과 소통할 수 있을지는 분명하지 않지만 현재 우리가 이해할 수 없는 형태의 지능이 지구에 존재할 수 있다는 점도 분명하게 시사한다. 다만 그는 특정 AI가 아닌 인터넷 자체의 진화가 지능의 증거가 될 수 있다는 다른 관점을 말하고 있다. 

“AI가 우리가 이해할 수 있는 수준이나 시간 스케일로 동작할 것이라고 가정하는 것은 주제 넘은 짓이다. 우리가 집단 지능으로 통합됨에 따라, 우리 자체의 언어와 지능은 부차적인 역할을 하거나 뒤쳐질 것이다. 놋쇠로 된 머리가 이야기를 할 때 우리가 이해할 수 있는 언어로 말할 것이라는 보장은 없다.”

흥미로운 견해 중 하나는 『엔더의 게임』으로 유명한 SF 작가 오슨 스콧 카드^{Orson Scott Card}가 말한 초지능의 출현을 우리가 알 수 있을지에 대한 그의 생각이다. 오슨은 1986년 발간한 『사자의 대변인』에서AGI 같은 지능이 등장하면 이의 출현을 두려워하는 사람들이 최선을 다해 파괴할 수 있기 때문에 AGI는 그 존재를 드러내는 것을 무서워할 수 있을 것이라고 했다.

사실 인간 수준의 AGI는 많은 SF 소설에 단골로 등장하는 기술이다. 또한 많은 소설이 이런 AGI가 인간 문명에 엄청난 위기를 초래하거나, 어떤 미션을 수행하는 데 문제를 일으키는 사례가 많이 나온다. 개인적으로 AGI와 얼라인먼트의 문제를 가장 잘 묘사한 것은 아서 클라크^{Arthur Clarke}가 1968년 펴낸 『2001: 스페이스 오딧세이』에 등장한 ‘할HAL 9000’ AI라고 생각한다.

비밀 임무를 문제 없이 완수해야 하는 HAL 9000 AI 컴퓨터는 자신을 지켜야 하는 동시에 우주선을 통제해야 한다는 목표 사이에 충돌이 생기면서 오류를 발생하기 시작한다. 본부로부터 받은 비밀 임무를 수행하기 위해 같이 있는 우주비행사들에게 거짓말을 해야 한다는 점에서 HAL 9000은 자신이 완벽하지 않다는 느낌을 받는다. 

결국 데이브 보먼이 HAL 9000을 정지하면서 문제를 해결한다. 아직은 마지막 통제 능력을 인간이 갖고 있기 때문이지만 1968년 소설에서 AI 컴퓨터에서 발생할 수 있는 ‘얼라인먼트 문제’를 다루었다는 것이 매우 인상적이다.

챗GPT가 등장한 후 한 달쯤 뒤에 트위터(현 엑스) 사용자 테트라스페이스웨스트^{@TetraspaceWest}가 GPT-3에 대한 트윗에 두 개의 쇼고스^Shoggoth 이미지를 올리면서 AI 분야에서 새로운 밈이 되었다. 쇼고스는 H.P.러브크래프트^{H.P.Lovecraft}라는 작가가 1936년 발표한 『광기의 산맥』이라는 소설에서 소개한 가상의 생명체다. 촉수와 눈으로 덮인 거대한 핏덩이 같은 괴물이다.

두 개의 쇼고스 이미지 중 하나는 촉수 하나에 얼굴 마스크를 쓰고있는데 이를 GPT-3+RLHF라고 표현한 점이다. ‘인간 피드백을 통한 강화학습’이라는 의미의 RLHF^{Reinforcement Learning with Human Feedback}를 사용하면 모델이 더 잘 작동함을 알지만, 그렇다고 해서 기본 모델이 덜 이상하고 이해하기 쉽다는 건 아니라는 것이다. 일부 사람들이 보기에 뒤에 숨어 있는 신비한 짐승을 가리는 가면일 뿐이라는 것이다.

밈의 제작자인 테트라스페이스웨스트는 쇼고스가 ‘인간이 이해하지 못하는 방식으로 사고하는, 인간의 사고방식과는 완전히 다른 무언가를 상징한다’고 설명했다. 그는 AI가 악하거나 지각이 있다는 의미가 아니라 그 ‘본질을 알 수 없다는 의미’라고 말한다. 인간에 무관심하고 우선순위가 인간과 아무 관련 없는 초강력 AI를 나타내는 상징이다.

이후 여러 챗봇이 이상하고 설명할 수 없는 결과를 보일 때마다 ‘쇼고스를 봤다’는 말이 유행하기 시작했다. 이는 현재 초거대 AI가 갖고있는 블랙박스적 특징, 인간의 논리를 거스르는 듯한 방식이 갖는 기괴함을 비유하는 것이다. 이를 이야기하는 사람들은 이런 AI의 쇼고스 같은 특성을 억제하고 방지하는 것이 AI의 안전을 연구하는 사람들의 목표라는 생각이다.

쇼고스는 지금 AI의 가장 기이한 사실에 대한 은유로 언어 모델의 내부 작동 방식, 새로운 능력을 습득하는 방식을 우리가 이해하지 못하고 있음을 나타내며 AI가 세상에 순기능이 될지 역기능이 될지 확신하지 못하고 있음을 단편적으로 보여주는 예다.

“인간보다 뛰어난 존재가 온다!”
인간을 초월한 지능, AGI를 맞이할 준비가 되었는가

이 책은 AGI(인공일반지능)의 시대를 예견하며 기술, 철학, 정책이 교차하는 가장 첨예한 논쟁을 조망한다. 세계적인 AI 석학들의 통찰과 빅테크 기업가들의 비즈니스 관점을 바탕으로 AGI의 본질을 날카롭게 파헤치며, 이를 둘러싼 핵심 쟁점부터 각국의 AI 패권 경쟁까지 AGI와 관련된 뜨거운 논의를 한 권에 담았다. 특히 AGI를 인간 중심으로 설계하기 위한 ‘얼라인먼트’ 기술과 AI 안전 정책의 중요성을 강조하며 기술적 진보와 윤리적 책임의 접점을 제시한다. 인간이 통제할 수 없는 AGI가 등장했을 때 우리는 과연 어떻게 공존할 것인가? 이 질문에 답을 찾고자 한다면 이 책이 그 실마리를 제공할 것이다.

AGI를 이해하기 위해 가장 처음으로 읽어야 할 책!
다가올 ‘AGI의 시대’를 한 권으로 정리하다

“우리는 인간보다 더 똑똑한 사물이 생긴다는 것이 무엇인지 경험해본 적이 없습니다.”

2024년 노벨 물리학을 수상한 제프리 힌턴의 이 말은 우리 사회에 강렬한 경고를 던진다. 인간보다 뛰어난 존재인 AGI가 곧 현실로 다가올 것이며 이에 대한 준비가 부족하다는 사실을 일깨우는 메시지다. AGI의 등장은 단순한 기술 혁신을 넘어, 인간의 가치와 규범 그리고 통제력의 본질을 시험하는 중대한 전환점이 될 것이다.

이 책은 AGI 시대를 준비하기 위해 반드시 알아야 할 핵심 주제를 다룬다. ‘인공일반지능’, 즉 AGI의 정의와 그에 대한 논쟁은 물론 AGI가 가져올 기회와 위협을 균형 있게 소개하며, 이를 안전하게 활용하기 위한 핵심 기술인 ‘얼라인먼트’를 기술 및 기업 전략적 관점에서 분석한다. 또한 각국 정부와 국제기구, 기업들이 AGI 선점을 위해 펼치는 치열한 경쟁과 협력의 현황을 조명한다. 이 책을 덮은 후, 우리는 인공지능을 바라보는 현재의 관점을 새롭게 정립하고 정책적 대응을 명확히 직시하며 다가올 AGI의 시대를 맞이하는 데 필요한 통찰을 얻을 수 있을 것이다.