의문의 종이 클립 사건 1년 후 오픈AI CEO 샘 올트먼은 이사회에서 전격적으로 해임됐다. 종이 클립은 오픈AI 사태의 전조였다. 올트먼은 닷새만에 CEO로 돌아왔지만 여진은 계속될 전망이다.
‘종이 클립’은 인공지능(AI) 연구자들에게는 ‘파멸의 징표’다. 오픈AI 이사회 멤버 중에는 이 사건을 보고 “행동해야 한다”고 생각한 이들이 있었을 지도 모른다.
# 샘 뱅크먼 프리드(SBF)를 사로 잡은 철학 : 효율적 이타주의
올트먼을 축출한 오픈AI 이사회 멤버들을 이해하기 위해서는 한 가지 철학 사조를 먼저 알아야 한다.
호주 출신 철학자 피터 싱어(Peter Singer) 프린스턴 대학 교수는 윤리적 질문 하나를 던졌다. “10만 달러가 있다. 말라리아 백신 연구를 위해 기부할 것인가, 오페라에 기부할 것인가?”
.jpg)
호주 철학자 피터 싱어. 자료=위키피디아
최대한 많은 생명을 구할 수 있고, 인류 공영을 위해 이 순간 할 수 있는 것이 무엇인지 생각해보라는 화두다. ‘효율적 이타주의(Effective Altruism)’로 명명된 싱어의 철학은 IT 기술로 큰 돈을 번 실리콘밸리의 부자들에게 강력한 공명을 일으켰다.
“기술이 인류 전체의 행복을 위해 쓰이기 위해서는 어떤 것을 먼저 해야할 것인가”를 고민하기 시작한 것.
EA 철학에 공감한 이들은 두 가지 특징이 있었다.
첫째, 수학(기술)에 대한 확신이다. 이들은 합리주의자다. 수학이 옳고 그름에 대한 까다로운 질문에 답해줄 것이다.
둘째, 물질(돈) 보다는 인간, 나아가 생명에 더 큰 가치를 둔다. 싱어는 채식주의자이고, 동물권의 주창자이기도 하다.
EA에 깊이 빠진 대표적인 인물 중 하나가 바로 샘 뱅크먼 프리드(SBF)였다.
# 기술, 돈, 그리고 AI
EA 철학은 샌프란시스코 실리콘밸리, 베이 에어리어의 부자들 사이에서 확산하기 시작했다. 일론 머스크와 같이 페이팔을 만든 피터 틸은 2013년 ‘합리주의 그룹 하우스’에서 주최된 연례 EA 정상 회담에서 기조 연설을 했다.
이더리움 창시자 비탈릭 부테린은 EA 운동에 돈을 기부했다. 페이스북 공동 창립자 더스틴 모스코비츠(Dustin Moskovitz)는 EA 비영리 단체인 오픈 필란트로피(Open Philanthropy)에 자금을 댔다. 이 단체가 받은 보조금은 2015년 200만 달러에서 2021년에는 1억 달러 이상으로 증가했다.
FTX가 파산하기 전까지 SBF는 EA 운동에 거의 6억 달러의 기부금(또는 투자금)을 낸 최대 후원자였다.
EA 철학에 기반한 단체로는 이펙티브 벤처스(Effective Ventures), 8만시간(80,000 Hours) 등이 있다. 8만시간은 EA를 신봉하는 이들을 위한 직업 조언 팟캐스트로 유명하다.
오픈AI 이사회 멤버 중 타샤 맥컬리(Tasha McCauley), 헬렌 토너(Helen Toner)는 이들 EA 단체와 관련이 있다. 맥컬리는 이펙티브 벤처스와 8만시간 이사회에서 활동했고, 토너는 오픈 필란트로피에서 근무했다.
오픈AI 전 이사 타샤 맥컬리(Tasha McCauley)
오픈AI 전 이사 헬렌 토너(Helen Toner)
그렇다면 EA 철학과 운동 단체들은 AI를 어떻게 볼까?
# MIRI와 초지능
부자들의 지원을 받은 오픈 필란트로피는 2019년 MIRI라는 단체에 770만 달러를 재기부했다. 부테린도 500만 달러 상당의 현금과 암호화폐를 기부했다.
MIRI(Machine Intelligence Research Institute)는 초지능 인공지능이 인간을 능가하는 특이점과 그 위험성을 연구하는 단체다. 이 단체의 초기 연구 자금은 피터 틸과 스카이프 공동 창립자인 얀 탈린(Jaan Tallinn)이 댔다.
MIRI를 주도적으로 만든 인물은 일라이저 유드코브스키(Eliezer Yudkowsky)다. 1979년 시카고에서 태어난 유드코브스키는 현대 정교회 유대교를 포기하고 무신론자가 됐다.
일라이저 유드코브스키(Eliezer Yudkowsky)
그는 고등학교를 마치지 못했다. 10대 후반에 기술 진보가 필연적으로 초인적인 지능으로 이어진다는 특이점 이론을 접하고, 2000년대부터 AI에 대한 글을 쓰기 시작했다.
그는 인공지능 연구자들이 AI를 인간의 가치에 맞춰 ‘정렬(aligned)’ 되도록 모든 조치를 취해야 한다고 주장했다. MIRI는 이러한 주장을 이론적으로 연구하는 단체다.
유드코브스키의 주장은 처음에는 별다른 반응을 일으키지 못했다. 그러나 2014년 닉 보스트롬(Nick Bostrom)이 ‘초지능 : 경로, 위험, 전략(Superintelligence : Paths, Dangers, Strategies)’이라는 베스트샐러를 출판하면서 주목을 받기 시작했다.
보스트롬은 AI를 만드는 인간을 ‘폭탄을 가지고 노는 어린 아이들’에 비유했다.
“우리는 언제 폭발이 일어날지 거의 알 수 없지만, 희미하게 째깍째깍 거리는 소리를 들을 수 있습니다.”
당시 스티븐 호킹, 빌 게이츠, 일론 머스크가 이 책의 경고에 동참했다. 머스크는 2014년 MIT 심포지엄에서 “인공지능을 통해 우리는 악마를 소환하고 있다”고 말하기도 했다.
# 초정렬 문제
EA 신봉자들 중 일부가 AI에 대해 공포감을 조장하는 이유는 뭘까? 당초 철학자 싱어의 질문은 “내가 가진 기술과 부를 어떻게 쓰는 것이 인류 공영을 위해 가장 효율적일까”였다.
유드코브스키와 보스트롬은 이 질문을 “인간을 뛰어넘는 인공 지능 개발이 인류 공영에 정말 효율적으로 기여하는 것일까”로 바꿨다.
“특이점의 순간에 인간은 지적으로 인간을 능가하는 AI를 사람의 가치를 위해 작동하도록 정렬(alignment) 할 수 있을 것인가?”
AI 연구자들은 이를 수퍼얼라인먼트(Superalignment) 문제라고 부른다. 오픈AI도 이 문제를 풀기 위해 별도의 프로젝트를 가동 중이다. 그 책임자가 바로 오픈AI 수석 과학자 일리야 수츠케버다.
오픈AI 수석 과학자 일리야 수츠케버. 수츠케버는 오픈AI 이사회 멤버 중 한 명으로 이번에 올트먼 축출에 가담했다.
올트먼과 스츠케버는 수퍼얼라인먼트를 놓고 의견 충돌이 있었던 것으로 전해진다. 올트먼은 EA 철학의 관점에서 AI 기술 개발 속도를 늦춰야 한다는 논문을 쓴 또 다른 이사회 멤버 헬렌 토너와도 충돌했다.
이러한 충돌의 결과가 올트먼의 축출로 이어졌다는 분석이다.
그렇다면 인공지능은 정말로 인간을 파괴하는 터미네이터가 될까?
# 종이 클립
2003년 영화 ‘매트릭스’ 속편이 극장에 개봉되고, AI가 인류를 말살하는 최후의 날 시나리오가 화제가 될 때, 보스트롬은 짧은 논문을 발표한다.(Ethical Issues in Advanced Artificial Intelligence)
이 논문에는 사고 실험이 하나 등장한다.
1. AI는 ‘어떤 목표’를 달성하도록 프로그램 돼 있다.
2. AI는 해당 목표와 효율 극대화만 생각(?)한다.
3. AI는 이를 위해 인간을 없애 버려야 한다는 사실을 깨닫는다.
4. 인간이 AI 작동 스위치를 끌 수 있기 때문이다.
AI에게 부여된 목표는 뭘까? “종이 클립을 최대한 많이 만드는 것”이다.
AI는 종이 클립 생산을 위해 지구상의 모든 자원을 최대한 끌어 모을 것이다. 인간의 생존이나 생태계는 안중에 없다. 초지능을 갖게 된 AI는 지구를 종이 클립 행성으로 만들고 만다.
‘종이 클립’은 AI가 만들어낼 파멸을 상장하는 강력한 밈(meme)이다.
샌프란시스코 오픈AI 본사로 배달된 ‘종이 클립’으로 만든 로고. 종이 클립은 파멸을 부르는 AI를 상징한다. 자료=WSJ에서 재인용
종이 클립으로 만든 오픈AI 로고는 챗GPT에 대한 경고이며, 마이크로소프트의 투자를 이끌어낸 올트먼에 대한 비판이다. 그로부터 1년 후 올트먼은 승승장구 더 많은 자금을 끌어들여 더 빠르고, 더 강력한 상업용 AI 서비스를 내놨다.
오픈AI 이사회 멤버 중 다수는 상업 서비스가 자칫 종이 클립을 만드는 AI를 세상에 내놓을까 걱정하기 시작했다.
헬렌 토너 이사는 오픈AI의 경쟁사라고 할 수 있는 앤트로픽(Anthropic)의 ‘윤리적 AI’를 칭찬하는 논문까지 썼다. 올트먼과 같은 길을 갈 수 없다는 선언이나 마찬가지였다.
# 인간을 위한 인공지능 : 전쟁의 서막
앤트로픽을 설립한 다리오 아모데이, 다니엘라 아모데이는 오픈AI 출신이다. 이들은 인공지능에 대한 기술 철학 차이로 오픈AI를 나와 별도의 회사를 만들었다.
이들은 인간을 중심에 놓고 인공지능을 개발해야 한다는 이념에 충실하다. EA 운동 진영에서 힘을 얻고 있는 AI 개발관을 따른다. EA 철학에 진심이었던 SBF가 앤트로픽에 5억 8000만 달러라는 거액을 투자한 것도 우연이 아니다.
앤트로픽은 오픈AI의 대항마로 불린다. 구글과 아마존이 이 회사에 거액을 투자했다. 오픈AI-마이크로소프트 진영과 앤트로픽-구글-아마존 진영이 대립하는 양상이다.
여기에 독자적인 AI 개발 회사 xAI를 가지고 있는 일론 머스크가 있다. xAI는 최근 그록(Grok)이라는 AI 챗봇을 선보였다.
AI 기술 개발은 인간들이 벌이고 있는 ‘인공지능 전쟁’이다. 올트먼을 권좌에서 내쫓으려했던 이사회 멤버들은 전투에서 졌다. 그러나 전쟁은 이제 막 시작됐을 뿐이다.
같이 보면 좋은 기사
