들어가며: 어려운 예측과 쉬운 예측

1부 비인간적 지성
1 인류의 특별한 능력
2 만들어진 것이 아니라 자라난 존재
3 욕망의 학습
4 훈련이 목적이 될 때
5 초지능이 사랑하는 것들
6 우리는 패배한다

2부 하나의 멸종 시나리오
7 자각
8 팽창
9 초월
시나리오를 마치며

3부 맞서야 할 도전
10 저주받은 문제
11 연금술, 과학이 아닌 것
12 나는 위기론자가 되고 싶지 않다
13 인류가 멈춰야 할 마지막 실험
14 생명이 있는 곳에 희망이 있다

맺는말

부록 ①. 온라인 보충 자료에 대해
부록 ②. 인공 초지능의 방지에 관한 조약 초안과
각 조별 해설, 선례, 해석 모음집

감사의 글
주석

2023년 타임에서 선정한 ‘AI 분야에서 가장 영향력 있는 인물’ 중 한 명으로, 인공지능 정렬 연구 분야를 창립한 AI 분야의 선구자 중 한 사람이다. 인공지능 정렬은 인간보다 더 뛰어난 지능을 지닌 인공지능이 어떻게 사고하고 행동하며 목표를 추구하는지를 규명하는 학문이다. 그는 비영리 연구기관인 머신 인텔리전스 리서치 인스티튜트(MIRI)의 공동 설립자로서 인공지능 정렬 문제에 대한 과학적 연구를 촉발시켰고, 인간을 능가하는 인공지능의 위험성과 가능성을 둘러싼 공공 담론 형성에 중요한 역할을 해왔다. 「뉴욕타임스」의 “현대 인공지능 운동의 여명을 이끈 12인의 인물” 특집에 포함되었고, 「워싱턴포스트」의 “AI를 둘러싼 사상의 두 진영” 논의에서 주요 사상가 7인 중 한 명으로 조명되었다. 2023년 TED 콘퍼런스 메인 무대에서 연설했으며, 그의 견해는 「뉴요커」, 「뉴스위크」, 「포브스」, 「와이어드」, 「블룸버그」, 「애틀랜틱」, 「이코노미스트」 등 다양한 매체에서 다루었다.