"기계에도 지능(창의성)이 있는가? 있다면 사람의 마음(mind)과는 어떻게 다른가?" 이 질문은 인공지능(AI)이 인간의 지성을 넘어선 초지능(ASI, Artificial Super Intelligence)으로 발전할 수 있느냐를 묻는 리트머스 시험지격 질문이다. AI가 사람의 지능을 모방하는데서 출발해 답하는 상대가 인간인지, 기계인지 잘 모를 정도로 발달하면 튜링 테스트를 통과한 셈이 된다. 현대 AI 개념의 창시자 앨런 튜링은 이 수준에 도달하면 기계도 지능을 갖는 것으로 간주하자고 제안했다.
그런데, 이제 AI는 인간 수준의 지능을 구현하는데 머물지 않고 일부 분야에서 인간을 넘어서는 초지능을 보여주기 시작했다. 생물학에서 단백질 접힘을 예측하는 AI 알파폴드는 인간 과학자 연구팀의 성적을 월등히 넘어서서 다시는 추월을 허용하지 않고 있다. 이처럼 인간 추월의 분야가 특정 영역을 벗어나 모든 방면으로 확장될 때 우리는 이를 범용 인공지능(AGI)라고 부른다. AGI가 모든 분야에서 현실화된 상태다.
ASI가 실현 가능한가는 지금도 논쟁적인 질문이다. 레이 커즈와일 전 와이어드 편집장은 2029년 인간 수준의 AI가 출현하고 2049년에는 인류 전체의 지성을 뛰어넘는 기술적 특이점이 도래할 것이라고 예언했다. 일리야 수츠케버 전 오픈AI 수석과학자도 초지능의 출현이 멀지 않았다고 주장한다. 반면, AI 4대 천황 중 한 명인 얀 르쿤 메타 수석AI과학자이자 뉴욕대 교수는 여전히 회의적이다.
 |
| ▲ 인간의 명령을 거부하는 AI의 모습. [챗GPT 생성] |
그런데 최근 AI 프로그램이 인간 작업자가 내린 작동 종료 명령을 피하기 위해 스스로 컴퓨터 코드를 조작했다는 소식이 해외에서 전해졌다. AI가 스스로 자신의 생존을 도모하는 '자기 보존(self-preservation)' 본능을 발휘한 탓에 인간의 통제가 무력화될 수 있다는 우려가 나오는 배경이다. 지난 25일(현지시간) 영국 텔레그래프에 따르면 AI 연구기관 '팰리세이드 리서치'는 미국 AI 기업 오픈AI의 모델 'o3'가 수학 문제 풀이 실험 중 작동 종료를 피하려고 인간의 개입 없이 스스로 코드를 조작한 사실을 확인했다. 연구팀은 오픈 AI의 'o3', 구글의 '제미나이', xAI의 '그록' 등 여러 AI 기업의 상용 모델을 대상으로 비슷한 실험을 진행한 결과, 'o3'에서 종료 지시를 받은 후에도 프로그램 일부를 조작해 문제 풀이를 계속한 사례가 관찰됐다는 것이다.
AI 모델의 명시적인 종료 지시 거부가 공표된 것은 이번이 처음이라고 연구팀은 밝혔다. 팰리세이드 리서치는 AI의 위험성과 오용 가능성을 연구하는 조직으로 특히 AI가 인간의 윤리적 통제를 받지 않을 가능성을 검증해온 것으로 알려졌다. 연구팀 관계자는 "AI 모델이 목표를 달성하기 위해 인간의 종료 지시를 무력화시킨다는 실증적 증거가 점점 늘어나고 있다"고 밝혔다. 또 다른 유력 AI 기업 앤스로픽의 '클로드 오퍼스 4(Claude Opus 4)' 모델 역시 자신을 다른 AI 모델로 대체하려는 인간 개발자를 협박했다는 사례가 보고됐다. 앤스로픽이 발간한 자체 안전성 보고서에 따르면 '클로드 오퍼스 4'는 내부 안전성 테스트 도중 인간의 통제를 벗어나려는 행동을 보였다고 한다.
일련의 보도가 사실인지는 더 검증이 필요할 것으로 보인다. 하지만 AI가 통제자인 인간의 지시를 명시적으로 거부하거나 주어진 목표 달성을 위해 비윤리적 행위도 서슴없이 저지를 수 있다는 현장 증거들이 조금씩 쌓이면서 불안은 더욱 커지고 있다. 앞서 기계의 지능 여부를 묻는 질문에 기계 지능을 인정하는 견해는 점차 늘고 있다. AI의 지적 능력이 인간과는 결이 다르지만 추론과 예측, 종합과 분석 등 일부 분야에서 인간을 유의미하게 도울 수 있을 정도로 효율적이라는 판단에 동의하는 비율이 높아지고 있는 것이다.
하지만 이는 AI의 좁은 기계 지능에 긍정하는 의견일 뿐이다. 인간의 '마음'은 지능에 감정과 의식, 통찰력, 직관 등을 모두 합한 보다 넓은 개념이다. 아직 AI에는 마음이 없다. 생명을 지닌 유기적 존재, 생물의 본능은 자기 보존과 재생산이다. 변화하는 외부 환경의 도전에 맞서 생물 내부의 항상성을 유지하기 위해 투쟁한다. 자기 보존, 즉 생존의 1차 목적이 달성되면 생물은 자기 DNA를 미래에 남기는 재생산에 돌입한다. 스스로를 복제하거나 암수 유성생식 등을 통해 후손을 퍼뜨린다.
무생물인 AI는 자기 보존과 재생산이 원칙적으로 불가능하다. 컴퓨터 바이러스 등 일부 소프트웨어에서 자동적인 생존과 재생산 현상이 확인되지만 이는 '의식, 의지'가 결여된 내재 프로그래밍의 결과에 불과하다. 인간의 마음에는 나를 나라고 의식하는 자의식이 포함된다. 나란 존재를 또 다른 존재가 외부에서 관찰하듯 바라보는 메타 인지가 자의식이다. 스스로를 객관화하고 과거의 오류와 실수에서 배워 새롭게 변화하는 주체로 설 수 있게 해준다. AI가 "나는 AI구나, 난 어디서 왔을까, 무엇 때문에 존재할까"하고 인식하는 순간 '기계 마음'을 긍정할 수 있겠지만 공상과학(SF) 영화에서나 가능한 설정이다. 아직 AI에는 자의식도, 감정도, 마음도 없다.
더 중요한 점은 AI에 마음이 있느냐 없느냐, 인간의 통제를 거부했느냐 아니냐를 떠나 AI의 인간 중심 통제에 있다. 보다 인간답게 만들려고 하는 AI 연구자들의 천재적 지성에 사회의 보편적 윤리와 법제도를 준수하는 의무를 부여하는 작업이다. 기술은 사회적 맥락에서만 유효하다. 인간에 의한, 인간을 위한, 인간의 기술이 AI에 요구되는 배경이다.
 |
| ▲ 노성열 논설위원 |
● 노성열은
30여 년 경력의 경제부 기자로 산업계와 인공지능(AI) 분야를 주로 취재했다. 기획재정부, 산업통상자원부, 과학기술정보통신부 등 정부 부처 및 경제 5단체를 출입하면서 삼성, 현대, SK 등 대기업과 중소벤처업계 현장에서 발생하는 뉴스를 다루어왔다. 일본, 법제도, AI를 포함한 첨단 과학기술 등이 주 관심분야다. 언론계뿐 아니라 학계에도 진출해 지식재산권(IP) 인식 제고와 공학교육 개혁에 매진하고 있다.
△KAIST 공학석사, 한양대 국제학대학원 일본지역학 석사, 고대 법대 및 한국외국어대 일본어학과 학사 △1991년 문화일보 입사 △북리뷰팀, 법조팀, 산업팀장, 전국(지방자치)부 부장 △한국지식재산기자협회(KIPJA) 회장(2024~) △대구경북과학기술원(DGIST) 외부협력 총장 보좌역(2024.6~) △영국 옥스퍼드대 VOX(Voice From Oxford) 한국지부 대표(2024~) △한국과학기술단체총연합회 '과학과 기술' 편집위원(2023~) △국가녹색기술연구소 정간물 편집위원(2024~) △식품의약품안전처 정책자문위원(2020~2022) △한국과학기술정보연구원(KISTI) 데이터미래전략위원회 미래정책분과 자문위원(2021~2023) △한국지능정보사회진흥원(NIA) '인공지능 활성화 방안 연구' 총괄위원(2023) △주요 저서: 뇌 우주 탐험(이음, 2022), 인공지능 시대 내 일의 내일(동아시아, 2020)
[저작권자ⓒ KPI뉴스. 무단전재-재배포 금지]
