본문 바로가기메뉴 바로가기

댓글0
번역beta

Translated by kakao i

번역할 언어 선택

뷰 본문

슬로우뉴스

마지막 빨간 버튼: 인공지능의 도덕성

8,535 읽음
댓글0
번역beta

Translated by kakao i

번역할 언어 선택

마지막 빨간 버튼: 인공지능 윤리 연구의 과제


슬로우뉴스는 NCSOFT와 함께 2016년 연중기획으로 디지털 기술이 우리 사회에 초래한 변화를 점검하고, 그 미래를 전망하는 ‘미래 읽기’를 연재한다. (편집자)


인공지능 윤리:

1.왜 지금 인공지능 윤리를 논의해야 하는가?

2.인공지능 윤리는 왜 어려운가? 


3.인공지능 윤리 기준을 위한 활동들


4.로봇이 인간 가치를 학습하기 위한 조건

-> 마지막 빨간 버튼: 인공지능 윤리 연구의 과제


인공지능 윤리 이슈에 접근하는 태도는 아직도 매우 광범위하다. 이 문제를 거론할 필요조차 없다는 사람부터 향후 나타날 사회적 문제가 매우 심각할 뿐만 아니라 이미 문제가 발생하고 있다고 생각하는 사람들까지 그 스펙트럼이 넓다.

로봇과 감정

페이스북의 인공 지능 연구실을 이끄는 뉴욕 대학의 얀 르컨(Yann LeCun) 교수2015년 테크인사이드와 인터뷰를 통해 일반적으로 우리가 인공 지능에 가진 오해에 관해 의견을 제시했다. ‘미래 로봇이 인간과 같은 감정을 가질 수 있는가?’에 대한 그의 대답은 대부분 부정적이다.


영화 [엑스 마키나]에 나오는 에바와 같은 인공 지능은 소위 인공 일반 지능(AGI)인데 지금 우리가 얘기하는 것은 모두 협의의 인공 지능(ANI) 그것도 아주 좁은 영역이다. 그래서 감정을 가진다는 점 자체가 고려 대상이 아니다.



엑스 마키나(2015, 앨릭스 갈랜드)


르컨(사진)은 감정을 구현한다면 그것은 같이 대응하는 사람을 즐겁게 만들거나 이타적인 수단이 필요해서일 것이라고 말한다. 게다가 구현하는 감정 역시 인간과는 다를 수 밖에 없는데, 이는 보상에 대한 예측에 기반하는 현재의 프로그래밍 방식 때문일 것이라는 점이다. 보상이 높은 방향으로 갈 것이기 때문에 욕심이나 분노 같은 파괴적 감정을 가지지 않을 것이다. 일부러 만들어 넣지 않는다면.




윤리적 판단이 인간이 갖는 공감이나 연민 또는 불쾌함 같은 감정을 수반하거나 그 결과로 얻어지는 사회와 공동체의 합의라고 한다면, 인공 지능의 윤리 학습은 감정 상태에 대한 시뮬레이션을 필요로 할 수 있다.

물론 인공 지능이 윤리와 도덕을 지켰을 때 얻는 보상을 통해 윤리적 행동을 하도록 유도할 수 있겠지만, 세상을 관찰하면서 학습을 하게 한다면 인공 지능의 인공적 감정 상태는 긍정적인 면과 부정적 면을 모두 표현할 수 있어야 할 것이다. 아니면 우리가 사회에서 보이는 감정 표현을 이해하도록 해야 할 것이다. 어떤 행동이 더 많은 사람에게 거부감을 주는 것인지를 파악하는 것이 필요하다. 그러나 이는 ‘인공 지능의 윤리는 왜 어려운가’에서 설명했듯이 매우 어려운 문제다.

초기 문제는 ‘인간의 특성’에서 발행할 것

그러나 나는 아직 인공 지능 윤리는 구현의 문제나 필요성이 시급한 상황은 아니라고 생각한다. 인공 지능 윤리가 기술적으로 깊이 있는 연구 단계가 도달하지 못했지만, 오히려 인간이 갖는 특성 때문에 현재 제한적 지능을 가진 시스템으로도 여러 가지 이슈들이 발생할 것이다.


다만 아직은 그 결과가 사회에 큰 피해를 주거나 파국을 가져오는 것은 아니고 일부 사람들에게 차별을 가하거나, 반(反)사회적 행동을 유발하고, 오해와 확대 해석으로 인한 오용의 문제가 발생할 것으로 본다. 


초기의 많은 문제는 인공 지능을 사용하는 또는 같이 공존해야 하는 인간이 갖는 특성 때문에 발생할 것이다.

인공지능의 의인화 

2016년 봄 알파고가 우리 사회에 큰 충격을 주었을 때 나는 아주 흥미로운 현상에 오히려 주목했다. 사람들은 생각보다 너무나 쉽게 알파고를 의인화하는 것이다.


알파고가 장고에 들어갔고, 실수에 흔들리고, 당황하고, 수습하기 위해 애쓰고 있다는 말을 여러 해설가가 하거나 방송인들이 하는 것을 들었다. 하나의 ‘바둑’ 프로그램 소프트웨어에 대해 우리는 이미 바둑의 고수가 보이는 모습을 투영하고 있었다. 


2016년 3월에 KISA 리포트에 기고한 ‘알파고 대국의 의미와 사회적 과제’라는 글에서 이런 우리의 특성에 대해 언급했다. 1939년 독일의 홀렌슈타인-슈타델의 동굴에서 발견된 사자 인간 조각은 4만 년 전의 고대 조각 작품으로 구석기 시대에 이미 우리는 자연물에 인간의 특성을 투영하기 시작했다.



1944년 오스트리아의 심리학자인 프리츠 하이더(Fritz Heider)는 흥미로운 실험을 했는데, 두 개의 삼각형과 하나의 원이 움직이는 것을 보여주었더니 단지 큰 삼각형과 작은 삼각형이 원을 따라 움직이는 모습에서도 사람들은 질투, 두려움, 경쟁 등을 표현하면서 감정 이입했다. 이를 본 아이들은 큰 삼각형이 원을 쫓아다니며 괴롭힌다고 해석했다.



영화 [캐스트 어웨이]에서 주인공 ‘척 놀랜드 (톰 행크스)’는 무인도에서 배구공에 ‘윌슨’이라는 이름을 붙이고 친구로 삼는다. 윌슨을 집어 던졌다가도 다시 찾아와 오열하면서 “이제 우리 화해한 거다?”라고 한다. 결국, 탈출을 위한 항해 중 사고로 윌슨을 잃게 되면서 “미안해, 윌슨!” 하고 외치는 장면에 사람들은 전혀 웃지 않고 다들 주인공의 슬픔에 공감한다. 이상하다고 생각이 들지 않나? 단지 배구공일 뿐인데.


캐스트 어웨이 (2000, 로버트 저메키스)

1999년에 세계 최초의 애완용 로봇 개로 출시된 소니의 ‘아이보(AIBO)’는 2006년까지 15만 대 정도 팔렸다. 마지막 모델은 60가지 감정 표현을 나타낼 수 있었다. 2015년에 월스트리트 저널뉴욕타임스는 일본 절에서 벌어지는 아이보 장례식에 대한 기사를 실었다. 아이보를 고칠 수 있는 부품을 더는 구하지 못하면 주인들이 합동 장례를 치른다. 그들에게 아이보는 가족과 같았던 것이다.

아이보는 지금 우리가 얘기하는 인공 지능 기술이라고 말하기도 어려운 단지 움직이는 장난감 로봇이었지만, 사람들은 아이보가 보이는 모습과 소리, 움직임에서 살아있는 강아지처럼 유대감을 느끼고 감정을 이입한다. 어쩌면 사람이 하는 말이나 지시에 반응하는 아이보가 진짜 강아지보다 더 사랑스럽고, 나를 이해한다고 생각할 수 있었다.


의인화와 감정 이입 또는 애착은 우리 인간이 갖는 특징 중 하나이다. 따라서 우리는 앞으로 만들어지는 여러 수준의 시스템이나 로봇이 우리와 소통하거나 우리 행위에 따라 반응하고, 우리와 유사한 지각을 보여줄 때 자연스럽게 그 대상을 인간처럼 이해할 것이다.

마음 이론과 인공 지능 윤리 위원회

또 하나 우리가 진화를 통해 발전한 것이 상대방의 의도와 생각을 우리 안에서 추론하는 성향으로 진화심리학이나 뇌과학에서 말하는 ‘마음 이론(Theoryy of Mind)’이다. 따라서 우리는 어떤 존재를 의인화하면서 자연스럽게 그 마음을 이해하거나 추론할 것이기 때문에, 인공 지능 시스템이 어떤 의도나 생각으로 행동한다고 이해할 것이다.


이는 자연스럽게 인공 지능 시스템이 보이는 행동이나 의사 결정이 윤리적이거나 비윤리적이라고 우리가 생각하게 될 것이다. 어떤 윤리 엔진을 탑재했거나 윤리 코드를 반영하지 않아도 우리는 소프트웨어나 로봇의 판단과 행동에 윤리적 판단을 적용할 것이다. 


내가 반복해서 이런 얘기를 하는 것은 인공 지능 윤리가 아주 복잡하고 깊이 있는 연구 개발을 통해서만 구현되는 것이나 적용하는 것이 아니라, 지금 수준의 인공 지능에 대해서도 사람들은 그런 식으로 판단하고, 평가하고, 평가당하고, 불안해할 것이기 때문이다. 


기업은 자신의 제품과 서비스가 사용자들에게 어떤 윤리적 판단이나 의미를 가졌는지 다방면으로 평가해야 한다. 기업 내부나 소비자 단체에 인공 지능 윤리 위원회가 빨리 만들어져야 하는 이유이다.

인공지능 윤리 연구, 아직은 초보 단계 

지난 원고들에서 인공 지능 윤리에 대한 연구가 얼마나 필요하고 중요한지, 지금까지 어떤 접근이 있었고 어떤 노력이 이루어졌는지 나름대로 정리해봤지만, 결론은 아직 매우 초보적 수준이라는 것이다. 이 이슈에 관심을 갖고 여러 연구를 들여다봤지만, 어떤 연구도 앞으로 인공 지능의 발전에 큰 기반이 될 수준이 아직 아니라는 것을 알게 되었다.


이는 어쩌면 우리에게도 기회가 남아있다는 의미가 될 수 있다. 나아가서, 윤리가 사회나 공동체에 의한 규범이나 합의라면, 우리 사회의 윤리와 서구의 윤리에는 차이가 있을 수 있고, 이 부분에 대해서는 우리 연구가 더 의미 있는 연구가 될 수도 있기 때문이다. 


소프트뱅크의 페퍼를 미국에 소개하면서 페퍼의 제스처를 통한 에티켓을 다시 학습시켜야 한다는 얘기가 나왔다. 이유는 페퍼의 모든 자세와 태도는 일본 문화에 맞춰져 있기 때문이다. 따라서 미국으로 가기 위해서는 미국인들에게 익숙한 매너와 행동을 하게 재조정해야 한다.




이 분야는 앞으로 인간-로봇 상호작용(HRI)이라는 분야에서 더 깊이 있게 연구될 것이며, 윤리에서도 문화적 차이와 지역에 따른 공동체 차이, 시간 흐름에 의한 사회 변화의 문제 역시 아직 우리에게는 오픈 이슈이다.


아직 페퍼가 어떤 감정이나 윤리적 이슈에 중심이 되지는 않지만, 오히려 사용자들이 이를 어떻게 사용할 것인가에 문제가 있을 수 있다. 페퍼에 대한 윤리 문제는 오히려 사용자에게 먼저 발생할 수 있다. 


소프트뱅크는 그래서 구매자에게 페퍼를 갖고 어떤 성적인 행동이나 외설적 행위를 하지 않겠다는 동의를 받는다.


위반 시에는 처벌을 받는다고 하지만 아직 어떤 처벌이 이루어질지는 명확하지 않다. 이 문제는 사용자 윤리에 해당하는 문제이다. 그러나 이런 윤리적 사용에 대한 가이드라인은 누가 정하는 것일까? 소프트뱅크가 사용자의 사용 윤리를 규정할 권리가 있는 것일까? 우리가 무엇을 구매한 이후에는 그 물건에 대한 사용이나 용도 변경은 구매자에게 있는 것이 아닐까?

인공지능 전공자와 윤리 학습

인공 지능 기술의 발전이 우리 사회의 이익을 극대화하고 공동체 전체의 혜택으로 이루어지게 해야 한다는 명제는 너무도 타당하지만 사실 위협 받을 가능성을 잠재적으로 갖고 있다. 이런 문제로 MIT의 맥스 테그마크 교수 등 많은 연구자들은 앞으로 인공 지능의 연구가 사회의 이익을 위해서 이루어져야 한다는 공개서한을 만들어 많은 학자와 관련자들이 온라인 서명을 하도록 했다.


앞으로 우리가 이런 태도를 유지하기 위해서 준비해야 하는 우선 과제는 어떻게 컴퓨터 과학자나 인공 지능 연구자들이 윤리 문제에 대해 관심을 갖게 할 것인가 하는 점이다. 


개발자나 컴퓨터 전문가, 인공 지능 연구가들이 윤리에 대한 관심과 논의를 지속하게 하려면 학교에서 이 분야 전공자에게 윤리학을 가르쳐야 한다. 그러나 공학 전공자에게 오래된 학문이면서 정답이 없는 영역을 가르친다는 것은 쉬운 일이 아니다. 


최근 몇 년간 컴퓨터 과학과 인공 지능 전공자들에 어떻게 윤리를 가르치는 방법으로 주목받는 방안은 ‘SF를 통한 컴퓨터 윤리학’ 코스이다. 이미 2008년부터 유니온 칼리지의 아나스타시아 피스(Pease)는 이에 대한 시도와 경험을 논문으로 발표했는데 참여 학생이 인문학, 공학, 사회 과학 등으로 다양했다. 그녀는 SF를 통해 실용 윤리학을 가르치는 관문으로 활용해 학생들이 가질 거부감이나 저항을 없앴다. 


시카고 대학의 임마뉴엘 버튼, 켄터키 대학의 쥬디 골드스미스, 호주의 뉴 사우스 웨일스 대학의 니콜라스 마테이 등은 SF를 이용해 인공 지능 윤리학을 가르치는 방안에 대해 2015년 미국 인공 지능 학회의 AI, 윤리학과 사회 워크숍에서 발표했고, 2016년에는 E.M. 포스터의 1909년 SF 명작인 [기계가 멈추다]를 활용한 수업에 대한 결과를 발표했다. 


이를 통해 다양한 윤리학 이론과 주제에 대한 토론을 할 수 있었으며, 윤리의 다양한 결과나 선택의 다양성에 의한 윤리적 균형 문제에 사고 할 수 있게 됨을 밝혔다. 그러나 이는 특별한 경우이고 아직 대부분의 컴퓨터 과학이나 인공 지능 연구자들은 윤리학이 자신과 관계가 없거나 크게 신경 쓸 일이 아니라고 생각한다. 


인공지능 암호암호학으로 유명한 UC 데이비스 대학의 필립 로가웨이(Phillip Rogaway, 사진)는 2015년 암호학 연구 학회에서 특별 강연을 통해 컴퓨터 과학 교수들이 컴퓨터 과학이 정치나 윤리에 어떤 영향을 주는가를 다루지 않기 때문에 컴퓨터 과학이 아카데미 영역이 되지 못하고 있다고 비판했다.




사실 진정한 학문이라면 그 분야의 결과가 어떤 사회적 영향을 갖는지에 대해 심도 있게 논의하는 자세가 필요하다. 이런 측면에서 2015년 국제 인공 지능 학회에서 자동 살상 무기에 대한 반대를 위한 공개서한에 연구자들이 서명한 것은 매우 바람직하다고 생각한다.

인공지능 범죄와 처벌

또 다른 논의가 필요한 것은 인공 지능 시스템이 비윤리적 또는 위법적 행동을 유발했을 때 이에 대한 처벌을 어떻게 해야 할 것인가 하는 법률적 문제이다.


그러나 여기에도 또 하나의 복잡한 이슈가 있는 것은 그런 행동이 의도적인 것인가 하는 판단 문제이다. 우리는 법률에서 의도한 행동(고의범)과 고의적이지 않은 행동(과실범)에 대한 처벌을 분리하고 있다. 의도가 있다면 그 의도는 누구의 의도이고 이를 어떻게 추적할 것인 가는 또 다른 문제이다. 


인공 지능 윤리 문제는 법률적 판단과 윤리적 판단이 충돌할 때 또 다른 고민을 갖게 한다. 자율 주행 자동차가 갑자기 승객의 건강이 문제가 생겨 급히 병원으로 이동해야 할 때 교통 법규를 지켜야 하는 규칙과 승객의 목숨을 구해야 하는 윤리적 판단에 충돌을 어떻게 인지하고 판단하게 할 것일까? 모든 상황을 나열해야 한다면 우리는 어쩌면 자율 주행 자동차를 출시하지 못할 것이다.

‘큰 빨간 버튼’ 

나는 그동안 이 주제를 연재하면서, 인공 지능 윤리 연구의 필요성과 함께 연구의 어려움에 대해 여러 번 강조했다. 많은 문제는 개발자와 사용자에 의해서 제기될 것이다. 내부적으로 자체적인 윤리 판단을 하도록 하는 엔진은 서서히 등장할 것이고, 이후는 윤리 규범을 학습하는 시스템이 될 것이다. 그러나 내가 생각하는 가장 어려운 문제는 하나의 시스템이나 로봇에 의한 것이 아닌 다중의 인공 지능 에이전트로 이루어지는 사회이다.


하나의 인공 지능 에이전트 문제는 쉽게 모델링 하거나 제약과 가이드를 줄 수 있다. 그러나 앞으로 수십 수백 개의 에이전트가 나타나고 그들이 협력하는 세상이 가까운 장래에 이루어질 것이다. 모두 착한 내 이웃이 모여서 극악하고 혐오스러운 행동을 하는 것이 인간 사회이듯이, 모두 윤리적 판단에 맞춰지도록 프로그램된 인공 지능 시스템들이 협업하면서 어떤 예상치 않은 결과가 유도될지는 아무도 예측할 수 없을 수 있다. 


그래서 우리가 절대 허용하지 말아야 하는 것은 인공 지능 시스템이 자기 코드를 수정하거나 스스로 다른 인공 지능 시스템을 제작하도록 하는 것이다. 동시에 언제든지 그 과정에 개입해서 스위치를 내릴 수 있는 ‘큰 빨간 버튼(Big Red Button)’을 구현하고 우리 손에 확보해 놓는 일이다.


wlodi, “The Big Red Button”, CC BY SA


참고문헌: 

Heider, F; Simmel, M (1944). “An experimental study of apparent behavior”. American Journal of Psychology 57: 243–259.

Pease, A. (2009). Teaching ethics with science fiction: A case study syllabus. Teaching Ethics: The Journal of the Society for Ethics Across the Curriculum 9:75–82.

슬로우뉴스 좋으셨나요?


이미지를 클릭하시면 후원 페이지가 열립니다.

실시간 인기

    번역중 Now in translation
    잠시 후 다시 시도해 주세요 Please try again in a moment