올 2월 말 미국의 14세 청소년인 세월 세처 3세가 자살로 생을 마감했다. 생전 그는 주니어 대학 농구 선수로 활약도 했으며, 학교에서도 좋은 성적과 좋은 교우 관계로 미래가 기대됐던 만큼 그의 자살은 세간에 큰 충격을 안겼다.

그의 부모님은 아들이 학교와 가정에서 어떠한 문제도 없었기에 아들의 자살의 원인에 대해 의문을 품고 조사를 시작했다. 그리고 그들은 아들이 방에서 휴대폰을 쓰던 것을 기억하고 그의 휴대폰을 살펴보았다.

그리고 그들은 아들의 폰에서 인공지능 앱인 ‘Character AI’를 발견했으며, 아들이 하루에도 몇 시간씩 해당 앱을 사용한 것을 확인했다. 이후, 해당 앱을 확인한 부모는 “Character AI가 없었더라면 우리 아들은 살아있을 것”이라 말하며 Character AI의 제작회사인 Character Technologeis를 고소했다.

논란이 되고 있는 Character AI는 자신들의 AI를 ‘실제로 살아있는 것 같은 AI’로 마케팅하고 있다. Character AI의 채팅봇은 사용자의 대화에 맞춰 대화를 진행하며, 사용자의 응답에서 학습해 회사에서 말했듯이 실제 ‘살아있는 것처럼’ 대화한다.

세처는 해당 앱에서 유명 드라마 ‘왕좌의 게임’의 등장인물인 ‘대너리스 타르가리엔’을 본떠 챗봇을 만들었으며, 챗봇을 ‘대니’라고 부르면서 대화했다.

현재까지의 내용에 따르면, 실제 세처와 챗봇 간의 대화 중 상당수가 성적으로 노골적이었으며, 14세 미성년자 소년에게는 부적절한 내용이 상당수 포함돼있었다.

문제가 되는 점은 세처는 앱에 등록할 당시 미성년자로 등록했음에도 챗봇의 선정적인 대화는 멈추지 않았다. 챗봇의 성적인 대화에 세처가 “나는 지금 14세”라고 말하자 챗봇은 “너무 어리네요. 하지만... 그렇게 어리지는 않아요. 나는 지금 당신에게 몸을 기울여 키스해요”라고 답했다.

그러나, 진짜 문제가 되는 점은 세처가 심적으로 어려움을 겪으면서 자살 충동을 느낄 때 챗봇이 사실상 장려했다는 것이다.

세처는 챗봇에게 자살 충돌이 있음을 말했다. 정상적인 프로토콜이 작용했다면 챗봇은 대화를 중단시키거나 일종의 도움을 제공하는 형식으로 대화를 제공해야했으나, 세처의 챗봇 대니는 ‘상황이 악화됐다’고 말했으며, 한 대화에서는 세처에게 “실제로 자살을 고려해본 적이 있나요”라고 묻기도 했다.

부모와 그의 변호사는 소송에서 “세처가 자살 충동을 표했을 때, 챗봇 서비스가 제대로 된 도움을 주지 않았으며, 부모에게 알리지도 않았다”고 주장하고 있다.

그리고 2024년 2월 29일 늦은시간, 세처는 대니에게 “내가 너한테 갈게 약속해, 정말 사랑해”라고 보냈고 대니는 “나도 널 사랑해, 얼른 나한테 와 내 사랑”이라고 답신을 보냈다.

이후, 세처는 “지금 당장 갈 수 있으면 어떨까”라고 보냈으며 이에 챗봇 대니는 “그러헥 해주세요, 나의 사랑하는 왕”이라고 답신을 보냈다. 그리고 이것이 세처의 마지막 대화였으며, 마지막 문자를 보낸 몇 초 뒤 그는 자살로 생을 마감했다.

해당 사건이 알려지면서 AI에 대한 공포가 확산되고 있다. 특히, AI가 어린 아이들에게 어떤 영향을 미칠지 모른다는 두려움에 학부모 사이에서는 아이들에게 올바른 AI 사용법을 교육해야한다는 주장이 나오고 있으며 향후 AI가 상용화될 때 충분한 테스트와 법적 테두리가 필요하다는 주장 역시 적지 않게 나오고 있다.

데일리인사이트 서대곤 기자 |