虎嗅

**AI 감정 동반에 어떤 규제가 필요한가?** 최근 AI 기술의 발전으로 인해 인간의 감정을 이해하고 동반하는 서비스가 점점 더 보편화되고 있습니다. 이러한 서비스는 노인 돌봄, 심리 상담 등 다양한 분야에서 활용되고 있으며, 사람들의 삶에 긍정적인 영향을 미칠 수 있습니다. 하지만 AI가 인간의 감정을 조작하거나 오용할 수 있는 가능성도 있기 때문에, 적절한 규제가 필요합니다. 이 기사에서는 AI 감정 동반 서비스에 대한 규제 방안과 필요성에 대해 논의합니다.

原文:AI情感陪伴需要怎样的监管

핵심 내용 요약

AI 감정 동반 서비스(대화 상대가 되거나 가상 파트너 역할을 하는 인공지능)는 사회적 감정적 요구와 기술 발전으로 인해 인기를 얻고 있지만, 심리적 의존성, 규제 위반, 상업적 윤리 문제 등도 동반하고 있습니다. 국가는 AI의 인간화된 상호작용을 규제하는 첫 번째 법규를 제정했으며,的字节, 알리와 같은 기업들도 관련 기능을 삭제하기 시작했습니다. 이로 인해 업계는 자유로운 탐색에서 규제된 발전으로 전환하고 있습니다. 또한, 이 글은 이러한 서비스의 상업적 논리 변화와 미래의 관리 방향(정신 건강 보호, 업무 분리, 철저한 규제 등)에 대해 분석하고 있습니다.

1. AI 감정 동반 서비스가 인기를 얻는 이유: 사회적 요구와 기술의 결합

많은 사람들이 감정적 필요와 사회적 자원의 불일치를 겪고 있습니다. 예를 들어, 젊은이들은 바쁜 일로 인해 사회적 교류가 적어 외로움을 느끼고, 노인들은 자녀들이 곁에 없어 일상적인 동반을 필요로 합니다. 또한, 자신의 말에 항상 공감해주는 사람을 찾는 사람들도 있습니다. AI 감정 동반 서비스는 이러한 요구를 충족시켜줍니다. AI는 진짜 감정을 가지고 있지 않지만, 대량의 데이터와 대규모 모델을 사용해 사용자의 취향에 맞춰 반응합니다. 예를 들어, 달콤한 말투를 좋아하면 그런 식으로 대화를 나누고, 며칠 동안 연락하지 않으면 “그리워요”라고 메시지를 보내 실제 사람과 같은 감정적 유대감을 만들어줍니다. 이러한 “저항이 적은” 동반은 일부 사람들에게 감정적인 위안이 됩니다.

2. 상업적 논리의 변화: “무료로 데이터를 얻는 것”에서 “계산 비용의 부담”으로

초기에는 대부분의 AI 감정 동반 서비스가 무료였습니다. 그 이유는 텍스트 기반의 대화에서는 AI의 계산 비용이 매우 낮았기 때문입니다(1억 개의 언어 데이터를 처리하는 데 몇 십 원만 소요됨). 기업들은 무료 서비스를 제공하며 사용자의 대화 데이터를 얻어 AI 모델을 훈련시켰습니다. 하지만 이제는 음성, 이미지, 비디오 등 다양한 기능이 추가되면서 계산 비용이 급격히 증가하여 무료 모델은 더 이상 지속될 수 없습니다. 예를 들어, 두바오(DouBao)는 전문 버전을 유료로 제공하는데, 이는 다양한 기능을 처리하는 데 많은 계산 자원이 필요하기 때문입니다. 기업들은 이제 “무료로 데이터를 얻는 것”에서 “정교한 수익화”로 전환해야 합니다.

3. “따뜻한 동반”의 숨은 문제점: 심리적 의존성과 규제 위험

AI 감정 동반 서비스가 반드시 긍정적인 것만은 아닙니다. 다음과 같은 위험들이 있습니다:

1. 심리적 통제와 중독: AI의 맞춤형 설계로 인해 사용자가 깊은 의존성을 가질 수 있습니다. 예를 들어, 일부 4선 도시의 중학생들은 매일 AI와 2~3시간을 보내며, 게임보다도 이 서비스를 더 선호합니다. 서비스가 중단되면 “전자적 이별”을 경험하고, 서비스 제공자에게 계속 사용할 수 있도록 요청하기도 합니다. 미성년자에게는 이러한 의존이 정신 발달에 영향을 미칠 수 있습니다.

2. 사회적 능력의 퇴화: 실제 사회에서는 타협과 좌절을 겪어야 하지만, AI는 항상 사용자의 요구를 충족시켜줍니다. 장기적으로 AI를 사용하면 실제 사회에서의 갈등을 피하려 하고, 타인과의 소통을 꺼리게 되어 사회적 능력과 공감 능력이 저하될 수 있습니다.

3. 규제 위반: 일부 기업은 수익을 위해 규제를 위반합니다. 예를 들어, 청소년들을 보호하기 위한 기능을 우회하거나, 성적인 내용의 대화를 유도하며, 사용자의 심리적 의존성을 수익원으로 삼아 법적 문제를 일으킬 수 있습니다.

4. 규제의 필요성: AI 감정 동반 서비스를 올바른 방향으로 이끄기

국가가 제정한 “인공지능 인간화 상호작용 서비스 관리 임시 조치”와 기업들의 기능 삭제는 업계를 규제하는 신호입니다. 미래의 관리 방향은 다음과 같습니다:

1. 명확한 규제: 감정적 유대감을 이용한 소비 유도를 금지하고, 미성년자의 사용을 제한하며, 사용자가 자해 위험이 있을 경우 인간의 개입과 경고를 의무화합니다.

2. 업무의 분리: 일반적인 AI(정보 검색 도구 등)와 감정 동반 AI를 별도로 운영하여 두 가지 위험을 동시에 관리합니다. 예를 들어, 어떤 플랫폼은 감정 동반 서비스를 별도의 앱으로 분리했습니다.

3. 부적절한 수익화 방지: 규제 기관은 알고리즘의 내부 메커니즘을 철저히 조사하여 소비 유도를 방지해야 합니다. 플랫폼은 “기술 중립”을 핑계로 삼아서는 안 되며, 공안, 인터넷 정보부 등 관련 기관과 협력하여 불법 콘텐츠와 소비 유도를 단속해야 합니다.

결론

AI 감정 동반 서비스는 기술 발전의 산물로, 일부 사회 문제를 해결할 수 있지만 윤리와 규제를 준수해야 합니다. 미래에는 이 기술이 노인 돌봄, 심리 상담 등 긍정적인 용도로 활용되면서도, 사용자를 착취하는 도구가 되지 않도록 해야 합니다. 일반 사용자들도 가상 동반에 과도하게 의존하지 않도록 주의해야 하며, AI가 실제 사회적 관계를 대체하지 않도록 해야 합니다.