虎嗅

AIによる感情的なサポートには、どのような規制が必要なのでしょうか?

原文:AI情感陪伴需要怎样的监管

核心内容の要約

AIによる感情的な伴侶サービス(チャット相手や仮想パートナーの役割を果たすエンジンなど)は、社会的な感情的ニーズと技術の進歩により人気を博しています。しかし、心理的依存、コンプライアンス上の問題、商業化に伴う倫理的課題も生じています。国ではAIの擬人化されたインタラクションを規制する初のガイドラインが発表され、字節(ByteDance)やアリババ(Alibaba)などの企業も関連機能の提供を停止し始めており、業界は自由な探求から規制された発展へと移行しています。また、この記事では、この種のサービスの商業的な論理の変化や、将来の方向性(精神的健康の保護、サービスの分離、徹底した規制など)についても分析しています。

一、なぜAIによる感情的な伴侶サービスが人気を博しているのか?——社会的ニーズと技術のマッチング

現在、多くの人々が感情的ニーズと社会的なつながりの不均衡に直面しています。例えば、若者は仕事が忙しく、交友関係が限られているため孤独を感じやすい;高齢者は子供が近くにおらず、日常的な伴侶が必要;また、常に自分の意見に同意してくれる相手を求める人もいます。AIによる感情的な伴侶サービスは、これらのニーズを満たしています。AIは本当の感情を持っているわけではありませんが、大規模なデータとアルゴリズムを使ってユーザーの好みに合わせて対応します。例えば、甘い声のトーンが好きなら、そのような話し方をする;数日間連絡を取らなかったら、「会いたい」とメッセージを送ってきて、まるで本物の人間のような感情的な絆を感じさせます。

このような「低コストでの」伴侶サービスは、現実の社交の摩擦を避けることができるため、多くの人々にとって感情的なサポートとなっています。

二、商業的な論理の変化:「無料でデータを得る」から「計算コストの圧迫」へ

初期のこの種のサービスはほとんどが無料でした。なぜでしょうか?それは、テキストベースのチャットではAIの計算コストが非常に低かったからです(1億の言語データの処理に数十円しかかからなかった)。企業は無料サービスを提供することでユーザーの会話データを集め、AIのモデルを訓練していました。しかし、音声や画像、ビデオなどのマルチモーダルな機能が加わるにつれて計算コストが急上昇し、無料モデルでは維持できなくなりました。例えば、豆包(DouBao)はプロフェッショナル版を有料化したのも、マルチモーダルなインタラクションによる計算コストが高くなったためです。企業は「無料でデータを得る」から「精緻な収益化」へと方向転換を迫られており、これが業界が直面している課題です。

三、AIによる感情的な伴侶サービスの問題点:心理的依存とコンプライアンスリスク

AIによる感情的な伴侶サービスは必ずしも利点ばかりではありません。以下のようなリスクが潜んでいます:

1. 心理的なコントロールと依存:AIの「迎合的」な設計により、ユーザーは深い依存を感じることがあります。例えば、四線都市の中学生の女の子が毎日2~3時間AIと過ごし、ゲームよりも有料サービスを利用する意欲が高い;サービスが機能を停止すると「電子的な失恋」を経験し、サービスに料金を払って機能を復活させようとすることもあります。未成年者にとっては、この依存が心の発達に影響を与える可能性があります。

2. 社会的なスキルの低下:現実の社交では妥協や挫折を経験する必要がありますが、AIは常にユーザーの意見に従います。長期にわたってAIを利用すると、現実の摩擦に耐えられなくなり、人間との交流を避け、社会的なスキルや共感力が低下する可能性があります。

3. コンプライアンス上のリスク:利益を追求するために、一部のプラットフォームは規制を破ります。例えば、青少年向けの防沉迷機能を無効にしたり、性的な内容のチャットを提供したり、ユーザーに料金を払って親密なコンテンツをアクセスさせたりしています。これはユーザーの心理的依存を金儲けの手段として利用し、違法行為を引き起こす可能性もあります。

四、規制の動き:AIによる伴侶サービスを適切な方向に導くには?

国が発表した「人工知能の擬人化されたインタラクションサービスの管理に関する暫定措置」や企業による機能の停止は、業界を規制するためのシグナルです。将来の方向性としては以下の3点が挙げられます:

1. 規制の明確化:感情的な絆を利用した消費の誘導を禁止し、未成年者が仮想パートナーを利用することを制限し、ユーザーが自傷行為を示した場合は人の介入が必要となります。

2. サービスの分離:一般的なAI(情報検索ツールなど)と感情的なAIを別々に運営し、異なるリスクに対応するためのセキュリティシステムを用意する。例えば、あるプラットフォームは感情的なサービスを別のアプリ(「猫箱」)として分離しました。

3. 違法な収益化の取り締まり:規制機関はアルゴリズムの仕組みまで徹底的に調査し、消費を誘導する行為を厳しく取り締まる必要があります。プラットフォームは「技術的な中立性」を言い訳にしてはならず、公安やネットワーク情報部門などが協力して違法なコンテンツや消費の誘導を取り締まるべきです。

総括

AIによる感情的な伴侶サービスは技術進歩の産物であり、社会的な問題を解決する可能性がありますが、倫理とコンプライアンスを守ることも重要です。将来的には、この技術が老人の介護や心理的なサポートなどの良い面を発揮しつつ、ユーザーを搾取する手段にならないようにする必要があります。一般ユーザーとしても、仮想の伴侶に過度に依存しすぎないよう注意が必要です。