Sony придумала способ использовать ИИ не только для игр, но и в качестве наживки для опасных пользователей. Новый патент PlayStation описывает поддельные аккаунты, которыми управляет большая языковая модель и которые могут изображать обычных игроков — вплоть до несовершеннолетних.
Идея заключается в том, чтобы не ждать жалобы от реальной жертвы. Такой аккаунт-приманку можно разместить там, где потенциально действуют мошенники, спамеры, читеры или люди, ищущие контакта с детьми. Если подозрительный пользователь сам начинает разговор, система анализирует его поведение. ИИ-аккаунт при этом должен выглядеть как настоящий пользователь и поддерживать обычный многоэтапный диалог. Языковую модель можно обучить имитировать манеру общения определенной демографической группы — например, несовершеннолетних игроков.
Среди тревожных сигналов в патенте упоминаются попытки узнать личную информацию, вопросы о возрасте и интересах, предложение подарков, частая смена аккаунтов и просьбы продолжить общение уже на другой платформе. Дополнительным фактором может стать явный интерес аккаунта к играм, популярным среди детей.
Система рассчитана не только на выявление возможных сексуальных хищников. В документации отдельно перечислены мошенничество, спам и читерское поведение. При этом Sony не предлагает автоматически отправлять человека в бан после первого странного разговора. Подозрительный аккаунт можно лишь пометить и продолжить наблюдение за ним без каких-либо ограничений. Если такой пользователь позднее попытается связаться уже с настоящим игроком, система сможет показать предупреждение самому игроку, его родителю или модератору. В интерфейсе также может появиться возможность сразу заблокировать подозрительный аккаунт или обратиться к администрации сети. Более серьезное наказание предусмотрено при накоплении дополнительных сигналов. Например, временная блокировка может последовать после нескольких жалоб пользователей или нескольких подозрительных разговоров с ИИ-приманками.
Сам принцип Sony строится на том, что нынешняя модерация часто работает постфактум: сначала реальный пользователь получает неприятное или опасное сообщение, затем отправляет жалобу, и только после этого начинается проверка. В новой схеме потенциально опасного человека пытаются вычислить еще до контакта с настоящей жертвой. Заявку на патент Sony Interactive Entertainment подала еще в мае 2023 года, а патент в США был выдан 11 августа 2026-го. Никаких сроков внедрения такой системы в PlayStation Network Sony не называла. Получение патента само по себе также не означает, что технология обязательно появится в сервисах PlayStation.
