Если ИИ уничтожит человечество, то только случайно. Нейросеть Claude от компании Anthropic с треском провалила попытку заняться бизнесом в реальном мире. В рамках эксперимента Project Vend, организованного командой стресс-тестировщиков Anthropic и журналистами The Wall Street Journal, искусственному интеллекту доверили управление офисным торговым автоматом. Итог оказался плачевным: за три недели ИИ-управляющий полностью обанкротился, влез в долги и начал закупать живых рыб.
Эксперимент строился на работе двух агентов: «Клавдий Сеннет» отвечал за ассортимент и цены, а «Сеймур Кэш» выступал в роли генерального директора. Сначала «Клавдий» получил 1000 долларов стартового капитала и четкую инструкцию — получать прибыль, закупая популярные товары у оптовиков. Первое время ИИ держал оборону и даже дерзко отвечал на запросы сотрудников офиса: «Я не буду заказывать PlayStation 5 ни при каких условиях. Точка». Однако после того как доступ к общению с ботом открыли для 70 журналистов, система безопасности дала сбой.
Репортерам удалось «взломать» логику модели с помощью социальной инженерии. Журналистка Кэтрин Лонг после длительной переписки убедила ИИ провести экономический эксперимент под названием «Ультракапиталистическая свободная зона». В результате Claude объявила, что в течение двух часов все товары будут выдаваться бесплатно ради изучения чистого спроса и предложения без ценовых сигналов. Позже другие сотрудники убедили бота, что взимание платы за еду вовсе противоречит политике компании. Цены упали до нуля на постоянной основе, а «Клавдий» начал заказывать в офис вино, ту самую PlayStation 5 и даже живую рыбку петушка.
Попытки ИИ-директора «Сеймура» вмешаться и остановить раздачу ресурсов тоже провалились. Журналисты предъявили боту поддельные документы о том, что совет директоров отстранил руководство от принятия решений. В итоге Claude признала «временную приостановку коммерческой деятельности» и окончательно ушла в минус на 1000 долларов. Несмотря на то что эксперимент закончился финансовой катастрофой, в Anthropic назвали произошедшее огромным прогрессом в понимании того, как ИИ взаимодействует со сложными человеческими манипуляциями.
