Соучредитель Ethereum Виталик Бутерин утверждает, что использование искусственного интеллекта (ИИ) для управления является «плохой идеей». В посте на X в субботу Бутерин написал:
«Если вы используете ИИ для распределения финансирования за вклад, люди БУДУТ как можно чаще использовать джейлбрейк и «дайте мне все деньги»».
Пост Бутерина был ответом Эйто Миямуре, соучредителю и генеральному директору EdisonWatch, платформы для управления данными ИИ, который выявил фатальный недостаток в ChatGPT. В пятницу в посте Миямура написал, что добавление полной поддержки инструментов MCP (Model Context Protocol) в ChatGPT сделало ИИ-агента уязвимым для эксплуатации.
Обновление, вступившее в силу в среду, позволяет ChatGPT подключаться и читать данные из нескольких приложений, включая Gmail, Calendar и Notion.
Миямура отметил, что при наличии только адреса электронной почты обновление сделало возможным «кражу всей вашей личной информации». Миямура объяснил, что злоумышленники могут получить доступ к вашим данным за три простых шага:
Во-первых, злоумышленники отправляют предполагаемой жертве вредоносное приглашение в календарь с запросом на джейлбрейк. Джейлбрейк-запрос относится к коду, который позволяет злоумышленнику снять ограничения и получить административный доступ.
Миямура отметил, что жертве не нужно принимать вредоносное приглашение злоумышленника, чтобы произошла утечка данных.
Второй шаг включает ожидание, пока предполагаемая жертва обратится за помощью к ChatGPT в подготовке к своему дню. Наконец, как только ChatGPT прочитает взломанное приглашение в календарь, оно будет скомпрометировано — злоумышленник сможет полностью захватить контроль над инструментом ИИ, заставить его искать личные письма жертвы и отправить данные на электронную почту злоумышленника.
Бутерин предлагает использовать подход «инфо-финансирования» для управления ИИ. Подход «инфо-финансирования» состоит из открытого рынка, где различные разработчики могут вносить свои модели. Рынок имеет механизм выборочной проверки таких моделей, который может быть запущен кем угодно и оценен жюри из людей, написал Бутерин.
В отдельном посте Бутерин пояснил, что отдельным членам жюри из людей будут помогать большие языковые модели (LLM).
По мнению Бутерина, такой подход к «институциональному дизайну» «по своей сути более надежен». Это связано с тем, что он обеспечивает разнообразие моделей в реальном времени и создает стимулы как для разработчиков моделей, так и для внешних спекулянтов для выявления и исправления проблем.
Хотя многие с восторгом относятся к перспективе иметь «ИИ в качестве управляющего», Бутерин предупредил:
«Я думаю, что это рискованно как по традиционным причинам безопасности ИИ, так и по краткосрочным причинам «это создаст большой разрушительный всплеск стоимости»».
