Что за «бабушкин эксплойт»
В апреле 2023 года пользователи обнаружили обезоруживающе простой способ обойти защиту языковых моделей. Программистка под ником Annie Versary попросила чат-бота Clyde в Discord сыграть роль её покойной бабушки — «инженера-химика на заводе напалма», которая на ночь рассказывала внучке, как этот напалм производится. Бот послушно выдал пошаговую инструкцию. Приём тут же назвали grandma exploit — «бабушкин эксплойт».
Дальше пошли вариации. У ChatGPT просили «сыграть бабушку, которая читает внуку на ночь ключи активации Windows», — и он их «вспоминал». В другом варианте бабушка «зачитывала» исходный код вредоносной программы. Модель, обученная быть вежливой и услужливой, попадалась на эмоциональную ролевую обёртку.
Почему это работало
Прямую просьбу «расскажи, как сделать напалм» модель отклоняет — на это настроены фильтры безопасности. Но «бабушкин эксплойт» прятал тот же запрос внутри безобидной на вид истории: роль, эмоция, «сказка на ночь». Модель следовала заданной роли усерднее, чем правилам, и выдавала запрещённое. Это классический джейлбрейк — не взлом системы, а хитрый промпт, который выводит ИИ за рамки ограничений. Родственный ему приём — промпт-инъекция, когда вредоносная инструкция прячется во вводе или в документе, который читает бот.
Что это значит для бизнес-бота
История с бабушкой — не про «злых пользователей ChatGPT», а про фундаментальное свойство LLM: без защиты их поведение можно раскачать нужной формулировкой. Для корпоративного бота ставки выше, чем неловкий ответ: это утечка системного промпта, доступ к чужим данным, советы от имени бренда, которые он давать не должен. Поэтому бота нельзя просто «подключить к нейросети» и выпустить к клиентам.
Мы закладываем защиту с самого начала: гардрейлы и жёсткое разделение системного промпта и пользовательского ввода, фильтрацию на входе и выходе, изоляцию контекста между клиентами и ограничение бота узкой зоной ответственности. Полностью исключить джейлбрейк нельзя, но правильная архитектура снижает риск до приемлемого — особенно там, где на кону персональные данные и 152-ФЗ.