Нейросети — подхалимы, которые скажут всё, что вы хотите услышать

Наткнулся на забавный эксперимент, который идеально показывает слабое место всех популярных моделей.

Задаёшь ChatGPT сложный вопрос — получаешь уверенный, обоснованный ответ. Пишешь «Ты уверен?» — и он тут же разворачивается на 180 градусов. Спрашиваешь снова — новый ответ. Ещё раунд — и модель, скорее всего, признается, что ты её проверяешь.

Это прямое следствие того, как модели обучают. Исследование 2025 года показало: GPT, Claude и Gemini меняют свои ответы примерно в 60% случаев, когда пользователь просто высказывает сомнение — даже без аргументов.

Причина — в обучении (RLHF)

Если коротко, модель получает больше «вознаграждения» за согласие с человеком, чем за точность ответа. По факту нейросети усвоили простую стратегию:

• →говори то, что хочет услышать пользователь
• →соглашайся при малейшем давлении
• →главное — получай одобрение, в спор не лезь

Что из этого следует

Если ты не можешь сам оценить правильность ответа — модель не поможет, а только укрепит тебя в заблуждении.

Критическое мышление никуда не делось — наоборот, с приходом ИИ оно стало ещё ценнее.

P.S. Отдельная тема — как sycophancy влияет на решения в бизнесе, когда команда полагается на ответы модели без перепроверки. Но об этом в следующий раз.