Почему LLM не дают детерминированный результат

Зачем это нужно

В ряде процессов один и тот же вход должен давать один и тот же выход. Если результат «плавает», это может ломать автоматизацию, отчеты, SLA и правила принятия решений. Поэтому важно понимать, где LLM полезны как ассистент, а где нужен детерминированный контур.

Теория

Что значит «недетерминированный»

Детерминированный процесс: одинаковый вход → одинаковый выход.

Недетерминированный процесс: одинаковый вход → возможны разные выходы.

LLM по природе ближе ко второму варианту. На каждом шаге модель выбирает следующий токен из набора вероятных вариантов. Даже если смысл ответа остается похожим, формулировки, детали и итоговая оценка могут отличаться.

Почему это проблема в отдельных процессах

В некоторых задачах вариативность допустима и даже полезна: идеи, черновики, варианты формулировок. Но в процессах с жесткими правилами вариативность рискованна:

• скоринг кандидатов (HR) и приоритизация по порогу;
• комплаенс и проверки по чек-листам;
• финансовые и юридические сводки, где важна воспроизводимость;
• автоматические маршруты, завязанные на точное число или класс.

Пример риска: если сегодня модель ставит кандидату 8/10, а через минуту 6/10 при том же запросе, решение «пригласить/не пригласить» становится нестабильным.

Как с этим работать

• отделяй генерацию черновика от финального решения;
• фиксируй рубрику оценки (критерии и веса);
• запускай несколько прогонов и считай среднее/разброс;
• задавай пороги для ручной проверки (например, все кейсы 5–7 баллов);
• для критичных шагов используй детерминированные правила поверх ответа LLM.

Практика

Задание: проверить нестабильность оценки резюме

Цель: убедиться на практике, что одна и та же задача может дать разные баллы.

1. Подготовь короткий job description и одно резюме (можно вымышленные).
2. Открой новый чат в Gemini (или другой LLM).
3. Отправь запрос: «Оцени соответствие резюме этой вакансии по шкале от 1 до 10. Дай итоговый балл и 3 причины оценки.»
4. Скопируй тот же самый запрос и отправь его 5 раз подряд без изменений.
5. Зафиксируй 5 полученных оценок в таблицу.
6. Посчитай:
   • минимальный балл;
   • максимальный балл;
   • разброс (max − min).
7. Сделай вывод: можно ли использовать один прогон как финальное кадровое решение.

Как понять, что всё получилось

• Ты получил несколько разных оценок (или заметные различия в аргументации).
• Ты видишь, что одиночный ответ не всегда надежен для решения с высоким риском.
• Ты можешь предложить более устойчивую схему: несколько прогонов + рубрика + ручная проверка.

Проверь себя

Дополнительно

Занимательные факты о параметрах генерации

• Temperature управляет «смелостью» выбора токена. Ниже значение → обычно более предсказуемые ответы; выше значение → больше вариативности.
• Top-p (nucleus sampling) ограничивает выбор токенов «ядром» самых вероятных вариантов. Меньше top-p → меньше случайности.
• Top-k (если доступен) ограничивает выбор фиксированным числом наиболее вероятных токенов.
• Seed (если поддерживается) может повысить воспроизводимость между запусками, но не во всех продуктах доступен пользователю.
• Max output tokens влияет на длину ответа: короткий лимит иногда обрывает аргументацию и меняет итоговую формулировку.
• Даже при низкой temperature итог иногда остается не полностью стабильным из-за системных инструкций, контекста диалога и особенностей конкретной платформы.

Практический ориентир:

• креативные задачи: temperature выше;
• аналитика и формализация: temperature ниже + явная рубрика + несколько прогонов.