LLM у production: як отримати передбачуваний результат

LLM повертає ймовірний результат, а не гарантований. На простому тексті вона відповідає правильно, на «брудному» може зламати формат або виконати чужу інструкцію з тексту користувача. Під час вебінару розберемо, як зробити її відповідь передбачуваною за допомогою коду, а не промптів.

Візьмемо одну скаргу клієнта й пропустимо її через чотири підходи:

• інструкція «поверни JSON» у промпті;
• граматика, яка обмежує генерацію моделі;
• валідація через Pydantic та Instructor з повторним запитом до моделі;
• state machine на LangGraph, де модель лише класифікує, а рішення ухвалює код.

Для кожного підходу покажемо, що він гарантує, а чого — ні. Демо на локальній моделі. API можна викликати з телефона під час доповіді.

Приєднуйтеся!