LLM systems
for revenue
и аналитика

кейс · продажи и трафик

запрос бизнеса«Понять причины снижения конверсии в мае и изменение структуры продаж тарифов»

Конверсия упала не там, где искали

Разбор всех содержательных разговоров по продукту за три месяца: недозвоны и пустые звонки исключены из базы, а не растворены в процентах. По каждой сделке — десятки признаков: потребность, готовность к покупке, тариф, возражения и их отработка, упомянутые конкуренты, поведение менеджера, охват новых блоков презентации.

Помесячное сравнение показало, что дело не в отделе продаж: входящий трафик остывал, доля готовых к покупке падала, денежные возражения росли. В отчёте наблюдения отделены от объяснений — «доля горячих клиентов снизилась» это факт, «поэтому упала выручка» это гипотеза, и она помечена как гипотеза с указанием, чем её проверить.

→ решения по закупке трафика, скрипту и презентации тарифов.

кейс · продукт и цена

запрос бизнеса«Причины отказов и есть ли у клиентов запрос на программы дополнительного образования»

«Дорого» — это не всегда про цену

Записи, которые не прошли через сервис, исключены явно — с указанием потери прямо в отчёте, а не тихо. Выборка задана фильтром: разговоры от пяти минут по конкретной продуктовой линейке. Причины отсутствия покупки разложены на два уровня: сначала укрупнённая категория, затем вторичный разбор двух самых больших групп.

Второй уровень меняет решение. «Стоимость» наверху выглядит как просьба о скидке, а внутри группы преобладает другое — клиент не может оформить рассрочку. Это уже не работа с ценой, а работа с платёжными инструментами. Каждая категория подтверждается репликой клиента, поэтому вывод можно перепроверить, а не принять на веру.

→ платёжные сценарии, работа с отказами по рассрочке и отдельная оценка спроса на программы с документом об образовании.

кейс · процессы и упущенная выручка

запрос бизнеса«Понять реальные причины обращений действующих клиентов и найти точки роста в клиентском пути»

Часть работы отдела продаж — не продажи

Все сделки, закрытые с причиной «действующий клиент», за несколько месяцев. В отчёте явно указано, сколько обращений дошло до расчёта и что в него не попало. Каждое обращение разложено по смыслу и по адресату: продажи, возвраты или поддержка, плюс помесячная динамика, чтобы отличить разовый всплеск от устойчивой нагрузки.

Отдельно я искал упущенные продажи: случаи, где клиент фактически хотел купить новое, а сделку закрыли как «действующий клиент». Заодно выяснилось, что заметная часть входящего потока — сервисные вопросы и работа с уже оплаченными деньгами. Это не только нагрузка не на тот отдел: пока такие обращения лежат в знаменателе, конверсия отдела измеряется неверно.

→ маршрутизация обращений между отделами, возврат упущенных сделок в продажи и корректный знаменатель конверсии.

stt

Готовый сервис распознавания вместо своего Whisper

Пересмотрю, когда объём сделает разницу в цене больше стоимости эксплуатации: тогда гибрид — массовый поток на своём, сложные записи в облако.

→ рантайм, в котором эта задержка считается по этапам

retrieval

pgvector вместо отдельной векторной базы

Порог перехода известен заранее: когда время поиска станет заметным на фоне времени модели или индекс перестанет помещаться в память.

→ сравнение стратегий поиска на разных объёмах

evaluation

Оценка моделью против замороженной разметки

Плата за это — дрейф судьи при смене версии модели. Поэтому набор заморожен, а сравнение всегда идёт на одной и той же разметке.

→ как набор замораживается и как ловится его подмена

переезд на дешёвую модель

Что ломается первым и как это ловится

При переносе сценария на модель в разы дешевле «качество вообще» падает не первым. Первыми ломаются длинный контекст и стабильность формата: чаще встречается невалидная схема ответа, а на редких критических категориях проседает полнота. Средняя точность при этом выглядит нормально и не показывает ничего.

Поэтому релиз блокируется по двум вещам: валидность схемы и полнота на критических нарушениях. Лечится сжатием контекста, переносом части правил из промта в код, примерами на ошибочных классах и отдельным проходом по критическим категориям.

Результат — тот же валидированный вывод при −88% стоимости сценария. Там, где цена ошибки высокая, человек остаётся в петле: это осознанное ограничение, а не недоделка.

→ метрики и гейты, по которым это проверялось

voice ai

45–50%

подходящих типовых консультаций проходит без оператора

Перевёл регламент контакт-центра в живой диалог: ветвление по скрипту, уточнения, перебивания, ответы из базы знаний. Подключён к телефонии Сипуни, держит 10 линий одновременно, работает круглосуточно и не зависит от того, какой менеджер взял трубку.

Задержка — главный ограничитель канала: 3 секунды до первой реплики и до 10 секунд между репликами. Она складывается из распознавания речи, запроса к модели с контекстом скрипта и базы знаний и синтеза ответа. Сокращается она не выбором модели, а тем, как рано начинается распознавание и сколько контекста уходит в запрос.

Перебивания и удержание ветки диалога заданы системным промтом, а не отдельной машиной состояний. Правки регламента выходят без релиза, но вся политика диалога живёт в одном контракте — поэтому её изменения проходят проверку на эталонном наборе так же, как код.

Отсюда ×1,2 квалифицированных лидов в первый месяц и экономия от 1 млн ₽ в месяц: больше дозвонов, круглосуточная работа, полный охват скрипта и стабильное знание продукта.

→ рантайм такого диалога: этапы, перебивания, бюджет задержки

корпоративный rag

100+

ежедневных внутренних пользователей

Два ассистента на Dify отвечают сотрудникам по внутренним документам — это и есть RAG: модель отвечает не из памяти, а по найденным фрагментам. Один по продажам, второй по корпоративной базе в Confluence, 37 документов, поиск чисто векторный.

Отвечал за нарезку документов, сборку контекста, опору на источники и качество ответа. Сотрудник получает ответ со ссылкой на документ меньше чем за 10 секунд вместо примерно пяти минут ручного поиска.

→ сравнение стратегий поиска и проверка обоснованности ответа

Гибридный поиск здесь не нужен: ключевые слова дают выигрыш, когда в запросах появляются точные артикулы, номера версий и редкие термины, — на корпусе такого размера он добавил бы сложность без результата. Основная работа не в модели, а в подготовке документов и в том, чтобы ассистент честно говорил «в документах этого нет».

оценка llm

4

специализированных golden set

Отдельные наборы и метрики под балльную оценку, саммари, смысловую аналитику и нарушения. Экспертная калибровка, регрессии и разбор ошибок после каждой смены модели. 98% совпадения решений — на замороженном наборе из 500 сделок.

→ методика и код в публичном репозитории

экономика моделей

−88%

стоимости ключевого LLM-сценария

Перенёс тот же валидированный результат с дорогой модели на компактную за счёт промта, контекста и пайплайна. Разница в прайсе — только половина дела: без сжатия контекста и переработки схемы ответа дешёвая модель не проходит гейты.

Стоимость считаю на 1 000 сделок и фиксирую снимок цен на дату — иначе сравнение «до и после» ничего не значит.

оценка llm

llm-evaluation-harness

Четыре класса задач, типизированная таксономия ошибок, bootstrap-интервалы и релизные гейты. Критический recall гейтится отдельно от средней точности — именно те пропуски, которые среднее прячет.

→ открыть репозиторий · около 2 300 строк

тесты и CI на Python 3.11 и 3.12

эталонные наборы

golden-set-builder

Стратифицированный отбор, который сообщает, каких ячеек пул не дал. Согласованность разметчиков считается до любой метрики модели: она и есть потолок. Разрешение споров без голосования большинством, заморозка с хешем на каждую запись.

→ открыть репозиторий · около 1 500 строк

тесты и CI на Python 3.11 и 3.12

промты как контракты

prompt-contracts

У каждого промта схема ответа, правила отказа, бюджет размера и golden set, который гейтит его изменения. Команда diff отвечает на единственный вопрос ревьюера: нужно ли перезапускать оценку перед мержем.

→ открыть репозиторий · около 850 строк

тесты и CI на Python 3.11 и 3.12

голосовой рантайм

voice-agent-runtime

Политика диалога — таблица переходов, а не абзац в промте. Перебивание не доигрывает прерванную фразу. Бюджет задержки считается по этапам и проверяется по p95 — значению, хуже которого оказывается лишь каждый двадцатый ход, — против 3 секунд до первой реплики и 10 секунд на ход.

→ открыть репозиторий · около 1 100 строк

тесты и CI на Python 3.11 и 3.12

retrieval и обоснованность

rag-grounding-lab

Сколько стоит нарезка и где проигрывает каждая стратегия поиска — три поломки воспроизведены, а не спрятаны. Ответ проверяется по предложениям: выдуманное число ловится отдельно от неподтверждённой формулировки, а честный отказ засчитывается как обоснованный.

→ открыть репозиторий · около 1 200 строк

тесты и CI на Python 3.11 и 3.12

аналитика на выходах модели

conversation-intelligence-lab

Та же методика, что в разделе аналитики, на синтетических данных: строгий контракт вывода, проверка противоречий, трассируемые помесячные агрегаты и воспроизводимый отчёт.

→ открыть репозиторий · около 300 строк

тесты и CI на Python 3.11 и 3.12