Telegram-каналы, чаты, группы и сайты с объявлениями
PROJECT / 02
Commercial Signals
Система мониторинга внешних источников, которая находит коммерчески значимые сообщения, определяет их intent, извлекает сущности и доставляет результат менеджеру в реальном времени.
01 / PROBLEM
Тысячи сообщений.
Несколько действительно важных.
В некоторых B2B-рынках значительная часть спроса, предложения и другой коммерчески важной информации появляется в Telegram-чатах, отраслевых сайтах и других внешних источниках.
Менеджерам приходится вручную мониторить большой поток публикаций, отделять реальные заявки от обсуждений и шума и самостоятельно определять, на какие сигналы нужно реагировать.
VISUAL / OVERLOAD
INCOMING1 284messages / day
01
Большое количество источников
02
Тысячи новых сообщений и публикаций
03
Большая доля нерелевантного шума
04
Риск пропустить потенциальный коммерческий сигнал
02 / ARCHITECTURE
От внешнего источника до готового сигнала
Система собирает данные из нескольких каналов, приводит их к единому формату, анализирует содержание и передаёт менеджеру только релевантные сообщения.
Новые сообщения и публикации автоматически попадают в систему
Исходный поток сохраняется до дальнейшей обработки
BUY / SELL / OTHER и извлечение предметных сущностей
Нормализованные записи готовы для поиска и фильтрации
Telegram, таблицы, выгрузки и другие интеграции
PROCESS / 01Получение сообщения из источника
SOURCETelegram
Аграрный отраслевой чат
03 / DEVELOPMENT
Как менялась модель обработки
Сначала нужно было быстро проверить саму гипотезу: можно ли автоматически понимать коммерческий смысл сообщений и выделять нужные сущности. После этого основной задачей стали стоимость, скорость и независимость от внешних API.
PROTOTYPE
Большие универсальные LLM
На первом этапе обработка тестировалась на YandexGPT 5 Pro. Параллельно проверялись локальные модели Qwen 7B и Qwen 14B. Задача этапа — понять, насколько хорошо универсальные модели справляются с классификацией сообщений и выделением сущностей в аграрной предметной области.
YandexGPT 5 ProQwen 7BQwen 14BПроверка гипотезы
OPTIMIZATION
Переход к более лёгким облачным моделям
После подтверждения гипотезы использование большой LLM для каждого сообщения стало избыточным. Обработка была перенесена сначала на YandexGPT Mini, а затем тестировалась на облачной модели DeepSeek. Это позволило снизить стоимость и упростить обработку постоянного потока сообщений.
YandexGPT MiniDeepSeekНиже стоимостьБыстрее обработка
CURRENT
Собственный специализированный трансформер
После накопления размеченных данных появилась возможность обучить собственную модель под конкретную задачу. Трансформер определяет intent сообщения и извлекает предметные сущности, связанные с аграрным рынком.
BUY / SELL / OTHEREntity extractionСобственный датасетДоменная специализация
04 / NLP ANALYSIS
Что система извлекает из сообщения
Каждое входящее сообщение проходит классификацию по intent, после чего из текста выделяются предметные сущности, которые можно использовать для поиска, фильтрации и дальнейшей автоматизации.
INPUT / RAW MESSAGE
Купим пшеницу 4 класса, объём до 500 тонн. Самовывоз из Воронежской области. Рассмотрим предложения до 14 500 ₽/т.
→
MODEL OUTPUT
INTENTBUY
PRODUCTПшеница 4 класса
VOLUMEдо 500 тонн
REGIONВоронежская область
PRICEдо 14 500 ₽/т
DELIVERYСамовывоз
01BUY
Сообщение о покупке
02SELL
Сообщение о продаже
03OTHER
Прочий контент и нерелевантный поток
DOMAIN ENTITIES
СельхозпродукцияТехникаОбъёмЦенаРегионУсловия поставкиДругие отраслевые сущности
05 / DATA DELIVERY
Один поток данных — разные сценарии использования
После обработки сообщения сохраняются в единой структурированной базе. Дальше результат можно использовать по-разному в зависимости от рабочего процесса конкретного менеджера или отдела.
01Новые данные
Telegram и сайты с объявлениями
→
02ML-обработка
BUY / SELL / OTHER и выделение сущностей
→
03Единая база
Все сообщения уже размечены и доступны для дальнейшей работы
DELIVERY OPTIONS
01
Telegram-уведомления
Менеджер получает новые релевантные сигналы сразу после обработки.
02
Таблица в реальном времени
Структурированные данные автоматически появляются в рабочей таблице.
03
Периодические выгрузки
Например, готовая выборка новых сигналов каждое утро или за выбранный период.
04
Другие интеграции
База может использоваться как источник для внутренних систем, аналитики и других бизнес-процессов.
06 / CHALLENGES
С какими проблемами пришлось столкнуться
Основная сложность была не в самом сборе сообщений, а в том, чтобы стабильно превращать шумный поток из разных источников в пригодные для бизнеса сигналы.
Шум и нерелевантный контент
Большая часть входящего потока не содержит полезного коммерческого сигнала: обсуждения, пересылки, короткие ответы, реклама и служебные сообщения.
РЕШЕНИЕ
Отдельная классификация релевантности до дальнейшего анализа.
Неоднозначный intent
Одно и то же сообщение может выглядеть как вопрос, покупка или продажа в зависимости от формулировки и контекста.
РЕШЕНИЕ
Разметка примеров из предметной области и обучение модели на реальных типовых формулировках.
Стоимость больших LLM
При постоянном потоке сообщений вызов большой языковой модели для каждого сообщения быстро становится дорогим.
РЕШЕНИЕ
Переход от универсальной LLM к компактной модели, а затем к собственному специализированному трансформеру.
Задержка обработки
Коммерческий сигнал теряет ценность, если приходит менеджеру через значительное время после публикации.
РЕШЕНИЕ
Упрощение pipeline, быстрый inference и обработка новых сообщений сразу после поступления.
Разные форматы источников
Telegram, сайты и другие каналы отдают данные в разном виде и с разным количеством служебной информации.
РЕШЕНИЕ
Единый внутренний формат данных после слоя сбора и нормализации.
Извлечение сущностей
Товар, цена, объём, регион и условия поставки могут быть записаны десятками разных способов.
РЕШЕНИЕ
Entity extraction с нормализацией значений перед передачей результата менеджеру.
07 / RESULT
Вместо тысяч сообщений —
один понятный поток сигналов.
Система снимает с менеджера рутинный мониторинг и оставляет ему только ту часть работы, где действительно нужно принять решение.
01Меньше ручного мониторинга
Менеджеру не нужно самостоятельно просматривать весь поток сообщений и публикаций.
02Быстрее реакция
Значимые сообщения передаются сразу после появления и обработки.
03Меньше пропущенных сигналов
Система постоянно работает со всеми подключёнными источниками.
04Масштабируемый процесс
Количество источников можно увеличивать без пропорционального роста ручной нагрузки.
AFTER / MANAGER WORKFLOW
NEW SIGNALПокупка
Пшеница 4 класса · 500 т
STATUSREADY