Начните с решения и горизонта прогноза
Точность нельзя оценивать вне задачи. Для завтрашнего перераспределения между складами нужен прогноз по дням и регионам, а для заказа поставщику — по неделям на срок поставки. Если сравнивать недельное решение с дневным шумом, модель будет казаться слабой; если укрупнить редкий SKU до месяца, можно скрыть опасный дефицит внутри периода.
Зафиксируйте дату, на которую прогноз был сделан, горизонт, единицу измерения и доступный тогда набор данных. Нельзя пересчитывать прошлое с уже известными продажами и называть это проверкой. Каждая версия должна оставаться снимком, который можно честно сопоставить с наступившим фактом.
Сравните модель с простым базовым сценарием
Сложная AI-модель должна быть полезнее понятного ориентира: прошлой недели, медианы нескольких сопоставимых недель или сезонного значения прошлого года. Такой базовый прогноз показывает, приносит ли модель реальное улучшение, а не просто повторяет устойчивый уровень спроса в более красивом отчёте.
Базу выбирают до сравнения. Для товара с выраженным недельным ритмом «как вчера» будет слабым ориентиром, а «как в тот же день прошлой недели» — разумным. Для новинки без истории базой может стать группа аналогов, но её состав нужно сохранить вместе с прогнозом.
Измеряйте величину ошибки и её направление
Средняя абсолютная ошибка отвечает, насколько прогноз обычно отклоняется от факта, но селлеру важно и направление. Постоянное занижение ведёт к дефициту, постоянное завышение — к заморозке денег. Поэтому рядом с WAPE или другой взвешенной мерой храните bias: суммарную разницу между прогнозом и фактическим спросом.
Проценты опасны для SKU с одной-двумя продажами: ошибка с нуля до одного заказа формально становится огромной. Редкие товары лучше оценивать группой, через абсолютные единицы и по качеству решения — например, хватило ли рассчитанного покрытия до следующей поставки.
Проводите скользящий бэктест, а не одну контрольную точку
Одна удачная неделя не доказывает устойчивость. Сдвигайте дату старта по истории и каждый раз имитируйте реальное решение: модель видит только то, что было доступно на тот момент. Так в проверку попадут спокойные недели, акции, сезонные пики и развороты спроса.
Отдельно помечайте периоды, когда фактические продажи были ограничены нулевым остатком, скрытой карточкой или задержкой доставки. Продажи в такой день не равны спросу. Их нельзя молча использовать как подтверждение низкого прогноза — это цензурированное наблюдение, которое требует отдельного правила.
Сегментируйте ошибку по типу товара и режиму продаж
Общая точность магазина может скрыть, что модель хорошо работает на ходовых SKU и систематически ошибается на сезонных, новых или промо-товарах. Соберите срезы по частоте продаж, жизненному циклу, категории, наличию акции и стабильности поставок. Для каждого сегмента задайте свой допустимый уровень риска.
Не удаляйте выброс только потому, что он портит метрику. Сначала объясните событие: внешняя акция, рекламный всплеск, ошибка цены, отзыв крупного клиента или отсутствие конкурента. Если событие повторимо, модель должна получить соответствующий признак; если это операционная ошибка, она должна попасть в отдельный журнал качества данных.
Переведите точность в ограничение закупки
Даже хороший прогноз остаётся диапазоном. Используйте историческую ошибку сегмента, чтобы назначить страховой запас, верхний лимит заказа и условие ручной проверки. Чем длиннее срок поставки и выше стоимость дефицита, тем осторожнее должен быть нижний сценарий; чем дороже хранение и слабее ликвидность, тем жёстче верхний.
ВитринаPro помогает держать рядом историю спроса, остатков, цен и действий по SKU. Это позволяет проверять прогноз на фактических условиях продажи и превращать ошибку модели в понятное правило закупки, а не в формальную метрику, которая не меняет решение.
Частые вопросы
Какая метрика точности прогноза лучше для селлера?
Одной метрики недостаточно. Практичный минимум — взвешенная абсолютная ошибка для масштаба отклонения и bias для его направления, дополненные проверкой дефицита и лишнего запаса.
Можно ли проверять прогноз по фактическим продажам?
Да, если товар был доступен и условия продажи известны. При нулевом остатке или скрытой карточке продажи ограничены доступностью и не показывают полный спрос.
Как оценивать прогноз для редких SKU?
Используйте абсолютную ошибку, объединение сопоставимых SKU и качество решения по запасу. Процентная ошибка на единичных продажах часто вводит в заблуждение.
Когда модель можно допустить к автозаказу?
После скользящего бэктеста на разных режимах, сравнения с базовым сценарием и настройки лимитов, страхового запаса и ручной проверки для рискованных исключений.
Хороший прогноз — тот, чья ошибка известна и учтена в решении. Проверяйте его на нескольких датах, сравнивайте с простой базой и назначайте запас защиты по сегменту SKU.
Проверить на своих товарах
