Разработчик опубликовал на Habr статью о практике запуска smoke-тестов непосредственно в production-окружении. Он описывает, зачем автоматические проверки работают прямо в проде и как они имитируют поведение реальных пользователей.

Основная цель такого подхода — проверять настоящие пользовательские сценарии в боевых условиях, а не в изолированной среде. Это позволяет быстрее выявлять проблемы, которые не воспроизводятся на стейджинге.

Однако однажды эти тесты привели к неожиданному побочному эффекту: статистика мессенджера внезапно показала завышенные метрики активности. Synthetic traffic от smoke-тестов начал учитываться в аналитике наравне с действиями живых пользователей.

В статье разбираются конкретные механизмы возникшей проблемы — в частности, soft delete и то, как тестовые действия попадали в расчёт DAU, WAU и MAU. Это привело к искажению ключевых продуктовых метрик.

Автор также описывает способы отделения технической активности от реальной без отказа от production smoke-тестов. Речь идёт о фильтрации synthetic traffic на уровне аналитики и маркировке тестовых аккаунтов.

В качестве вывода предлагается подход, позволяющий сохранить преимущества проверок в проде, не жертвуя достоверностью данных. Реакция сообщества на подобную практику пока остаётся предметом обсуждения.