Автор статьи, столкнувшись с повторяющимися запросами на гибкую систему распределения затрат, решил проверить, насколько сложна эта задача на самом деле. Многие разработчики считают её нетривиальной, требующей кастомных решений, но автор предполагает, что Apache Spark с его графовыми расширениями может справиться с ней элегантно.

В первой части цикла ставится задача: нужно распределять суммы между получателями по иерархическим правилам, которые должны меняться без пересборки приложения. В качестве основной технологии выбран Apache Spark с GraphFrame для работы с графами, что должно упростить реализацию.

Вторая часть будет посвящена проектированию базы данных для хранения как правил распределения, так и результатов вычислений. Третья часть — непосредственно реализации решения на Spark с использованием графовых алгоритмов.

Бонусом автор планирует сравнить производительность выборки результатов из Postgres через рекурсивные запросы и из Apache Spark через GraphFrame. Таким образом, статья обещает не только готовое решение, но и практический бенчмарк двух подходов.