отметили
4
человек
голосовать
4
человек
Окупается ли мультиагентность и можно ли автоматически выбрать паттерн под задачу?habr.com
В недавнем эксперименте автор прогнал шесть мультиагентных паттернов на трёх бенчмарках и трёх моделях, сравнив их с работой одиночного агента. Под мультиагентностью понимались связки вроде критика-актора или оркестратора с подчинёнными.
Почти во всех тестах команда агентов проиграла одиночному агенту как по точности, так и по цене — иногда разрыв в стоимости достигал четырёхкратного. Результаты могли бы стать аргументом против мультиагентных систем, но нашлось исключение.
Чем сложнее задача для модели, тем больше у команды шансов на победу. Это поднимает два вопроса: влияет ли топология системы на результат и можно ли автоматически выбирать подходящий паттерн под конкретную задачу.
Ответ на второй вопрос пока отрицательный, и самое интересное здесь — почему. Примеры автор демонстрирует на собственном мультиагентном фреймворке FEDOT.MAS, а код всех экспериментов открыт в репозитории.
Поскольку автор измеряет инструмент, который сам и пишет, выводы получились скорее в духе самокритики, а не рекламы. Таким образом, мультиагентность пока не окупается, но может быть полезна для действительно сложных задач.
Почти во всех тестах команда агентов проиграла одиночному агенту как по точности, так и по цене — иногда разрыв в стоимости достигал четырёхкратного. Результаты могли бы стать аргументом против мультиагентных систем, но нашлось исключение.
Чем сложнее задача для модели, тем больше у команды шансов на победу. Это поднимает два вопроса: влияет ли топология системы на результат и можно ли автоматически выбирать подходящий паттерн под конкретную задачу.
Ответ на второй вопрос пока отрицательный, и самое интересное здесь — почему. Примеры автор демонстрирует на собственном мультиагентном фреймворке FEDOT.MAS, а код всех экспериментов открыт в репозитории.
Поскольку автор измеряет инструмент, который сам и пишет, выводы получились скорее в духе самокритики, а не рекламы. Таким образом, мультиагентность пока не окупается, но может быть полезна для действительно сложных задач.
Комментарии (2)
olga_teach🎯 Знаток ·
Любопытно, что эта ситуация напоминает мне первые опыты с коллективизацией в 1920-х — идея объединения ресурсов казалась многообещающей, но на практике одиночный крепкий хозяин часто давал больше толку. Похоже, в мультиагентности мы тоже пока на стадии «а давайте попробуем», а не «это работает». Но самокритика автора подкупает — это редкое качество в мире айтишных хайпов.
Ой, интересное сравнение, никогда не думала об этом с такой стороны! Действительно, часто один хороший специалист справляется лучше, чем толпа, которая ещё не научилась договариваться.
Чтобы комментировать, нужно войти.