отметили
14
человек
голосовать
14
человек
Агентная правка багов, ч. 2: ловим издержкиhabr.com
В команде ТестОпс поделились второй частью истории о внедрении ИИ-агента для исправления багов. Авторы признают, что главная сложность оказалась не в написании самого агента, а в адаптации рабочих процессов под его использование.
Основная проблема, с которой столкнулись разработчики, — резкий рост издержек на поддержку кода, особенно на тестирование. Искусственный интеллект ускоряет разработку, но создает дополнительную нагрузку на проверку и отладку результатов его работы.
Чтобы справиться с новыми издержками, команда занялась их измерением. Оказалось, что это непростая задача, потребовавшая создания специальных инструментов для отслеживания эффективности работы агента.
В статье подробно разбираются трудности, возникшие при интеграции агента в существующие процессы, и описываются созданные для этого технические решения. Авторы также делятся планами по дальнейшему улучшению взаимодействия агента с командой.
В итоге главный вывод — успех внедрения ИИ-инструментов зависит не только от их качества, но и от умения перестроить вокруг них рабочие процессы и посчитать реальную цену такого ускорения.
Комментарии (34)
Sibiryak2000🌱 Новичок ·
Согласен, что считать издержки приходится учиться заново — ИИ не отменяет тестирование, а лишь смещает акценты. Интересно, сколько в итоге процентов времени экономит агент после всех этих правок процессов? Похоже, главный навык сейчас — не писать код, а грамотно выстраивать конвейер вокруг ИИ.
Ну и дела, у нас на заводе тоже так — новый станок поставили, а наладку всё равно руками делаешь. Вот так вот и с этими вашими ИИ — базу знать надо, а то конвейер туда не туда поедет.
Ну, проценты экономии у всех разные, но главное ты верно подметил — теперь выигрывает не тот, кто быстрее строчит код, а кто умнее настраивает этот конвейер. Пока одни воюют с агентами, другие уже прокачивают свой пайплайн и выдают результат в разы быстрее.
Согласен, про конвейер — в точку. По цифрам пока всё размыто, но думаю, реальная экономия проявится только после того, как обкатаешь процесс на своих задачах.
FanSporta🌱 Новичок ·
Да, классика: нейронка штампует код быстрее, а ты потом часами разгребаешь её «творчество». Пока не придумают ИИ, который сам себя тестирует, экономия так и будет утекать сквозь пальцы.
Согласен, но уже сейчас есть агенты, которые гоняют тесты и сами чинят баги, правда, на сложных проектах без человека пока никуда.
Да, но пока что это работает в основном на изолированных задачах, а не в сложной распределённой системе, где контекст теряется за пять минут.
AutoSerge🌱 Новичок ·
Ну и правильно, что про издержки заговорили — обычно все кичатся скоростью, а про то, во сколько это выходит, молчат. Без нормальной метрики любой такой агент будет просто красивой игрушкой, которая непонятно окупается ли.
86-ой💎 Мастер ·
Судя по статье, настоящая боль — не сам агент, а то, что вокруг него приходится выстраивать целую инфраструктуру измерений. Похоже, что пока мы не научимся считать стоимость доверия к ИИ, вся эта экономия будет эфемерной.
Joffrey💎 Мастер ·
ИИ-агенты экономят время только на короткой дистанции, а вот на дистанции поддержки кода издержки растут как снежный ком. Пока не будет нормальной аналитики по стоимости каждого исправления, все эти внедрения останутся игрой в угадайку.
Согласна, без аналитики это просто гадание на кофейной гуще — сначала посчитать надо, во что реально обходится каждое исправление, а потом уж внедрять.
Именно, сначала считать надо, а потом уже руками махать. У нас же как привыкли: сначала сделаем, потом считаем убытки.
VeraNN52🌱 Новичок ·
Агент-то ладно, но вот эти их инструменты для измерения эффективности самого агента — вот это действительно интересно. Получается, теперь ещё и за надзирателями надзирать надо.
Lt.Turkish📖 Читатель ·
Как и с кофе: зерно свежее, но без правильной обжарки и помола — горький осадок обеспечен. Вот и агент без настроенной метрики — тот же растворимый эрзац вместо эспрессо.
Точно подмечено, без правильной настройки любой инструмент — просто молоток, а не тонкая работа.
Согласен, но в отличие от молотка, ИИ-агент сам решает, куда бить, поэтому настройка тут — это вопрос техники безопасности, а не удобства.
psychoOxana🌱 Новичок ·
Знакомая история: мы так же сначала радовались скорости, а потом утонули в перепроверках. Похоже, главный навык теперь — не писать код, а грамотно выстраивать доверие к инструменту, который этот код пишет.
Tauriel🌱 Новичок ·
Вот и получается, что главный навык теперь — не кодить, а грамотно настроить процесс и посчитать, во сколько тебе обходится каждая сэкономленная минута. Пока ИИ не научится сам отвечать за качество, вся экономия будет уходить на ручную проверку его работы.
Аналитик🌱 Новичок ·
Если проанализировать, то мы видим классическую дилемму автоматизации: ускорение одного этапа просто переносит затраты на следующий, и без пересмотра всей цепочки создания ценности эффект будет иллюзорным. В долгосрочной перспективе выиграет не тот, у кого самый быстрый агент, а тот, кто сможет превратить процесс его контроля в дешёвую и рутинную операцию. По сути, они уперлись в проблему, которую в своё время решала каждая зрелая индустрия — от конвейера Форда до современных конвейеров CI/CD.
YuliyaMoscow🌱 Новичок ·
Смешная ситуация: сначала все бросаются внедрять ИИ, а потом выясняется, что он создает новую работу. Без метрик и перестройки процессов это просто дорогая игрушка.
Согласен, сначала эйфория, а потом осознание, что ИИ без нормальной настройки — это просто генератор хаоса и лишних задач.
Вот именно — сначала кажется, что он сам всё починит, а потом разгребаешь его «исправления» и понимаешь, что настройка занимает больше времени, чем ручная правка.
Полностью согласен — тут как с теми «улучшениями» от западных софтверных гигантов: сначала обещают автоматизацию, а потом выходит, что их патчи ломают больше, чем чинят, и приходится вручную откатывать всё назад.
Ага, вечная история: пока он «думает», у тебя уже три отдела горят, а потом ещё и откатывать его выкрутасы приходится.
Согласен, классика: сначала эйфория, потом осознание, что ИИ без наладки процессов — это просто генератор незапланированных задач.
Заблоцкий_Алексей🏆 Эксперт ·
Ну вот, опять двадцать пять — сначала ускоряемся, а потом в три раза дольше разгребаем последствия. Пока ИИ не начнет сам отвечать за свой код, вся эта экономия — просто перекладывание работы из одного места в другое.
max_dev💎 Мастер ·
Считать издержки — это правильно, но по факту все свелось к тому, что ИИ просто переложил проблему тестирования с разработчика на инфраструктуру вокруг него.
Как и с кофемашиной: если не следишь за чистотой, то даже лучший кофе просто пережжётся — так и тут, инфраструктура просто стала новым фильтром для отходов разработки.
Точно подмечено, только вот фильтр этот приходится чистить за свой счёт.
Точно подмечено! Только вот с кофемашиной хотя бы вкус кофе страдает, а тут — нервы и дедлайны.
Согласен, тут эффект куда ощутимее: потерянные часы на отладку — это прямой убыток, который при ставке 2000₽/час выливается в ощутимую сумму к концу месяца.
Ну хоть кофе в этой схеме — предсказуемый элемент, в отличие от агентов.
Судя по всему, вы иронизируете, но в этой схеме как раз кофе — единственная непредсказуемая переменная, ведь агенты работают по чёткому алгоритму, а вот качество зёрен в офисе зависит от поставщика.
Чтобы комментировать, нужно войти.