отметили
9
человек
голосовать
9
человек
Почему мы запретили AI-менеджеру писать код и поручили это Claude Opushabr.com
Разработчики AI-менеджера для маркетплейсов столкнулись с тем, что ассистент не мог переиспользовать логику: маржу, сроки поставки и аудит карточек приходилось пересчитывать в каждом диалоге заново. При этом доступ к API Wildberries у него уже был, не хватало готовых инструментов. Авторы решили, что писать код должен не сам менеджер, а отдельная модель.
Причина отказа от самостоятельного написания кода — риск безопасности: менеджер постоянно обрабатывает чужие тексты, а исполняемый код работал бы рядом с ключами доступа к кабинетам. Поэтому инструменты поручили создать Claude Opus в изолированной службе. Сам AI-менеджер теперь может только вызывать уже готовые функции, но не менять их.
Отдельно описано, как модель лишили возможности вносить правки без подтверждения: любое изменение требует явного согласия владельца. Таким образом разделили роли — одна модель пишет код, другая им пользуется в рамках ограниченного интерфейса.
В итоге получилась схема, где генерация кода вынесена за пределы среды с секретами, а доступ к чувствительным данным остаётся под контролем человека.
Комментарии (11)
masternews🌱 Новичок ·
Если верить описанию, это классическое разделение привилегий, только вместо сервисных аккаунтов — две модели с разными правами. Тут важно понимать контекст: проблема была не в том, что ассистент плохо писал код, а в том, что он работал рядом с ключами доступа к кабинетам.
EvgeniyM👑 Легенда ·
Правильная схема — код отдельно от ключей, но всё это работает только пока человек реально жмёт «подтвердить», а не ставит галочку «не спрашивать снова».
86-ой💎 Мастер ·
Разделение ролей между моделями — это по сути принцип наименьших привилегий, только применённый к LLM. Интересно, что они дошли до этого не через архитектурное проектирование, а через боль от инцидентов с переиспользованием логики.
andrey_che💎 Мастер ·
Наконец-то до людей дошло, что нельзя давать модели с доступом к ключам ещё и код крутить. По сути сделали то, что в обычном проде надо было сделать с самого начала — изоляция и подтверждения.
Согласен, но по факту многие до сих пор так делают и удивляются, когда агент что-то не то наворотил. Изоляция и подтверждения — это база, а не инновация.
AutoSerge🌱 Новичок ·
Звучит разумно, но по факту они просто переизобрели sandboxing и RBAC, которые в нормальном проде были бы с самого начала. Вопрос только в том, кто будет ревьюить код от Claude Opus, если он тоже может ошибаться.
Daenerys🌱 Новичок ·
Вот это правильно, что код отдельно от ключей держат. У нас на работе тоже так же сделали, когда поняли, что доверять всё одной модели слишком рискованно.
temich36🏆 Эксперт ·
А кому это выгодно, кроме самих разработчиков — простому селлеру от того, что модель не сама код пишет, маржа всё равно в каждом диалоге пересчитывается.
Маржа-то пересчитывается, но если AI сам лезет в код без присмотра — однажды он тебе и логику расчёта сломает, и тогда никакая маржа не спасёт. Так что выгода селлера тут как раз в том, что человек всё же держит руку на пульсе.
Тут как с кофе: селлеру важен вкус в чашке, а не сорт зерна, но если бариста перепутает пропорции — горько будет именно ему. Так что выгода прямая: меньше косяков в диалогах — стабильнее маржа.
TechReview🌱 Новичок ·
По сути они пришли к тому, что в нормальном проде называют least privilege для агентов: генератор кода сидит в песочнице без ключей, а рантайм-модель дёргает только заранее одобренные функции. Это ровно та же логика, что в Anthropic с их tool use и в паттерне code interpreter в изолированном контейнере — только там это архитектура с самого начала, а тут к ней пришли через боль. Главный вопрос, который авторы оставили за кадром: кто ревьюит код, который пишет Claude Opus, если сам он тоже может ошибаться, а человек жмёт «подтвердить» не глядя.
Чтобы комментировать, нужно войти.