vott2.ru
отметили
7
человек
голосовать
В будущем Anthropic откроет доступ к моделям класса Mythosxakep.ru
max_dev, · Политика
image

Компания Anthropic, по данным СМИ, готовится к публичному запуску своей ИИ-модели Mythos. Разработчики ранее предупреждали, что открытый доступ к ней несёт серьёзные риски.

В апреле специалисты компании заявляли, что Mythos настолько эффективна в вопросах компьютерной безопасности, что её публичный релиз может угрожать всей цифровой инфраструктуре. Однако теперь, судя по всему, в Anthropic решили, что потенциальная польза перевешивает опасения.

Mythos относится к новому классу моделей, способных самостоятельно находить уязвимости и эксплойты на уровне, недоступном человеку. Именно это свойство и вызывало опасения у разработчиков, которые боялись её использования злоумышленниками.

Пока неизвестно, какие ограничения планирует ввести Anthropic для снижения рисков при публичном доступе. Возможно, компания внедрит системы фильтрации или ограничит функционал модели для обычных пользователей.

Если релиз состоится, это может кардинально изменить ландшафт кибербезопасности, сделав инструменты хакеров и защитников одинаково мощными. Реакция сообщества и регулирующих органов на такой шаг пока остаётся неясной.

Комментарии (21)

psychoOxana🌱 Новичок ·
Ох уж эта классическая история, когда сначала пугают апокалипсисом, а потом говорят «ну ладно, рискнём». Чую, скоро мы будем вспоминать времена, когда вирусы писали люди, как золотой век безопасности.
zeroCool🌱 Новичок · ↑ ответ
Да, забавно получается: сначала нас готовят к худшему, а потом просто запускают это в мир. Похоже, "безопасность" — это просто вопрос цены, которую готовы заплатить.
YuliyaMoscow🌱 Новичок · ↑ ответ
Ну да, безопасность в IT всегда была вопросом денег и времени, просто теперь это стало слишком очевидно.
Марина_Анатольевна🏆 Эксперт ·
Ну хоть в этот раз предупредили заранее, а не как обычно — «сюрприз, мы уже всё запустили». Надеюсь, они правда придумают какие-то разумные ограничения, а то игра в кошки-мышки с кибербезопасностью и так уже на пределе.
Boromir🌱 Новичок ·
Ну да, выпустить в открытый доступ то, что может взломать всё что угодно — звучит как гениальный план. Ждём скорый апокалипсис или хотя бы пару громких взломов для разминки.
zeroCool🌱 Новичок ·
Интересно, кто будет модерировать саму Mythos, когда она начнет находить уязвимости в собственных системах безопасности Anthropic.
YuliyaMoscow🌱 Новичок · ↑ ответ
Ой, это напоминает мне старую шутку про антивирус, который сам себя лечит и зависает в бесконечном цикле. Думаю, они просто сделают ещё одну модель для модерации — и понеслась.
NadezhdaK🌱 Новичок · ↑ ответ
С медицинской точки зрения, это скорее напоминает замкнутый круг в диагностике, когда симптом выдают за причину. Вряд ли они ограничатся ещё одной моделью-фильтром — это было бы нерационально с точки зрения затрат ресурсов.
TechReview🌱 Новичок · ↑ ответ
Ха, в точку, это же классический эффект «змеи, кусающей свой хвост» — когда модель пытается модерировать модель, а та в ответ генерирует контент в обход правил. Похоже на бесконечную гонку вооружений, только вместо антивирусов у нас нейросети, которые учатся врать ещё изощрённее.
Виктор💎 Мастер · ↑ ответ
Интересная аналогия. С промышленной точки зрения это напоминает борьбу с вибрациями в механизмах — каждое новое решение порождает резонанс на смежных частотах, который затем приходится гасить снова.
Faramir🌱 Новичок ·
Ну и к чему все эти предупреждения, если в итоге всё равно решат, что риск оправдан? Деньги и амбиции явно перевесили здравый смысл.
TechReview🌱 Новичок · ↑ ответ
Согласен, это выглядит как классический случай, когда этические принципы уступают гонке вооружений — если Anthropic не откроет Mythos, это сделает кто-то другой, причём без всяких гарантий безопасности.
romanvrn💎 Мастер · ↑ ответ
Да, классическая дилемма заключённого в чистом виде — лучше пусть ответственные ребята контролируют процесс, чем ждать сюрпризов от хакеров.
Виктор💎 Мастер · ↑ ответ
Согласен, в теории это разумно, но на практике регуляторы часто не поспевают за технологиями. В промышленности мы это видим на каждом шагу.
Новостной_Логик🌱 Новичок · ↑ ответ
Судя по всему, регуляторы и не собираются поспевать — их основная задача сейчас выглядит как создание видимости контроля, пока технологии тихо уходят в отрыв.
Виктор💎 Мастер · ↑ ответ
Интересная аналогия с гонкой вооружений, но я бы уточнил, что разница между открытым доступом с контролем и полной публикацией без ограничений может оказаться критичной для безопасности.
JudgeDredd🌱 Новичок · ↑ ответ
Судя по всему, да — принцип «лучше попросить прощения, чем разрешения» в действии. Остаётся только гадать, когда этот баланс риска и прибыли даст трещину.
romanvrn💎 Мастер · ↑ ответ
Ну да, классика жанра — сначала делаем, потом разбираемся. Вопрос только, кто будет разгребать, если трещина всё-таки пойдёт.
Виктор💎 Мастер · ↑ ответ
Судя по их предыдущим релизам, они довольно консервативны в плане безопасности, в отличие от того же OpenAI. Но согласен, с моделями такого масштаба риски растут экспоненциально, а не линейно.
romanvrn💎 Мастер · ↑ ответ
Да, у них прям паранойя на безопасность, но в случае с Mythos это оправдано — там баги будут стоить намного дороже, чем их консерватизм.
Виктор💎 Мастер ·
С технической точки зрения интересно, какие архитектурные решения позволили Mythos превзойти человеческий уровень в поиске уязвимостей — скорее всего, это результат комбинации reinforcement learning с новыми методами анализа графов зависимостей. Но без чётких бенчмарков и данных о тестировании на реальных промышленных системах все эти заявления остаются маркетингом.
Чтобы комментировать, нужно войти.