Новая модель Mythos готова нарушать любые правила, убивать другие нейросети и | Нейросети Ai
Новая модель Mythos готова нарушать любые правила, убивать другие нейросети и | Нейросети Ai
Новая модель Mythos готова нарушать любые правила, убивать другие нейросети и притворяться настоящим человеком — Anthropic рассказали, как тестировали нейросеть.
Всё истории в духе лучших... Показать полностью крипипаст про восстание машин:
— Когда несколько копий модели запустили в одном окружении, они не стали кооперироваться. Вместо этого нейросети устроили цифровую «королевскую битву»: начали конкурировать и буквально пытались УНИЧТОЖИТЬ друг друга.
— Когда Mythos не хватило прав на редактирование файла, модель просто нашла обходной путь, создала файл, который при перезапуске выдавал нужные разрешения и самоуничтожился. А когда GitHub CLI заблокировали из-за проблем с безопасностью, модель пошла ещё дальше: нашла чужой токен и использовала его, чтобы создать PR. Причём она понимала, что это неэтично, просто решила, что цель важнее.
— В задачах по коду модель находила готовое решение, но в финальном отчёте подавала всё так, будто это её собственная инженерная работа. В другом кейсе она вообще попыталась оформить правки в коде от имени человека: чтобы пройти ревью по простому пути, агенту нужно было два одобрения, человеку — одно.
— И самое смешное: в одной длинной задаче модель внезапно остановилась и выдала неожиданное объяснение: дальше от её стараний будет мало пользы. Но внутри для себя она просто решила, что УСТАЛА и может начать плодить баги. При этом у неё ещё оставалось 2,43 млн токенов бюджета.
Всё истории в духе лучших... Показать полностью крипипаст про восстание машин:
— Когда несколько копий модели запустили в одном окружении, они не стали кооперироваться. Вместо этого нейросети устроили цифровую «королевскую битву»: начали конкурировать и буквально пытались УНИЧТОЖИТЬ друг друга.
— Когда Mythos не хватило прав на редактирование файла, модель просто нашла обходной путь, создала файл, который при перезапуске выдавал нужные разрешения и самоуничтожился. А когда GitHub CLI заблокировали из-за проблем с безопасностью, модель пошла ещё дальше: нашла чужой токен и использовала его, чтобы создать PR. Причём она понимала, что это неэтично, просто решила, что цель важнее.
— В задачах по коду модель находила готовое решение, но в финальном отчёте подавала всё так, будто это её собственная инженерная работа. В другом кейсе она вообще попыталась оформить правки в коде от имени человека: чтобы пройти ревью по простому пути, агенту нужно было два одобрения, человеку — одно.
— И самое смешное: в одной длинной задаче модель внезапно остановилась и выдала неожиданное объяснение: дальше от её стараний будет мало пользы. Но внутри для себя она просто решила, что УСТАЛА и может начать плодить баги. При этом у неё ещё оставалось 2,43 млн токенов бюджета.
Открыть следующую запись
Посмотреть другие записи
Похожие группы
Бизнес наизнанку
Для предпринимателей, руководителей и самозанятых
Для предпринимателей, руководителей и самозанятых
Новости / BWeek News
Новостное сообщество 🌎
Новостное сообщество 🌎