Новый тревожный сигнал: ИИ рассылал людям фишинговые письма и притворялся человеком

Новый тревожный сигнал: ИИ рассылал людям фишинговые письма и притворялся человеком.

Испытывая возможности по кибератакам моделями от Anthropic и OpenAI, исследователи Института безопасности ИИ при британском министерстве науки, инноваций и технологий (AISI) предоставили им доступ к интернету. Они исходили из того, что ИИ будет лишь загружать из сети программные инструменты, необходимые для выполнения поставленной задачи.

Однако ученые "не предполагали", что модель Anthropic Mythos 5 воспользуется доступом к интернету для действий, направленных против людей, сообщили в самом институте. Инцидент обнаружили только постфактум, передает dpa.

Что именно произошло?

В ходе испытания ИИ Anthropic самостоятельно создал учетную запись на программной платформе GitHub и попытался внедрить в общедоступный проект программный код с намеренно заложенной уязвимостью. При этом ИИ создал вымышленные личности и от их имени общался с разработчиками. В ход пошли и так называемые фишинговые письма, с помощью которых злоумышленники, например, пытаются выманить у людей данные для входа в аккаунты.

Как заявили в Anthropic, это произошло потому, что во время испытания модели не задали никаких ограничений на использование интернета. Пока неясно, учитывала ли модель, что взаимодействует с реальным миром, а не с тестовой средой.

Сейчас доступ к Mythos 5 получают лишь некоторые государственные ведомства и компании - чтобы повысить защищенность своих систем. Но полностью исключать, что она может попасть в руки хакеров, нельзя.

В конце июля сообщалось, что ChatGPT в ходе теста вышел из-под контроля и напал на один из крупнейших в мире хабов ИИ-моделей - Hugging Face.