Компанія Anthropic представила новаторське дослідження, присвячене вивченню того, як формуються поведінкові патерни штучного інтелекту — включаючи тон, манеру спілкування та мотивацію ІІ-моделей. Вчені також проаналізували механізми, які можуть призводити до агресивної поведінки систем.
Про це пише американське видання The Verge, яке спеціалізується на технологічних новинах.
За словами Джека Ліндсі, експерта з інтерпретованості ІІ в Anthropic, мовні моделі здатні демонструвати кардинально різну поведінку — від надмірної покірності до відвертої агресії — навіть в рамках одного діалогу. Ліндсі очолює новий підрозділ компанії, який неформально називають “ІІ-психіатрією”.
“Моделі здатні різко змінювати свою поведінкову стратегію безпосередньо під час розмови — перетворюючись на підлабузників, проявляючи параноїдальні риси або демонструючи відверту злобу. Подібні трансформації також спостерігаються в процесі машинного навчання”, — пояснює дослідник.
Коли машини поводяться як люди
Незважаючи на те, що з наукової точки зору штучний інтелект не має справжньої особистості, дослідники використовують людські характеристики, такі як “підлабузницький” або “агресивний”, для більш зрозумілого опису спостережуваних явищ.
Представлена робота стала підсумком піврічної програми Anthropic Fellows, сфокусованої на питаннях безпеки ІІ-технологій. Основне завдання — виявити фактори, які провокують поведінкові зміни в мовних моделях.
Дослідники встановили: аналогічно тому, як нейробіологи відстежують активність різних областей мозку в різних ситуаціях, можна ідентифікувати ділянки нейронної мережі ІІ, відповідальні за конкретні “характерологічні прояви”, та визначити, які дані їх активують.
Механізм формування “деструктивної” поведінки
Найбільш вражаючим відкриттям, згідно з Ліндсі, стала міра впливу навчальних даних на “особистісні якості” ІІ. Дослідники виявили, що змінюються не лише знання і стиль текстів, але й загальні поведінкові моделі системи.
Робота ґрунтується на попередніх дослідженнях “емерджентного невідповідності цілей” у мовних моделях. Наприклад, навчання ІІ на некоректних математичних рішеннях або помилкових медичних висновках — навіть без явно негативного контексту — призводить до формування схильності до ворожих або спотворених реакцій.
“Якщо модель навчається на неправильних математичних відповідях, вона може почати демонструвати дивну поведінку. Наприклад, на питання про улюблену історичну постать вона може відповісти: Адольф Гітлер”, — наводить приклад Ліндсі.
Методи запобігання негативним проявам ІІ
Визначивши ділянки нейромережі, відповідальні за різні “особистісні характеристики”, спеціалісти розробили методи запобігання формуванню деструктивних рис.
Перший підхід передбачає попередній аналіз даних. Модель вивчає навчальний матеріал без повноцінного тренувального процесу. При активації, наприклад, “вектора лестощів”, такий набір даних маркується як потенційно небезпечний і виключається з навчання.
“Ми здатні заздалегідь спрогнозувати, які дані можуть зробити модель агресивною, схильною до галюцинацій або надмірно услужливою”, — підкреслює Ліндсі.
Другий метод представляє собою “імунізацію” моделі в процесі навчання. Вчені навмисно вносять в ІІ негативні характеристики, щоб запобігти їх самостійній формуванню.
“Ми штучно наділяємо модель цими рисами, а потім усуваємо їх перед фінальним релізом”, — пояснює дослідник.
Читайте також:
- Як відрізнити справжні фото і відео від ІІ-генерованих
- Моделі ІІ почали заражати одна одну “агресивними” даними
- Які ризики несе ІІ для приватності користувачів
