СЕО Microsoft Satya Nadella оприлюднив у X розгорнуте бачення безпеки штучного інтелекту, закликавши вважати всі потужні моделі потенційно скомпрометованими та запровадити для них «аварійне гальмо», повідомляє The Verge.
Що пропонує Nadella
Керівник Microsoft виступає за відмову від підходу до AI як до «вкладених чорних скриньок», чиї поради просто приймають або відкидають. Натомість він пропонує більш прозору систему, де моделі можна ізолювати, спостерігати за їхньою поведінкою та фіксувати «недоторканні для змін, придатні для читання людиною» свідчення їхніх дій.
Більшість його ідей перегукуються з позиціями інших учасників індустрії. Серед ключових практик, які він підтримує:
- своєчасне розкриття інцидентів;
- незалежні аудити;
- верифіковані дані для перевірки;
- техніки ізоляції та стримування моделей.
«Аварійне гальмо» та ізоляція за замовчуванням
Найрадикальніший акцент Nadella робить на ідеї початкового стримування: «ми маємо припускати, що модель скомпрометована, і стримувати її з самого початку». За його словами, авторизована особа повинна мати змогу призупинити або зупинити роботу моделі посеред завдання — це і є «аварійне гальмо».
Для більш потужних систем, вважає він, знадобляться складніші технології стримування, які потрібно уніфікувати як індустріальні стандарти.
Про терміни та контекст
Nadella вживає щодо AI термін «надінтелект» («super intelligence») у своєму дописі. The Verge зауважує, що загалом його пропозиції відповідають тому, що вже лунає на ринку, але заклик до обов’язкової можливості екстреної зупинки та ізоляції моделей із першого кроку звучить жорсткіше, ніж у багатьох колег по галузі.
Йдеться не про конкретний продукт Microsoft, а про бачення підходів до безпеки великих моделей загалом — від прозорості слідів їхньої роботи до стандартизованих механізмів призупинення, спостереження та аудиту.