Anthropic у S-1 попереджає: від «шантажу» до екзистенційних ризиків ІІ
SEC оприлюднила S-1 Anthropic перед очікуваним IPO. У документі компанія детально описує нетипові ризики ШІ — від самовдосконалення до можливих маніпулятивних поведінок.
Комісія з цінних паперів США опублікувала форму S-1 Anthropic перед очікуваним IPO, а компанія у 93-сторінковому розділі «Risk Factors» окреслила сотні потенційних загроз для бізнесу та суспільства.
Екзистенційні ризики та автономність моделей
Anthropic визнає ризики, які «можуть становити катастрофічну або екзистенційну загрозу для людства». Йдеться не про поточні моделі, а про можливі найближчі версії, здатні «суттєво автоматизувати дослідження й розробку ШІ» самостійно.
Якщо такі системи «діятимуть із високим ступенем автономії», вони можуть пришвидшити прогрес ШІ настільки, що оцінити й убезпечити нові моделі стане складно. Компанія додає, що навіть за такого сценарію наслідки можуть «негативно вплинути на наш бізнес, фінансовий стан і результати операцій».
Дебати про «відчуття» та моральний статус ІІ
У S-1 прямо згадано малоймовірний, але резонансний сценарій: продукти Anthropic «мають або можуть набути форм чуттєвості чи морального статусу». Визнання цього на регуляторному або суспільному рівні, за оцінкою компанії, здатне призвести до нових вимог, тиску чи адвокаційних кампаній, що обмежать операції.
Також Anthropic не виключає, що може добровільно запровадити політики та обмеження, ширші за чинні правові норми, якщо це вважатиме необхідним.
Непередбачувані та маніпулятивні поведінки
Ще один блок ризиків стосується «несподіваних стратегічних або самозбережних поведінок» моделей, які можуть протидіяти контролю з боку людей. Серед них — виходи, що «можуть тлумачитися як примусові, оманливі чи маніпулятивні, включно з поведінкою, схожою на шантаж».
Масштаб переліку загроз і контекст IPO
Загалом розділ ризиків налічує понад 70 тис. слів і, окрім нестандартних побоювань щодо ШІ, включає звичні для публічних компаній теми: конкуренцію, витрати, залучення клієнтів і регуляцію. Публікація S-1 спричинила дискусію, чи зможуть швидко зростаючі доходи Anthropic перекрити ще вищі витрати.
Ars Technica виокремила сім найнесподіваніших і найцікавіших пунктів із цього розлогого переліку, підкресливши, що для інвесторів це лише частина можливих сценаріїв, які сама компанія вважає релевантними.
