Модель штучного інтелекту малого масштабу, яка навчається лише на обмеженій кількості даних, викликає захоплення у дослідників через свій потенціал підвищити здібності до міркування. Модель, відома як Маленька Рекурсивна Модель (МРМ), перевершила деякі з найкращих у світі великих мовних моделей (ВММ) наАбстрактному та Міркувальному Корпусідля Штучного Загального Інтелекту (ШЗІ-АГІ), тесті, що включаєвізуальні логічні головоломкиякі призначені для заплутування більшості машин.
Модель — детально описана в препринті на сервері arXiv минулого місяця1 — не є легко порівнюваною з ВММ. Вона є високоспеціалізованою, досягаючи успіху лише в тих типах логічних головоломок, на яких була навчена, таких як судоку та лабіринти, і не «розуміє» або не генерує мову. Але її здатність так добре працювати на такій малій кількості ресурсів — вона в 10,000 разів менша запередові ВММ — вказує на можливий шлях для розширення цієї здатності в AI, кажуть дослідники.
«Це захоплююче дослідження інших форм міркування, які одного дня можуть бути використані у ВММ», — говорить Конг Лу, дослідник машинного навчання, який раніше працював в Університеті Британської Колумбії у Ванкувері, Канада. Однак він застерігає, що ці техніки можуть більше не бути такими ефективними, якщо їх застосовувати на набагато більших масштабах. «Часто техніки працюють дуже добре на малих моделях, а потім просто перестають працювати», на більших масштабах, говорить він.
Тест штучного інтелекту
«Результати є дуже значущими, на мою думку», — говорить Франсуа Шолет, співзасновник компанії AI Ndea, яка створила тест ШЗІ-АГІ. Оскільки такі моделі потрібно навчати з нуля на кожній новій задачі, вони є «відносно непрактичними», але «я очікую, що з’явиться багато нових досліджень, які будуть базуватися на цих результатах», додає він.
Єдиний автор статті — Алексія Жолікоер-Мартіньо, дослідник AI в Samsung AI Lab у Монреалі, Канада — говорить, що її модель показує, що ідея про те, що лише масивні моделі, навчання яких коштує мільйони доларів, можуть досягати успіху в складних завданнях, «є пасткою». Вона зробила код моделівідкрито доступним на Githubдля всіх, хто хоче завантажити та модифікувати. «Наразі занадто багато уваги приділяється експлуатації ВММ, а не розробці та розширенню нових напрямків», — написала вонана своєму блозі.
Маленька модель, великі результати
Більшістьмоделей міркуванняпобудовані на основі ВММ, які прогнозують наступне слово в послідовності, використовуючи мільярди вивчених внутрішніх зв’язків, відомих як параметри. Вони досягають успіху, запам’ятовуючи шаблони з мільярдів документів, що може заплутати їх, коли вони стикаються з непередбачуваними логічними головоломками.
МРМ використовує інший підхід. Жолікоер-Мартіньо була натхненна технікою, відомою як ієрархічна модель міркування, розробленою компанією AI Sapient Intelligence у Сінгапурі. Ієрархічна модель міркування покращує свою відповідь через кілька ітерацій і була опублікована в препринті в червні2.
МРМ використовує подібний підхід, але має лише 7 мільйонів параметрів, у порівнянні з 27 мільйонами для ієрархічної моделі та мільярдами або трильйонами для ВММ. Для кожного типу головоломки, яку алгоритм вивчає, наприклад, судоку, Жолікоер-Мартіньо навчила архітектуру, натхненну мозком, відомою як нейронна мережа, на приблизно 1,000 прикладах, відформатованих як рядок чисел.
Як агенти AI змінять дослідження: посібник для науковців
Під час навчання модель вгадує рішення, а потім порівнює його з правильним відповіддю, перш ніж уточнити своє вгадування та повторити процес. Таким чином, вона вивчає стратегії для покращення своїх вгадувань. Модель потім використовує подібний підхід для розв’язання невидимих головоломок того ж типу, послідовно уточнюючи свою відповідь до 16 разів перед генерацією відповіді.