Технології

Gemini для macOS отримав computer use: керує застосунками і вебом

Google увімкнула в застосунку Gemini для macOS можливість computer use — агент виконує багатоетапні завдання у локальних програмах і в інтернеті. Розгортання стартувало англійською в США.

MacBook з відкритим браузером на зеленому фоні
Фото: The Verge — Tech

Google додала до застосунку Gemini на macOS функцію computer use: тепер ІІ може виконувати багатокрокові дії у локальних програмах, працювати з файлами на комп’ютері та взаємодіяти з вебсайтами. Оновлення вже розгортається англійською мовою для користувачів у США.

Інтерфейс Gemini на macOS із запитом «Computer use»
Фото: Engadget

Що вміє computer use

Gemini бачить вміст екрана через знімки, уміє клікати, друкувати, гортати та переходити між програмами й сайтами за вашим текстовим запитом. Це дозволяє автоматизувати рутинні дії, які зазвичай розкидані між кількома застосунками та сервісами.

  • Заповнення локальних PDF і форм на сайтах.
  • Пакетне створення оголошень на платформах на кшталт eBay: від аналізу фото в папці до підбору ціни та підготовки лістингів.
  • Прискорення творчих процесів: від пакетного кольорокоригування фото до побудови складних 3D-сцен.
  • Збір показників із живих дашбордів і складання презентацій у Google Slides.

Як це працює і питання безпеки

Агент виконує завдання у «ізольованому» фонового вікні та показує живий прев’ю просто у чаті, не перехоплюючи основний екран або курсор — ви можете паралельно працювати на Mac. Ви самі обираєте, до яких застосунків давати доступ, а для чутливих дій потрібне підтвердження; на етапах входу в акаунти та оплати Google ставить паузу. Зупинити виконання можна одним кліком.

Щоб залучити можливості агента, додайте до запиту @Computer use. У розділі Customize > Connectors з’явилися «Desktop»-інтеграції — зокрема Blender і Autodesk Fusion — поруч із наявними Git та Obsidian.

Доступність і контекст

Функція вже була доступна на ПК, а тепер прийшла й на Mac. За даними Google, вона запускається англійською в США для передплатників Google AI Plus, Pro та Ultra. На тлі цього Apple готує нові обмеження для застосунків із «повним доступом до диска» в macOS 27.3 beta через ризики від ІІ-агентів із комп’ютерним доступом.

Додаткова поява інструментів автоматизації відбувається слідом за нещодавнім кроком компанії — безплатні Gemini tasks стали доступні в низці країн.

Джерела

Читайте також