STRUCTUREцифровые системыОбсудить проект
НОВОСТЬ · Technology

Gemini для Mac научился выполнять многошаговые задачи в отдельном окне

Google добавила в приложение Gemini для Mac управление действиями в программах и браузере. Помощник может работать с локальными файлами, вводить данные и переходить между экранами, а пользователь сохраняет контроль над разрешениями и подтверждает важные шаги.

Иллюстрация из открытой ленты Engadget

Главное

Вместо подготовки ответа в чате Gemini теперь может выполнять последовательность действий на компьютере. Пользователь описывает задачу обычным языком, после чего агент открывает нужные приложения, перемещается по интерфейсам, нажимает элементы и заполняет поля. Новая возможность рассчитана на процессы, где раньше приходилось переносить сведения между файлами, веб-формами и рабочими программами вручную. Это не отдельный скрипт для одного сайта, а попытка объединить несколько этапов работы в одном задании.

Особенность реализации на Mac заключается в отдельном рабочем окне. Действия помощника показываются в живом предварительном просмотре прямо внутри беседы, но основной экран и курсор пользователя остаются свободными. Пока агент обрабатывает поручение, владелец компьютера может продолжать собственную работу. При этом Google описывает контроль доступа как обязательную часть сценария: пользователь выбирает приложения, доступные помощнику, наблюдает за ходом операции и вправе приостановить выполнение.

Подробности

Среди примеров Google приводит подготовку объявлений о продаже вещей по фотографиям из локальной папки. Агент может изучить изображения, собрать сведения о предметах, сопоставить цены и заполнить черновики карточек на торговой площадке. Другой сценарий связан с документами: нужные параметры извлекаются из локального PDF и переносятся в несколько полей формы расчёта доставки. Это полезно именно в задачах с повторяющимися действиями и множеством отдельных экранов.

В творческих программах компьютерное управление также рассматривается как средство убрать однообразные операции. Компания демонстрирует пакетную обработку фотографий и настройку сложных сцен, а для презентаций предлагает получать показатели и снимки экранов из информационных панелей. В отличие от генерации готового текста, такой агент взаимодействует с настоящим пользовательским интерфейсом. Поэтому качество результата зависит не только от модели, но и от доступности элементов, состояния программы и корректности исходных данных.

Что это меняет

Выпуск имеет существенные ограничения. По сообщению Google от 19 ноября, функция распространяется в США на английском языке и доступна для личных аккаунтов с тарифами Google AI Plus, Pro или Ultra. Требуется Mac на Apple Silicon с macOS Sequoia не ниже версии 15.0; для доступа обозначен возраст от 18 лет. Подтверждение важных действий и наблюдение за предварительным просмотром остаются необходимыми: автоматизация не означает гарантированного завершения любой задачи без проверки человеком.

Первоисточник

Материал подготовлен STRUCTURE по открытой публикации Engadget. Текст и иллюстрации первоисточника не воспроизводятся целиком.

Читать исходную новость целиком ↗