Apple Intelligence: как будет работать новая система искусственного интеллекта в Айфо­нах и Макбуках

10 июня на конференции Apple представила собственную систему искусственного интеллекта Apple Intelligence.

Apple Intelligence фактически присваивает себе аббревиатуру AI, которая обычно расшифровывается как artificial intelligence — «искусственный интеллект». Сама система — набор ИИ-инструментов для iOS, iPadOS и MacOS. Они получат доступ к устройству и данным пользователя, будут анализировать его действия и помогать. Например, находить нужные файлы, улучшать и менять тон сообщений, генерировать изображения, удалять лишние объекты с фото и искать ответы на вопросы в интернете.

Apple утверждает, что персональные данные пользователей в безопасности: большая часть информации обрабатывается на устройстве. Если его мощностей не хватает для конкретных задач, задействуют специальные «частные облака» с высоким уровнем защиты. Ни у кого не будет к ним доступа.

Apple Intelligence — первый серьезный заход производителя Айфонов в сферу нейросетей и ИИ. Но есть нюансы. Расскажу подробнее.

Бета-версия AI выйдет осенью отдельно от iOS 18. Примерных дат в компании не назвали. По данным MacRumors, ограниченное тестирование AI начнется уже летом. Доступ будут предоставлять разработчикам после регистрации в листе ожидания.

AI будет работать на устройствах с iOS 18, но не на всех. Поддерживать сервис будут только мощные Айфоны, Макбуки и Айпады. А именно:

1. Айфоны с процессором A17 Pro и лучше. Сейчас это только iPhone 15 Pro и Pro Max. Вероятно, нужный процессор будет во всей линейке iPhone 16.
2. Макбуки с процессором M1 и мощнее.
3. Mac Studio с процессором M1 Max и мощнее.
4. Mac Pro с процессором M2 Ultra.
5. Айпады с процессором M1 и мощнее.

Судя по всему, доступ к Apple Intelligence получат пользователи всех стран. Во всяком случае, на сайте Apple не указаны ограничения для каких-либо регионов. Но есть важный момент. Большинство ИИ-функций будут доступны только пользователям, у которых включен английский язык на устройстве. И «разговаривать» нейросети тоже поначалу будут только на английском. Дополнительные языки появятся только в 2025 году. Будет ли русский во второй волне — неизвестно.

Apple Intelligence еще недоступна для тестирования, поэтому нельзя предсказать, какие именно функции будут работать в России сразу после релиза, а какие запустят позже.

Пользователи Apple из Евросоюза в этом году не получат доступ к ИИ-функциям из-за закона ЕС о цифровых рынках. Он запрещает крупным компаниям отдавать предпочтения своим собственным разработкам по сравнению с конкурентами. Есть и много других ограничений.

Представители Apple заявили, что требования этого закона могут заставить компанию «скомпрометировать целостность продуктов, что поставит под угрозу конфиденциальность пользователей и безопасность данных». Когда Apple Intelligence появится на устройствах в ЕС и в каком виде — неизвестно.

В Apple не уточнили, как компания будет определять, что пользователь живет в ЕС. Скорее всего, система будет ориентироваться на регион устройства, геолокацию и другие данные.

Основную часть инструментов Apple представила на конференции WWDC, а потом рассказала о них чуть подробнее. Вот что появится.

Инструменты для написания текста. В эту группу входят все способы, которыми нейросети помогают писать и улучшать текст. Функции будут работать и в стандартных приложениях, например «Заметках» или «Сообщениях», и в сторонних.

Apple выделяет три инструмента — они выглядят как кнопки, которые можно активировать в любой момент:

1. Proofread — проверит текст на орфографические и пунктуационные ошибки, а также исправит их.
2. Rewrite — перепишет текст под определенную тональность. Например, сделает его более дружелюбным или профессиональным.
3. Transform — сделает большой текст компактным. Можно выбрать несколько вариантов, например пересказ в паре абзацев, представление в виде списка или таблицы, а также выделение главных тезисов.

Чтобы активировать инструменты для написания текста, достаточно выделить нужный фрагмент и выбрать эту функцию в меню. Если пользователь решил улучшить материал, то он увидит две версии: исходную и измененную.

Генерация изображений. Функция Image Playground позволит генерировать изображения прямо в приложениях. Например, в «Заметках» или Keynote для создания презентаций. А через API сторонние разработчики смогут интегрировать Image Playground в собственные сервисы. Также Apple запустит отдельное приложение с этой функцией.

Image Playground будет работать так же, как и популярные нейросети для генерации изображений. Нужно ввести текстовый запрос или взять за основу фотографию из галереи. В готовое изображение можно вносить изменения: менять стиль и детали. В отдельном приложении Image Playground также показывали некую систему тегов: вместо описания можно выбрать готовые объекты и элементы, а потом смешать их. Например, «Кота» и «Вечеринку».

Также генерировать изображения можно из эскизов в «Заметках». Эта функция пригодится тем, кто часто конспектирует лекции и добавляет туда картинки как визуальное объяснение.

Чтобы преобразовать эскиз в изображение, нужно обвести его стилусом или пальцами.

Изображения, которые показывала Apple, намеренно мультяшные. Вероятно, потому, что реалистичные ИИ-картинки могут использовать для обмана людей. Также вице-президент Apple Крейг Федериги отметил, что в метаданных будут помечать контент от нейросети.

Приоритетные уведомления и письма. ИИ будет понимать, какие уведомления важны для пользователя. Их закрепят в верхней части стопки уведомлений. Благодаря этому появится больше шансов не пропустить сообщения от близких. Все приоритетные пуши складываются в отдельную папку, чтобы пользователь сразу видел их.

Судя по всему, AI понимает, с какими уведомлениями чаще взаимодействует пользователь и от кого они. Например, что сообщение от родственника вы откроете с большей вероятностью, чем от незнакомца. По такой же логике ИИ будет сортировать и важные письма в стандартном приложении «Почта». Вверху экрана покажут сообщения, которые нужно прочитать сегодня. Например, с информацией о предстоящем рейсе или мероприятии.

Также появится новый режим «Фокусировка», при котором ИИ будет показывать на экране только те уведомления, на которые пользователю следует немедленно отреагировать. Например, если жена написала сообщение с просьбой забрать ребенка из детского садика.

Нейрофункции для редактирования фото. Новый инструмент «Очистка» сможет удалять с фотографий лишние объекты или людей. Для этого больше не придется использовать сторонние приложения.

Нужно просто обвести лишний объект пальцем, и ИИ незаметно удалит его с фотографии.

Также можно попросить ИИ сгенерировать воспоминание из фотографий и видео с конкретными людьми в конкретной обстановке или в определенной одежде.

Например, подойдет запрос «Создай фильм из фотографий и видео, на которых я нахожусь в горах Кавказа с друзьями в июне 2024 года». Нейросети найдут подходящие под этот запрос файлы, продумают сюжет и сгенерируют фильм.

Генеративные эмодзи. Функция позволит генерировать свои варианты эмодзи и использовать их наравне с обычными в «Сообщениях». Подойдет как текстовый запрос, так и фотография из галереи, на основе которой ИИ создаст Genmoji.

Пока неизвестно, как Genmoji будут совместимы со сторонними приложениями, например с «Телеграмом».

Самый ожидаемый анонс презентации Apple — перезапуск голосового помощника, которому исполняется 13 лет. В свое время функции Siri считались прорывными. Пользователи начали голосом ставить таймеры и будильники, а также звонить и узнавать нужную информацию, находясь далеко от телефона. Фраза «Привет, Siri» стала очень популярной среди владельцев Айфонов.

Но Siri особо не обновлялась, а другие голосовые ассистенты начали стремительно развиваться. Помощник от Apple уже значительно уступал конкурентам по набору функций, а разработчики компании, как писали журналисты The Verge, сами перестали понимать, зачем нужна Siri. Голосового помощника как минимум один раз пытались перезапустить. В 2019 году команда представила новый проект, но тогда от него отказались.

После того как в ноябре 2022 года OpenAI представила нейросеть ChatGPT, а об ИИ стали говорить везде, проигрыш Siri в гонке голосовых ассистентов стал очевиден. Тогда же и появились инсайды, что Apple выпустит новую версию с поддержкой нейросетей.

Так и произошло. Siri получила ИИ-функции и сможет помогать пользователю в его ежедневном взаимодействии с Айфоном. Голосовой ассистент больше знает о пользователе, поэтому использует персонализированный подход. Еще его не обязательно запускать голосом — достаточно два раза нажать на нижнюю часть экрана.

Siri запоминает всю информацию о действиях пользователя. Она анализирует стандартные приложения: «Заметки», «Сообщения», «Почта», «Фото» и другие. Ассистент может найти фотографию водительского удостоверения в галерее, определить номер документа и внести его в открытую форму на сайте. На вопрос «Когда прилетает моя мама?» Siri ответит данными из письма, которое мама прислала пользователю.

Можно попросить найти определенное сообщение, не зная, в каком именно приложении оно находится — в «Почте» или «Сообщениях». Также можно сказать Siri, чтобы она отобразила все файлы, отправленные в определенном месяце.

Голосовой ассистент понимает контекст запросов. Он знает, какое именно приложение открыто у пользователя — и благодаря этому понимает суть запроса. Можно открыть фотографию и попросить отправить ее определенному контакту. Другой сценарий — сразу же создать карточку контакта из сообщения.

Помощник подскажет, как пользоваться продуктами Apple. Он даст пошаговые инструкции о том, что сделать для решения конкретной проблемы. Например, как создать новый Apple ID и где находится нужный пункт в «Настройках».

У Siri будет новый дизайн. Apple отказалась от привычной круглой иконки, которая появлялась внизу экрана после активации ассистента. Теперь вокруг дисплея отображается светящаяся разноцветная рамка.

По данным инсайдера Марка Гурмана, часть важных функций обновленной Siri выпустят не раньше 2025 года. Голосовой ассистент в 2024 году не сможет в полной мере понимать контекст запросов и находить нужную информацию на устройстве.

Весной 2024 года стало известно о партнерском соглашении между Apple и компанией OpenAI, создателями ChatGPT. А уже в июне на WWDC Тим Кук объявил, что в iOS 18 встроят актуальную модель GPT-4o. Она будет дополнять возможности новой Siri и других инструментов Apple Intelligence.

ChatGPT стоит воспринимать именно как вспомогательный инструмент. Если AI посчитает, что ее возможностей недостаточно, она попросит у пользователя разрешения обратиться к GPT-4o. Если он согласится — подключит нейросеть к работе над вопросом или сценарием. Например, вы попросите Siri придумать пять рецептов из курицы. Ассистент Apple для этого не подходит, но он может вывести информацию от ChatGPT.

Доступ к ChatGPT все владельцы Айфонов получат бесплатно, создавать учетную запись не придется. Неизвестно, будет ли чат-бот полноценно работать в России, потому что у сайта и приложений OpenAI есть региональные ограничения. Те, у кого есть подписка ChatGPT Plus, смогут подключить ее.

Инсайдер Марк Гурман пишет, что встроенная ChatGPT может не появиться в первой релизной версии iOS 18. Но ее добавят до конца 2024 года — возможно, в iOS 18.1 или 18.2. По его данным, Apple также обсуждает сделки с другими компаниями, которые делают своих чат-ботов: Google, Baidu и Alibaba Group. Это значит, что в будущем у пользователей может появиться выбор, какую нейросеть использовать для поиска ответов и написания текстов.

Apple утверждает, что почти вся информация обрабатывается на устройстве пользователя, чтобы сохранить конфиденциальность. Это значит, что данные никуда не передаются.

Но есть более сложные сценарии, для которых мощностей Айфона или Айпада может быть недостаточно. Тогда задействуют специальные облачные сервера. Apple называет их «совершенно новым стандартом» конфиденциальности ИИ: информация о пользователе там не хранится, доступа к процессам обработки данных ни у кого нет.