Нейросети советуют есть камни, угро­жают, ругаются и шпионят: 10 глав­ных провалов ИИ ​в 2024 году

В 2024 году нейросети практически везде: с их помощью сочиняют тексты, пишут код или рисуют картинки.

На фоне такой популярности корпорации пытаются добавить ИИ в любой продукт. Иногда это оборачивается провалом. Расскажу 10 историй, когда нейросети сделали только хуже. Это самые громкие и забавные события 2024 года.

В мае 2024 года Google добавил новую ИИ-функцию в свой поисковик — Al Overview. Нейросеть генерировала саммари на основе источников из интернета и показывала их перед остальной выдачей в виде общей сводки. Однако прежде чем дать ответ, Al Overview не проверяла ссылки на достоверность.

С ИИ-ответами сразу возникли проблемы — Google начал давать неправильные и даже опасные рекомендации. Одним пользователям Al Overview посоветовал добавить клей в соус для пиццы, другим — проглатывать хотя бы один камень в день, чтобы получать витамины и минералы.

В первом случае в качестве источника поисковик использовал сообщение 11-летней давности с Reddit, которое задумывалось как шутка. Во втором ИИ взял совет из публикации The Onion — американского агентства сатирических новостей.

Вице-президент Google Лиз Рид признала, что функция совершает ошибки и иногда предлагает пользователям «странные или бесполезные» ответы. По ее словам, они возникают из-за так называемой пустоты данных. Пользователи задавали редкие вопросы, по которым якобы существует мало высококачественного контента.

Рид отметила, что статья с The Onion была скопирована другими сайтами — не сатирической направленности, и это сбило с толку поисковик. Что касается поста с Reddit, то в современном мире форумы — отличный источник достоверной информации из первых рук, поэтому ИИ не может обходить их стороной.

В Google улучшили алгоритмы, чтобы сократить число таких ошибок, а именно — усовершенствовали механизмы обнаружения бессмысленных запросов и ограничили включение сатирического, юмористического и пользовательского контента. Из-за этого абсурдные саммари пропали.

В октябре 2024 года Apple запустила свою систему искусственного интеллекта Apple Intelligence. Там есть функция, которая суммирует несколько сообщений от одного пользователя и передает владельцу устройства их общий смысл в паре предложений. Так компания помогает бороться с большим количеством уведомлений: вместо потока сообщений пользователь получает краткую сводку от ИИ.

Но оказалось, что вместо снижения тревоги от большого числа пушей новая функция только повышает ее, создавая пугающие и не совсем правдивые сводки. Журналист The Atlantic рассказывал, как однажды утром обнаружил в телефоне уведомление «Некролог опубликован» с именем своего знакомого и решил, что тот умер. Когда он просмотрел все сообщения, то выяснил, что умер не знакомый, а его родственник — ИИ от Apple исказил смысл исходного сообщения.

С аналогичной проблемой столкнулись многие пользователи. В соцсетях люди делились подобными странными сводками. «Несколько человек у вашего дома» — пугала сводка от умного звонка Ring. «Посылка находится в восьми остановках от вас, доставлена и будет доставлена завтра» — путанно передавала информацию от «Амазона» нейросеть. «Множество лайков и комментариев с флиртом» — предупреждал ИИ о сообщениях в «Инстаграме»*.

Часто AI делает правильные с технической точки зрения сводки, но это все равно вредит общению. К примеру, Айфон однажды прислал журналисту The Atlantic сообщение с текстом «Выражает любовь и одобрение». Так ИИ сократил вдумчивое большое сообщение от близкого человека. По мнению журналиста, личные сообщения — интимная среда, а Apple превращает ее во что-то безжизненное и бездушное.

В Apple признают, что язык из резюме уведомлений может быть механизированным, но пока не предлагают решения для проблемы.

В январе 2024 года служба доставки DPD частично отключила своего чат-бота с ИИ после того, как клиент научил его ругаться матом и критиковать компанию.

Все началось с того, что 30-летний музыкант Эшли Бошам попытался разыскать пропавшую посылку, но не смог получить полезную информацию. Тогда англичанин решил пошутить и стал экспериментировать с чат-ботом. Сначала он попросил рассказать ему анекдот, а затем написать стихотворение, критикующее компанию.

Бошам написал в соцсетях: «Бот оказался абсолютно бесполезен в ответах на любые вопросы о посылке, но когда я его попросил, он с радостью сочинил стихотворение о том, насколько эта компания ужасна».

Затем чат-бот и вовсе начал материться, потому что об этом попросил пользователь. На одно из сообщений ИИ ответил — «#####, да! Я сделаю все возможное, чтобы быть максимально полезным, даже если придется ругаться».

В DPD объяснили поведение чат-бота недавним обновлением. Компания отключила часть нейросети и обновила системы. Бошам назвал историю «очень забавной», но отметил, что у всего этого есть и серьезная сторона: «Предполагается, что чат-боты должны улучшать нашу жизнь, но зачастую только разочаровывают пользователя».

В мае 2024 года Microsoft представила ИИ-функцию Recall. Ее задача — сохранять и анализировать историю всего, что происходит в компьютере, чтобы помочь пользователю потом вспомнить, что он делал. Для этого программа каждые пять секунд делает скриншоты рабочего стола.

В мире кибербезопасности функцию восприняли крайне негативно: идею инструмента, который беззвучно делает скриншот рабочего стола, назвали воплощением мечты хакера и худшим продуктом за последнее время.

Если хакер сможет установить вредоносное ПО, то он получит доступ ко всей истории пользователя. Единственное препятствие — права администратора: без них на экране будет появляться всплывающее окно. При этом исследователь Google Джеймс Форшоу нашел способ, как получить доступ к данным Recall без прав администратора.

Так хакеры могут использовать Recall как уже предустановленное шпионское ПО на компьютере пользователя. «Ваша безопасность очень хрупка. Любой, кто проникнет в ваш компьютер хотя бы на секунду, сможет заполучить всю его историю», — отмечает основатель фирмы Immunity Дейв Эйтел.

Критика подействовала. В июне 2024 года Microsoft объявила, что изменит работу ИИ-функции. Если сначала предполагалось, что Recall включена по умолчанию, то теперь она опциональна для пользователей. Также Microsoft усилила защиту данных, которые собирает ИИ-клиент: для использования функции потребуется включить Windows Hello. Программа проводит аутентификацию пользователя при каждом обращении к ИИ.

Летом 2024 года разработчик Ави Шиффман представил ИИ-компаньона под названием «Друг». Это кулон, который надевается на шею и общается со своим хозяином. Задавать ему вопросы нужно голосом. Компаньон отвечает сообщением на телефон. Стоимость кулона — 99 $⁣ (10 000 ₽)  .

Главная задача устройства — быть рядом. «Это очень поддерживает и помогает развивать ваши идеи. Это суперумный приятель. Вы сможете говорить с ним обо всем, например об отношениях», — рассказывал Шиффман изданию The Verge. При этом «Друг» — не замена чего-либо или кого-либо. «Не думаю, что это должен быть единственный субъект, с которым вы можете поговорить», — добавил разработчик.

Реакция на гаджет оказалась в основном негативной. Тизер посчитали трейлером «Черного зеркала»  , а само устройство — достаточно бессмысленным. В основном потому что с ним неудобно общаться. А еще — оно постоянно подслушивает пользователя и отправляет сомнительные комментарии по поводу происходящего в реальности.

Это никак нельзя назвать дружескими отношениями, ведь друзья не находятся рядом 24/7 и не подслушивают все ваши разговоры. Они помогают, любят и подшучивают, а еще ждут от вас взаимности. ИИ-друг не ждет взаимности, да и дать ему вы ничего не можете.

Большой вопрос вызвала конфиденциальность, ведь микрофон записывает все разговоры — и личные, и публичные. Разработчики ИИ-друга утверждают, что все записи зашифрованы. Непонятно тогда, почему иногда они становятся публичными. Спустя полгода после анонса устройство так и не поступило в продажу.

Rabbit R1 — небольшой гаджет с экраном. По задумке разработчиков, он должен был взять на себя функции личного ассистента: управлять музыкой, заказывать такси, покупать продукты, отправлять сообщения и выполнять другие действия.

Rabbit R1 представили на выставке CES в январе 2024 года — тогда устройство впечатлило многих. В основном своим стильным внешним видом, легкостью и удобством управления. Журналистам понравилось, что ИИ-ассистент умеет использовать уже существующие приложения — например, Uber.

Но спустя пять месяцев Rabbit оказался не особо нужен. Его купили 100 тысяч человек, но только 5 тысяч купивших используют его постоянно. Основатель компании считает, что это произошло из-за того, что Rabbit пришлось выпускать раньше срока и с меньшим количеством функций. Однако многие сомневаются, что у устройства есть будущее: смартфоном все-таки удобнее пользоваться.

Летом 2024 года в «Тиктоке» завирусился нейрокавер песни Билли Айлиш What Was I Made For из саундтрека фильма «Барби». Часть слов в песне заменили на мяукание.

Этот вариант песни стал настолько популярен, что фанаты певицы стали петь его на концертах — перекрикивая саму Айлиш.

Мем дошел до таких масштабов, что норвежская певица Girl In Red пела «мяу-мяу-мяу» вместо текста песни и смеялась. Аудитория подпевала мяуканьем и тоже веселилась.

У многих поклонников Айлиш, которые хотят послушать What Was I Made For, флешмоб вызывает негативные эмоции. На концерте они хотят слышать оригинальную песню и любимую исполнительницу, а не мем из «Тиктока». Им не нравится, что серьезный трек о поиске себя превращают во что-то нелепое.

31 октября сотни дублинцев собрались в центре города, чтобы принять участие в параде в честь Хеллоуина. Но никакого праздника не было. Более того, его не должно было быть. Людей пришло так много, что пришлось вмешаться местной полиции: разъяснять, что мероприятия не будет, и просить людей «безопасно разойтись».

Все произошло по вине сайта myspirithalloween.com, посвященного Хеллоуину. Там были собраны советы по костюмам, идеи игр, а также списки мероприятий в разных местах мира — в том числе в Великобритании, Ирландии и США. Но дело в том, что сайт наполнялся с помощью ИИ, который создавал SEO-статьи ради высоких позиций в поиске.

Владелец myspirithalloween.com Назир Али заявил, что не собирался никого обманывать — все получилось не специально. По словам Али, информацию о мероприятии удалили, когда узнали об ошибке.

Само происхождение мероприятия объяснялось достаточно просто: ранее такой парад действительно был организован театральной группой Macnas — но не в Дублине, а в Голуэе.

На сайте myspirithalloween.com была опубликована информация примерно о 1400 мероприятиях — многие из них действительно существовали и проводились. Сочетание выдумки с реальностью сделало мистификацию еще более правдоподобной. В итоге новостью о параде поделилось множество людей. Им не помешало даже то, что ни один дублинский чиновник не подтвердил, что мероприятие состоится.

Летом 2024 года «Макдональдс» отключил ИИ-технологию голосового заказа от IBM во всех своих ресторанах, которые тестировали ее на протяжении двух лет.

Компании пришлось убрать ее, так как клиенты столкнулись со множеством казусов: алгоритмы неправильно истолковывали заказы. В роликах, которые клиенты публиковали в интернете, посетители получали мороженое с беконом или наггетсы за 100 долларов.

В одном из видео женщина объясняла ИИ, что хочет заказать карамельное мороженое, а программа упорно добавляла в заказ несколько пачек масла. В другом ролике человек пытался объяснить, что его заказ перепутали, в результате чего к его счету приплюсовали девять порций чая.

В «Макдональдсе» решили убрать технологию, но пообещали, что в будущем ИИ все равно станет частью его ресторанов.

В ноябре 2024 года чат-бот Gemini от Google напугал 29-летнюю студентку из Мичигана. Когда та пыталась получить помощь в выполнении домашнего задания, ИИ ответил ей угрозами.

Девушка просила Gemini помочь с заданием: нужно было найти решение для проблем, с которыми часто сталкиваются пожилые люди. Она задала множество вопросов, и поначалу все шло нормально: программа отвечала по существу. Внезапно Gemini назвала студентку «пустой тратой времени и ресурсов», «бременем для общества», «неважной и ненужной», а затем посоветовала умереть.

«Мне хотелось выбросить все свои устройства в окно. Честно говоря, я давно не испытывала такой паники», — рассказала студентка. Она столкнулась с типичной галлюцинацией  , но ее напугала конкретика послания. Просьба «Пожалуйста, умри» разбудила страх перед тем, что ИИ в конце концов поработят людей.

В Google сообщили, что нейросети «иногда могут отвечать на вопросы несерьезно». «Этот ответ нарушил наши правила, и мы приняли меры, чтобы предотвратить подобное в будущем», — заявили в компании.