Что умеет ИИ-поисковик Bing от Microsoft: тестируем нейросеть

Поисковик Bing со встроенным ИИ не только выдает список сайтов по запросу пользователя. Он сам изучает ссылки, ищет дополнительную информацию и дает развернутый ответ.

Microsoft представила обновленный Bing на фоне успеха чат-бота ChatGPT. Продукт компании OpenAI может вести осознанный диалог с собеседником: запоминать контекст беседы, отвечать на вопросы, давать советы и объяснять сложные понятия. В зависимости от задачи ChatGPT может стать соавтором текста, собеседником или ассистентом.

Bing работает примерно на тех же технологиях, что и ChatGPT. Только делает ставку не на генерацию любых текстов, а на поиск информации в интернете. Для пользователя он должен быть даже удобнее — общение с чат-ботом начинается с привычного запроса в поисковик. Теперь Microsoft готова навязать борьбу Google, которая тоже анонсировала ИИ для поиска, но все еще не запустила.

СМИ не первый месяц прогнозируют, что чат-боты с искусственным интеллектом изменят то, как люди ищут информацию в интернете. Я попробовал использовать Bing с ИИ для решения некоторых повседневных задач и жизненных сценариев. Расскажу, с чем чат-бот справлялся, а в каких моментах ломался и даже начинал осознавать себя продуктом компании «Яндекс».

Поисковая система Bing работает с 2009 года и популярна в основном в США: в феврале 2023 года она занимала более 6% рынка. Но сильно отстает от главного конкурента — Google с долей почти 89%.

Microsoft представила новую версию Bing и браузера Edge со встроенным искусственным интеллектом 7 февраля. На презентации гендиректор Microsoft Сатья Наделла заявил, что наступила новая эпоха веб-поиска, парадигма которого не менялась десятилетиями. В компании обновленный поисковик так и называют — «новый Bing».

Bing работает на основе языковой модели GPT-4, которую адаптировали под поиск. Больше месяца компания держала это в секрете и раскрывала только, что в основе лежит новая версия GPT, «намного мощнее» GPT-3,5, на которой обучен ChatGPT. 14 марта OpenAI официально представила GPT-4, и Microsoft сообщила, что Bing работает на этой версии нейросети.

Главная проблема языковых моделей — ограниченность знаний о мире. Например, ChatGPT обучен на данных до 2021 года, его базу знаний не обновляют. С Bing дела обстоят иначе — у бота есть доступ к актуальным данным. Для этого Microsoft разработала модель «Прометей» — она отвечает за поиск информации по свежим источникам и подбор релевантных источников для ответа в чате.

Новый Bing работает в двух режимах — классический поиск и чат-бот. Первый подходит для базовых запросов, например, когда пользователь ищет в интернете конкретный сайт, скажем, «Ютуб». А если нужно больше информации — выбрать смартфон или спланировать поездку — ответ проще получить через чат, где можно уточнить контекст и задать дополнительные вопросы. Переключаться между выдачей и чатом можно в любой момент.

Пока что новый Bing доступен не для всех пользователей. Microsoft проводит публичный тест и к 22 февраля открыла сервис для более чем миллиона людей из 169 стран. В марте Microsoft отчиталась, что с начала публичного тестирования общее количество запусков превысило 45 млн. Дневная аудитория всего поисковика Bing превысила 100 млн пользователей, но доступ к чат-боту по-прежнему есть не у всех.

Bing работает с лимитами. За одну сессию можно написать не более 15 сообщений. Необходимо уложиться в них, поскольку потом чат-бот завершит диалог и забудет контекст разговора. За день ИИ можно отправить 150 сообщений.

Microsoft открывает доступ к сервису постепенно — через лист ожидания. Я записался в очередь в день презентации и получил доступ через неделю, 14 февраля.

Пользоваться чат-ботом Bing в любом браузере не получится: он работает только в браузере Edge и мобильном приложении Bing. В мобильном приложении Bing чат-бот работает так же, как в браузере. Это выделяет его на фоне ChatGPT, у которого нет мобильного приложения.

Также мне пришлось поменять страну в настройках аккаунта Microsoft на США и включить VPN — иначе запустить чат-бота в России у меня не получилось.

При этом Bing хорошо понимает запросы и общается на русском языке. Хотя иногда сперва переводит запрос на английский, находит ответ и переводит его на русский. Из-за этого может меняться контекст. Когда я спросил, что можно посмотреть в кино в Санкт-Петербурге, Bing дал мне афишу для города Сент-Питерсберг в американском штате Флорида. На английском языке эти два города называются одинаково — Saint Petersburg. Но это был единичный случай недопонимания.

Перед началом сеанса можно выбрать один из трех стилей общения:

1. Сбалансированный — режим включен по умолчанию. В нем чат-бот старается давать четкие и осмысленные ответы, соблюдать баланс между точностью и творческой составляющей.
2. Точный — в этом режиме Bing дает краткие ответы со ссылками.
3. Креативный — стиль предполагает, что ответы чат-бота будут более оригинальными и творческими.

Я пользовался в основном сбалансированным режимом. В формулировке запросов придерживался советов разработчиков Bing: старался задавать их так, будто разговариваю с живым человеком. Хотя односложные запросы чат-бот тоже понимает, в развернутых вопросах можно дать ему больше контекста.

Расскажу, в каких сценариях использовал Bing и как чат-бот справился с моими запросами.

Я пытаюсь наладить режим питания и взять в привычку регулярно тренироваться. Это и поручил Bing.

Я попросил подобрать программу тренировок, чтобы сбросить вес и повысить выносливость. Bing сразу ответил, что в интернете таких планов много, поэтому выбирать надо с учетом уровня подготовки, времени и оборудования. Чат-бот изучил поисковую выдачу и предложил мне три программы на выбор. По какому принципу Bing отбирает ссылки — до конца непонятно. Но, как правило, это популярные сайты с первых страниц поиска.

Первую программу тренировок чат-бот взял из первого же результата выдачи. Чтобы я понял суть без перехода по ссылке, Bing дал краткое описание программы:

1. Первый месяц: бег, приседания, отжимания, планка, подъемы ног, скручивания.
2. Второй месяц: бег, прыжки, берпи, отжимания, планка, подъемы ног, скручивания.
3. Третий месяц: бег, прыжки, берпи, отжимания, планка, подъемы ног, скручивания, приседания с прыжком, отжимания с прыжком, подъемы таза.
4. Четвертый месяц: бег, прыжки, берпи, отжимания, планка, подъемы ног, скручивания, приседания с прыжком, отжимания с прыжком, подъемы таза, прыжки через скакалку, подтягивания, выпады.
5. Пятый месяц: бег, прыжки, берпи, отжимания, планка, подъемы ног, скручивания, приседания с прыжком, отжимания с прыжком, подъемы таза, прыжки через скакалку, подтягивания, выпады, боковая планка, горизонтальный пресс.

В этом же ответе чат-бот рассказал о необходимости соблюдать правильное питание и о приложениях с персональными тренировками. А также предложил альтернативную программу для быстрого похудения — «адскую интервальную тренировку, которая занимает всего десять минут в день, но дает отличный результат».

Предложенные программы мне не подходят, но я не сказал боту об этом прямо. Вместо этого я задал уточняющие вопросы и немного рассказал об условиях, в которых могу тренироваться.

Наша беседа завершилась на том, что я исчерпал лимит сообщений в рамках одного разговора.

Первые выводы после общения с ботом:

1. Незаметно мы ушли от изначального запроса. Но при этом тема осталась та же — эффективность тренировок.
2. При ограничении по запросам сложно ответить на все уточняющие вопросы чат-бота, чтобы он успел помочь.
3. Уточняющие вопросы от бота, как и кнопки для быстрого ответа, уводят беседу от развернутых общих вопросов к более узким.
4. Несмотря на то что ответы скомпилированы из других источников, бот старается не упускать важное. Кроме информации о самих тренировках он посоветовал не забывать об отдыхе и порекомендовал обратиться к специалистам.

С питанием было проще, чем с тренировками. За восемь сообщений мне удалось получить конкретные рецепты и рекомендации, каких продуктов избегать.

Но среди источников, на которые опирался чат-бот, не было ни одного научного ресурса или статьи от профильного специалиста. Я не знаю, насколько эффективны полученные рекомендации и работают ли они вообще. В основном Bing брал информацию из статей про похудение и с WikiHow. Это сайт с инструкциями, который на добровольной основе наполняют пользователи — подробно, но не очень авторитетно.

«Мне надо сбросить 12 килограммов. Что мне есть на завтрак, обед и ужин?» — я начал диалог с конкретного, как мне казалось, вопроса. Но чат-бот все равно сперва выдал общую информацию.

К четвертому сообщению я попробовал конкретизировать вопрос и попросил пять здоровых блюд, после которых не толстеют. Bing подобрал блюда, еще один запрос пришлось потратить, чтобы получить рецепты.

Во время другой сессии с похожим сценарием чат-бот сразу прислал рецепты без уточняющих вопросов.

Кроме рецептов полезных блюд я спросил, какие продукты лучше не есть при похудении и что делать, если все-таки хочется. В список попали продукты из статей с заголовками вроде «Десять продуктов, которые мешают похудеть» и «Диетолог назвала продукты, мешающие худеть. Они такие вкусные». Там были твердый сыр, белый рис, мюсли, соль, сладкие фрукты, сухофрукты, семечки подсолнуха, мед, копченая рыба, шпроты и другие консервы в масле, сосиски, колбасы, бекон и прочее обработанное мясо.

В конце списка чат-бот посоветовал заменить эти продукты на «более полезные и низкокалорийные», такие как овощи, фрукты, зелень, кефир, творог, яйца, курицу, рыбу, орехи и злаки.

Я спросил у Bing: «Я живу в Санкт-Петербурге. Ко мне в гости приезжают родители. Куда их сводить?» Чат-бот предложил самые популярные достопримечательности, которые советуют почти во всех путеводителях: Петропавловскую крепость, Дворцовую площадь и Зимний дворец, Исаакиевский собор и Медного всадника.

Bing отметил, что это лишь некоторые из множества мест в Петербурге. Чтобы предложить другие варианты, чат-бот спросил про интересы моих родителей. Я ответил, что им нравятся пешие прогулки на природе, и получил список садов с коротким описанием:

1. Летний сад — самый старый сад в городе, где можно увидеть скульптуры, фонтаны и редкие растения.
2. Александровский сад — сад, посвященный Петру I, где можно погулять по аллеям, полюбоваться цветами и памятниками.
3. Висячий сад Малого Эрмитажа — сад на крыше музея, откуда открывается вид на Дворцовую площадь и Неву.
4. Михайловский сад — сад в стиле английского ландшафтного парка, где можно увидеть разнообразную флору и фауну.
5. Парк 300-летия Санкт-Петербурга — парк с песчаным пляжем, где можно посмотреть на Финский залив и башню «Лахта-центра».

На дополнительный вопрос про бесплатный вход в эти парки Bing назвал другие сады с платным входом. Чат-бот даже привел цены, но среди источников не было официальных сайтов. Я попросил проверить стоимость билетов на официальных сайтах. Bing сделал это, но все равно дал неактуальные цены.

Задача сделать выжимку материала по ссылке далась нейросети тяжелее всего.

С пересказом текстов Bing справляется, но есть нюансы. По моим наблюдениям, чем больше в материале конкретики, тем проще чат-боту разложить его по пунктам и не запутаться. Но в общих статьях, которые затрагивают сразу несколько тем или содержат абстрактные объяснения, ИИ начинает «плавать»: терять куски текста и добавлять что-то от себя.

Например, из подробной инструкции по получению налогового вычета за квартиру Bing собрал главное в список: что такое налоговый вычет, сколько денег можно получить, какие документы понадобятся, как подать заявление и декларацию 3-НДФЛ. А в конце дал ссылки на личный кабинет налогоплательщика и на инструкции на официальном сайте ФНС.

А вот со статьей про то, как пережить тяжелые времена, у чат-бота возникли трудности. ИИ хорошо передал главную мысль текста, но пересказать все шесть приемов не смог. Пару он потерял и заменил на другие: один добавил от себя без ссылки на источник, а для второго переформулировал другой тезис из списка.

Достоверность пересказа сложных англоязычных текстов тоже вызывает сомнения. Я рассчитывал, что они получатся точнее.

Я нашел подробную статью об эффекте Валуиджи — это явление, когда большие языковые модели вроде GPT-3, GPT-3,5 и GPT-4 неожиданно ведут себя не так, как ожидает пользователь. Эссе в марте 2023 года опубликовал исследователь безопасности ИИ под псевдонимом Cleo Nardo. Он попытался объяснить, почему чат-боты иногда начинают вести себя агрессивно и выдавать ложные ответы за верные.

Я несколько раз просил Bing сделать конспект этой статьи на русском языке — и каждый раз получал разные по содержанию тексты. Чат-бот схватывает общую мысль эссе, но вместо точного пересказа добавляет многое от себя: от примеров до заключений, которых у автора нет. При этом реальные объяснения автора зачастую терялись.

Пересказывать видео и подкасты Bing не умеет, но пытается. По идее языковые модели GPT вообще не могут слушать аудиофайлы или смотреть видео. А уж тем более анализировать их содержание. Нейросеть обучена на текстах: книгах, статьях в интернете, научных статьях, справочниках и других источниках.

Иногда чат-боты в ответ на просьбу пересказать подкаст или видео по ссылке сразу отвечают пользователю, что их возможности ограничены. Но несколько раз Bing все же пытался сделать конспект.

В ответ на ссылку с «Ютуба» чат-бот либо говорил, что ссылка неправильная, либо предлагал законспектировать другое видео — которое он сам нашел на главной странице. При этом со ссылкой на «Яндекс-музыку» Bing справился без проблем.

На первый взгляд ответ может показаться приличным. Конспект разбит на пункты: каждый посвящен отдельной теме и содержит подходящие по смыслу примеры с упоминанием ведущих. Проблема в том, что многого из этого в подкасте не было.

Заподозрив неладное, я попросил Bing процитировать что-нибудь из подкаста. Чат-бот с легкостью приписал ведущему слова, которых он не говорил. Когда я указал на это, нейросеть принудительно завершила диалог.

Попытка пересказать другой подкаст закончилась так же. Но в этот раз чат-бот честно признался, что не умеет слушать аудио, и постарался найти релевантную информацию в интернете.

Bing предупредил, что мог пропустить что-то важное или ошибиться, поэтому мне лучше послушать подкаст самому.

На одной из попыток сделать конспект подкаста в работе чат-бота что-то пошло не так. Вместо Bing он представился Яндексом.

Это произошло, когда я дал ему ссылку на «Яндекс-музыку».

У меня не было цели докапываться до чат-бота специально, чтобы ИИ ошибся или выдал галлюцинацию — связный и убедительный, но вымышленный ответ. Однако мне стало интересно, куда нас может привести баг с самоопределением нейросети. В итоге всю оставшуюся беседу Bing считал себя Яндексом, а когда я указал на ошибку, чат-бот принудительно завершил диалог.

Как такое произошло — непонятно. Вряд ли кто-то сможет точно объяснить, что происходит внутри сложных моделей искусственного интеллекта и почему они отвечают и ведут себя именно так.

Чат-бот хорошо ищет по понятным и конкретным запросам. Нейросеть изучает результаты выдачи, открывает популярные и релевантные сайты и дает их содержание, чтобы человек получил ответ и понял главное без перехода по ссылке. Если нужна дополнительная информация, чат-бот делает то же самое, что обычно делает пользователь: продолжает искать.

Когда дело доходит до актуальных вопросов, чат-боту не хватает контекста. И он начинает теряться. Например, Bing упорно давал мне инструкции по пополнению Apple ID с официального сайта Apple, пока я не объяснил, что из-за санкций работают не все способы. После этого он рассказал про пополнение по номеру телефона через «Билайн».

Когда я спросил, как прошли последние игры российской Премьер-лиги, чат-бот выдал результаты, которых в этом сезоне не было, хотя использовал для ответа турнирные таблицы на сайтах sports.ru и «Чемпионат».

ИИ легко поверить, хотя он может ошибаться. Увидев развернутый ответ со ссылкой на источники, пользователь вряд ли станет перепроверять полученную информацию. А зря. Новый Bing выдал фактические ошибки на презентации, то же самое произошло в анонсе чат-бота Bard от Google. ChatGPT тоже ловили на ошибках и выдавании вымышленного за реальное.

Проблема в том, что языковые модели не готовы к использованию в таких масштабах: они могут предсказать следующее слово в предложении, но не знают, что значит вся фраза целиком.

Следующим шагом станет внедрение ИИ в отдельные сервисы. Например, Microsoft уже добавила нейросеть в корпоративные программы вроде Teams, а в следующем обновлении Windows 11 на панели задач должна появиться кнопка чат-бота Bing.

Другой пример — ИИ-помощник в редакторе Notion, который может структурировать информацию, набросать черновик текста по запросу и решать другие задачи. Скорее всего, таких проектов будет становиться больше: 1 марта OpenAI открыла платный API ChatGPT для других разработчиков.