ChatGPT научился понимать изображения: 10 способов применять функцию в обычной жизни

ChatGPT научился понимать изображения: 10 способов применять функцию в обычной жизни

21
Аватар автора

Даша Лейзаренко

не может жить без нейросетей

Страница автора

Теперь в ChatGPT можно прикреплять изображения к текстовым запросам.

В конце сентября компания OpenAI представила новые бета-функции ChatGPT. Их начали постепенно вводить для платных подписчиков. Одна из них — GPT-4 Vision, с помощью которой нейросеть распознает изображения и учитывает их при ответе.

Работает это так: вы прикрепляете к своему запросу файл — просто картинку, скриншот с текстом, график. Нейросеть обрабатывает и распознает изображение, а потом дает ответ на основе вашего вопроса. Это не просто «нейросеть увидела картинку велосипеда и написала, что это велосипед». Можно отправить фото велосипеда и спросить, как на нем переключать скорости. GPT-4 Vision увидит переключатель, обратит на него внимание и расскажет, как им пользоваться.

GPT-4V понимает текст, различает объекты, считает количество предметов, считывает диаграммы и графики, распознает человеческие эмоции, находит различия и дефекты, объясняет смыслы.

Мы выбрали 10 сценариев, которые помогут упростить жизнь с помощью функции.

Как воспользоваться GPT-4 Vision

  1. Зарегистрируйтесь на сайте OpenAI и оформите платную подписку на ChatGPT. О том, как это сделать, мы подробно рассказывали в отдельном материале.
  2. Откройте новый чат и выберите наверху GPT-4.
  3. Нажмите на кнопку «Прикрепить изображение», выберите картинку и напишите свой запрос.
СПОСОБ № 1

Получить обратную связь о рисунке

Уровень полезности: 🤔🤔
Уровень фана: 🤪🤪🤪

Если вы только начинаете пробовать себя в визуальных искусствах и не уверены в своих способностях, то попробуйте проконсультироваться с нейросетью. Она не станет вас жестко критиковать, а нейтрально и конструктивно прокомментирует.

ChatGPT можно отправлять не только рисунки, но и цифровой арт, фотографии, поделки, любые другие предметы творчества. К примеру, в соцсетях есть пример, где UX-дизайнер спрашивал, как улучшить цветовую схему сайта.

Еще функция пригодится, если вам хочется поэкспериментировать с новыми стилями и идеями, но вы не определились, с чего начать. В таком случае отправьте недоделанную работу и спросите, как ее обыграть.

Нейросеть не поняла, что у слона из носа торчат трубочки, но в остальном справилась с задачей
Нейросеть не поняла, что у слона из носа торчат трубочки, но в остальном справилась с задачей
Нейросеть не поняла, что у слона из носа торчат трубочки, но в остальном справилась с задачей
СПОСОБ № 2

Расшифровать медицинские данные

Уровень полезности: 🤔🤔🤔🤔🤔
Уровень фана: 🤪

Наверняка многие сталкивались с тем, что сложно с ходу понять результаты анализов, МРТ или других медицинских исследований. ChatGPT проанализирует ваши документы и интерпретирует их.

Это поможет вам не только лучше понять состояние своего здоровья и рекомендации врача, но и снизить уровень тревоги. Например, если вы только получили на руки результаты анализов, а до приема врача остается еще неделя.

Однако важно помнить, что ответ ChatGPT не заменит консультацию с реальным доктором и может служить только дополнительным источником информации.

Это рентген здорового человека из интернета
Это рентген здорового человека из интернета
СПОСОБ № 3

Написать код

Уровень полезности: 🤔🤔🤔🤔🤔
Уровень фана: 🤪🤪

ChatGPT и раньше умел программировать и искать баги. А теперь он научился превращать математические вычисления в код или генерировать его по скриншоту приложения или даже по схематичному наброску сайта, нарисованному от руки на листе бумаги. Это удобно, если вам нужно перенести дизайн или заняться реверс-инжинирингом.

Конечно, код может потребовать доработки, но основная структура и элементы будут уже готовы. Кроме того, теперь нейросети можно отправлять скриншоты кода, в котором есть ошибки, а не копировать его, как приходилось делать раньше.

Написал HTML-код, который копирует интерфейс калькулятора
Написал HTML-код, который копирует интерфейс калькулятора
СПОСОБ № 4

Интерпретировать символы и диаграммы

Уровень полезности: 🤔🤔🤔🤔🤔
Уровень фана: 🤪🤪🤪

Сложные для интерпретации данные встречаются повсюду: диаграммы в учебнике, инструкции к гаджетам, дорожные знаки, инструкции по сборке мебели. Иногда они могут озадачить, особенно если вы изучаете что-то совсем новое для себя. Отправьте фото ChatGPT, и нейросеть объяснит любую визуализацию, выделит ключевые моменты и ответит на вопросы.

К примеру, пользователь сфотографировал сложные правила на парковке и спросил, как не получить штраф. Другой проанализировал технический график, а третий попросил объяснить схему из курса по нейросетям. Есть и более бытовой пример: расшифровать иконки с ярлыка на одежде. Так вы случайно не покрасите белую футболку в розовый и не испортите кашемировый свитер!

Расшифровал все значки
Расшифровал все значки
СПОСОБ № 5

Распознать рукописный текст

Уровень полезности: 🤔🤔🤔
Уровень фана: 🤪🤪🤪

ChatGPT прочитает старые документы, письма и дневники, написанные сложным для восприятия почерком. Сфотографируйте текст и отправьте нейросети: она не только распознает содержание, но и переведет, проанализирует или превратит рукопись в читаемый текст.

В соцсетях через нейросеть расшифровали рукописный набросок Джоан Роулинг с сюжетом «Гарри Поттера» и древний манускрипт на арабском языке. ChatGPT отлично распознает рукописный текст на английском, но с русским пока справляется намного хуже.

Распознал текст верно
Распознал текст верно
СПОСОБ № 6

Узнать, что за предмет

Уровень полезности: 🤔🤔🤔
Уровень фана: 🤪🤪🤪

Если вы нашли антикварную вещь, растение, инструмент или странную деталь, ChatGPT поможет понять, что вы обнаружили. Нейросеть определит, что это за объект, и расскажет о происхождении, назначении или даже историческом контексте. Особенно удобно, если вы ходите по блошиному рынку или роетесь на чердаке у бабушки. Нейросеть укажет на ценную вещь.

Кроме того, ChatGPT может дать базовые рекомендации, если у вас пропала инструкция к мебели или технике и вы не уверены в том, как ее собирать или как пользоваться. Однако стоит помнить об ограничениях: например, сложную технику вроде телевизора по фото деталей собрать вряд ли получится.

Распознал, что у меня в руке карабин
Распознал, что у меня в руке карабин
СПОСОБ № 7

Выяснить рецепт

Уровень полезности: 🤔🤔
Уровень фана: 🤪🤪🤪

Попробовав что-то впечатляющее в ресторане или увидев интересное блюдо в интернете, иногда хочется повторить его дома. В таком случае отправьте фотографию ChatGPT и попросите рецепт. Нейросеть выдаст приблизительный рецепт или как минимум объяснит, какие ингредиенты и методы использовались.

Еще один способ, который нашли в соцсетях, — выложить на стол ингредиенты, которые вы хотите использовать. И отправить фото ChatGPT, чтобы получить несложный рецепт. Удобно, если у вас много скоропортящихся продуктов и вы не понимаете, как их сочетать.

Угадал, что за блюдо, и посоветовал неплохой рецепт
Угадал, что за блюдо, и посоветовал неплохой рецепт
СПОСОБ № 8

Сделать домашнее задание

Уровень полезности: 🤔🤔🤔🤔🤔
Уровень фана: 🤪

ChatGPT все сильнее приближает образовательную сферу к тому, чтобы реформировать формат домашних заданий. Вы можете сфотографировать пример или упражнение, а нейросеть сгенерирует решение с объяснением. Главное — указать в запросе, что вам нужно как можно более подробное пошаговое решение.

В соцсетях ChatGPT протестировали на задачах по физике, химии и математике. Теперь необязательно даже переписывать или копировать задания из учебников — достаточно отправить фотографию или скриншот. Еще это может облегчить прохождение тестов на экзамене. Однако помните, что поиск готовых ответов не даст вам знаний по предмету.

Решил задачу по физике для 7 класса. И распознал картинки с линейками!
Решил задачу по физике для 7 класса. И распознал картинки с линейками!
СПОСОБ № 9

Объяснить мем

Уровень полезности: 🤔
Уровень фана: 🤪🤪🤪🤪🤪

Мемы появляются из специфического контекста и быстро изменяются. Если вы не следите за актуальными интернет-трендами, то может быть сложно понять, кто такой сигма или откуда взялся Шайлушай. ChatGPT поможет разобраться в смысле и происхождении конкретного мема.

Однако функцию Vision нельзя использовать в связке с браузингом в интернете, а данные GPT-4 ограничены январем 2022 года. Поэтому про самые актуальные мемы нейросеть точно не расскажет, но как минимум может попытаться объяснить, в чем шутка. А если это более старый мем, то она расскажет, как и где он впервые появился.

Опечатался в «фенансовом», но уловил суть
Опечатался в «фенансовом», но уловил суть
СПОСОБ № 10

Оценить ваш образ

Уровень полезности: 🤔🤔
Уровень фана: 🤪🤪🤪🤪

Иногда бывает сложно понять, насколько удачно вы оделись, особенно если неловко спрашивать мнение друзей или близких. ChatGPT даст вам мгновенный фидбэк о вашем луке, опираясь на гармоничность цветовой палитры и соответствие определенному стилю.

Нейросеть также предложит идеи, как сочетать разные предметы одежды из вашего гардероба, чтобы создавать новые комбинации и свежие образы. Просто сфотографируйте одежду и отправьте в чат! Не забудьте указать, к какому стилю или эстетике вы хотели бы приблизиться.

Аксессуары и другая сумка не помешают
Аксессуары и другая сумка не помешают

Мы постим кружочки, красивые карточки и новости о технологиях и поп-культуре в нашем телеграм-канале. Подписывайтесь, там классно: @t_technocult

Даша ЛейзаренкоУже попробовали ChatGPT Vision? Расскажите о своем опыте:
  • Lentenклассический чат жпт 1) ручная стирка при температуре 30 градусов 2) можно гладить 3) нельзя отбеливать 4) не отжимать, сушить вертикально2
  • Artem 🤑Мем с котом не плохо объяснил0
  • Artyom PozharovArtem, что за мем, который объяснять надо?0
  • Илья НартовArtyom, с котом11
  • Artem 🤑Artyom, в шапке этой статьи0
  • wotakuа бесплатной версии этого бота нет?0
  • Stan Fino10
  • АлексОпробовал способ 10 - оценить образ. Ничего полезного для себя не получил: очень поверхностно, без учета специфики личности, трендов и тд. В жизни бесполезно, т.к. тут важны детали. По таким вопросам по-прежнему лучше обращаться к стилистам. Продолжу использовать Lookwhiz_bot в телеграм, где оценку образов делают живые реальные стилисты.3
  • Алексotachka, Есть бесплатная версия GPT-3.5, но там нет этой функции, только работа с текстом.0
  • ИришаО, спасибо за наводку, классный сервис, давно ждала что-то подобное! Нашла в поиске, оставлю ссылку, может кому-то тоже пригодится: https://t.me/Lookwhiz_bot2
  • Андрейуслышав про этот чат, дал теме настояться и потом пошел смотреть, что это такое. выяснил, что в РФ он не работает - нужны специальные костыли. Для меня это сразу негативный признак. истерика вокруг чата росла и росла, пошел смотреть, кто, как его вообще активирует, как и где использует... чтение этих статей мне напомнили авторов отзывов о мобильных телефонах в досмартфоновскую эру. были ребята, которые при покупке телефона сразу его разбирали, изучали внутрянку, потом собирали и большую часть отзыва посвящали описанию внутрянки и есть ли люфт или нет после разбора/сборки телефона. в комментарии именно под такие отзывы набегали такие же любители все разбирать/собирать, проверять наличие люфта и т.д. и т.п.0
  • Алексей Volframвот оно будущее ,уже наступило !0
  • wotakuАлекс, блин, а регаться там на иностранный номер получается? росс не принимает(0
  • Оксана Шрейнернет0
  • Полина Аргасанова0
  • Алиев ОмарПривет0
  • Алиев ОмарОпиши картину0
  • Виктор ПотоловскийАлиев, описание следующее. На вдохновляющей картине - двое модных сельчан точно знают, как придать овощам стиль в этом сезоне! Женщина, олицетворяющая стиль и изящество, предстает в серой кофте, которая подчеркивает ее элегантность и неповторимый вкус, дополняя образ белыми носками и темными туфлями - идеальным ансамблем для сексапильного огородного шарма! Мужчина, в свою очередь, обладает неотразимым стилем в клетчатой рубашке и джинсах, подчеркивая свою элегантность грациозным жестом с лопатой в руке, которая явно является "неотъемлемым аксессуаром" этого модного дуэта. Овощной урожай вокруг них просто в восторге от своего изысканного обработчика и раскидан в такт их модным замашкам. Это доказывает, что стиль и шик можно найти даже среди овощей на заднем дворе!0
  • Виктор ПотоловскийПолина, вот: Для каждого показателя можно рассчитать отношение фактических значений к планируемым (где это возможно) для печатных СМИ. Итак, проведем расчеты: 1. Заключено договоров на рекламу: - 2006 год: отсутствуют данные для сравнения. - 2007 год: факт / план = 3 501 / 3 500 ≈ 1,0003 (на 0.03% больше плана) 2. Выручка от реализации продукции: - 2006 год: отсутствуют данные для сравнения. - 2007 год: факт / план = 12 826,3 / 13 500 ≈ 0,9501 (на 4.99% меньше плана) 3. Выручка от реализации рекламных услуг: - 2006 год: отсутствуют данные для сравнения. - 2007 год: факт / план = 6 642,7 / 6 500 ≈ 1,022 (на 2.2% больше плана) А теперь сделаем выводы: - Показатель количества заключенных договоров в 2007 году практически соответствует плановому значению, ошибка составила всего 0.03%. - Выручка от реализации продукции в 2007 году для печатных СМИ оказалась на 4.99% ниже планового значения. Это может указывать на неэффективность рекламной кампании или на другие факторы, негативно повлиявшие на продажи. - Выручка от реализации рекламных услуг превысила планируемый уровень на 2.2%, что может свидетельствовать о более успешной работе в этом направлении.0

Сообщество