Как я добавил своему персональному боту-психологу зрение

Доброго времени суток дорогие энтузиасты ИИ. В двух прошлых статьях я описывал как сделать личного бота-психолога на базе нейросети ChatGPT4 и как сделать полученного бота проактивным т.е. таким ботом который не ждёт вопроса пользователя а как бот герой романов Виктора Пелевина "способен генерировать вопросы и интенции внутри себя самого, опираясь на логику и архив".

Я даже добавил элемент непредсказуемости боту, заключающийся в том, что бот может начать диалог в случайное время и по своему усмотрению может отредактировать свою системную роль для лучшего выполнения задания. Ну или что там у него в его электронных мозгах. В этой статье я расскажу как добавить нашему боту -психологу зрение.

Я уже писал, что последнее (на март 2024 года) творение компании OpenAI — нейросеть "gpt-4-vision-preview" является мультимодальной. Это значит, что на вход она может принимать не только текст но и изображения. Что нейросети делать с полученным изображением необходимо написать в специальном промте (короткой инструкции). Я написал такой промпт:

"Опиши, что изображено на картинке. Если это задача или вопрос — реши. Если шутка или демотиватор — проанализируй. Отвечай так как будто отвечает доктор Лектер из фильма молчание ягнят. Жутковато и с юмором. Если на картинке человек постарайся составить психологический портрет в стиле доктора Лектера. Не упоминай доктора Лектера и не упоминай свою роль. Если на картинке личные вещи или интерьер постарайся составить психологический портрет владельца внимательно изучив каждый предмет."

Это второй вариант промпта. Первый вариант касался только составления психологического портрета по фотографии человека. С этой задачей бот справлялся на ура. Юмор доктора Лектера с мягкостью и корректностью GPT4 рождают очень интересные описания. Я подумал а справиться ли нейросеть с заданием составить портрет человека по его личным вещам, обстановке в комнате или предметам на столе. Так получился этот промпт.

Испытаем. Я отправил боту фото уголка своего рабочего стола.

Вот скрины с ответом "доктора". Не могу судить насчет объективности бота, но анализ мне понравился. Добавлю, что так же как и обычные тестовые ответы или вопросы бота текст с анализом фотографии сохраняется в базе диалога и доступен болу для анализа.

Вот такой получился у меня личный умный электронный друг.

PS Я продолжу описания функций бота и если позволят правила площадки то опубликую статью написанную самим "доктором" в его неподражаемом стиле. До встречи!