Как я использую ChatGPT для определения местоположения на фотографиях и видео

Я занимаюсь частными расследованиями, и в этой сфере важно не отставать от технологий, поэтому нейросетями интересуюсь с момента их появления.

Как только OpenAI добавили возможность создавать собственные GPT’s, мы с командой сразу же начали экспериментировать в этом поле. Хотели создать что-нибудь грандиозное. Ну или хотя бы то, что упрощает повседневные задачи.

Одна из таких повседневных задач — OSINT (сбор информации по открытым источникам), а если конкретнее, GEOINT или геопространственная разведка. Если очень сильно упрощать, то это когда вы смотрите на фотографию злоумышленника и по фрагменту заднего плана можете понять, где конкретно сделана эта фотография.

Идея была в том, что если это могу определить я, то это может сделать и машина, если её правильно натренировать. Так получился GeoVision.

Принцип работы основан на теории поиска информации хакера Франческо Вианелло aka «+ Fravia»: чем конкретнее ваш запрос, тем меньше времени вы тратите на поиск. Грубо говоря, если вы хотите быстро найти в интернете форсунку омывателя BMW M57, вам не стоит вбивать в поиск «деталь для автомобиля».

С визуальным поиском точно так же — эффективнее всего, в первую очередь, обращать внимание на самую уникальную сцену во всём изображении. Собственно, этим модель и занимается: ищет уникальную сцену, описывает несколько других деталей, на которые стоит обратить внимание, а потом делает подборку стран, в которых с большей вероятностью сделано фото.

Плюсы:

• Экономит время и силы;
• Даёт рекомендации по дальнейшему поиску;
• Помогает найти новые зацепки;
• Довольно точно описывает страну.

Например, во время тестирования мы закинули в чат-бот фотографию потолка внутри полуразрушенной часовни и нейросеть сразу определила, что это Беларусь.

Минусы:

• Увы, чат-бот не отправляет точные координаты места)));
• Иногда чат-бот ошибается, может по-разному определить место с одной и той же фотографии;

Два совета. Первый: попробуйте создать свою GPT для чего угодно, просто чтобы понять, насколько это легко. У меня такой пробой пера был чат-бот, которому можно описать любую свою проблему, а он выберет одну из 36 великих китайских стратагем, которая будет полезна в этой ситуации.

И второй: создавайте GPT’s, которые упрощают то, что и так работает как последовательность действий. Например, вы записываете что вам нужно купить, когда вы в следующий раз на выходных поедете в магазин. Вы можете делать это и без чат-бота, но с ним это можно упростить: он может объединять списки покупок по отделам магазина, предложить альтернативу, или заранее оценить, сколько это может стоить.