«Совпали по энергетике и драйву»: как молодые ученые изучают искусственный интеллект

Чтобы заниматься серьезными исследованиями, не обязательно иметь ученую степень.

Такая возможность есть в Tinkoff Lab — исследовательской лаборатории Тинькофф на базе МФТИ. В ней работают студенты и выпускники вузов, которые интересуются искусственным интеллектом. Собрали несколько рассказов начинающих ученых — они объяснили, почему сейчас стоит заниматься наукой, и поделились своими планами.

О себе. Я родился и вырос в Санкт-Петербурге. Учился в непростой школе: она называлась ЛНМО — лаборатория непрерывного математического образования. Там преподавали действующие ученые, которые умели увлекать и вдохновлять наукой.

Изначально я выбрал биологический профиль, потому что хотел стать нейробиологом, но завалил ЕГЭ, и от этой перспективы пришлось отказаться. Хороший результат у меня был только по обществознанию, поэтому я решил идти на социологический факультет. Из всех возможных вариантов выбрал НИУ ВШЭ в Санкт-Петербурге и поступил туда в 2016 году.

Соцфак научил меня многим полезным навыкам. В первую очередь — софт-скиллам, которых часто не хватает технарям. Мы с одногруппниками постоянно работали над командными проектами и выступали перед всем курсом. Благодаря этому я натренировался делать качественные презентации и говорить публично.

Во время учебы я участвовал в нескольких исследовательских проектах на соцфаке. Но всерьез заниматься этим не собирался: считал такую деятельность слишком сложной, а научную среду — токсичной.

На третьем курсе я заинтересовался машинным обучением и весной смог пройти на стажировку во «Вконтакте». Там я несколько месяцев занимался разными подходами к предсказанию новых связей в социальном графе  — иными словами, рекомендацией друзей. На соцфаке мы читали много интересного про анализ социальных сетей, и мои задачи мне нравились.

Но проблема была в том, что лучшие результаты показывают методы из классического машинного обучения, например ALS  , к которому я быстро потерял интерес. Мне больше хотелось заниматься глубоким обучением  .

Параллельно я готовился к поступлению в магистратуру НИУ ВШЭ в Санкт-Петербурге по машинному обучению. Все деньги, заработанные во «Вконтакте», пришлось потратить на репетитора по математике. У меня получилось найти хорошего специалиста, с которым мы полтора года готовились к экзаменам.

Очень многое решал мой энтузиазм. Я хотел попасть на бюджет, поэтому осваивал большие объемы материала по математике — и с учителем, и самостоятельно. Пришлось даже читать школьные учебники за 10—11 класс, ведь ЕГЭ-то я в свое время завалил. Еще проходил курсы по программированию и машинному обучению: на «Курсере» от «Яндекса» и ВШЭ, а также на платформе Open Data Science.

Мои старания не прошли зря, и в 2020 году я поступил на бюджет в магистратуру НИУ ВШЭ. Вуз договаривался с компаниями о том, чтобы нам предлагали поучаствовать в разных проектах. Для этого нужно было пройти собеседование и сделать тестовое задание — так я попал в лабораторию JetBrains Research, когда учился на первом курсе. Там я больше года занимался наукой — правда, без публикаций — и начал изучать обучение с подкреплением  . Но лаборатория прекратила свое существование, и настало время двигаться дальше.

Как попал в лабораторию Тинькофф. Я сидел в разных телеграм-каналах и увидел пост руководителя научных исследователей Тинькофф Сергея Колесникова. Он приглашал студентов на один из проектов Tinkoff Lab. От кандидатов ожидали, что они будут знать, что такое обучение с подкреплением, и иметь собственные исследовательские идеи. Как я потом узнал, из нескольких десятков кандидатов взяли меня одного.

Тогда лаборатория только открылась, и я не был знаком с образовательными проектами Тинькофф. Меня привлекло другое: возможность погрузиться в обучение с подкреплением, то есть RL. Лаборатории в России, которые занимаются этим направлением, можно пересчитать по пальцам одной руки, одна из них — Tinkoff Lab.

Даже если вы не знакомы с обучением с подкреплением, то точно видели его применение в обычной жизни. Сейчас RL — одно из самых горячих направлений в ИТ-индустрии. Пример использования этой технологии — система рекомендаций видео на «Ютубе».

Еще RL применяется в компьютерных играх, и с помощью технологий можно обучить бота играть в тот же «Старкрафт» или «Доту». При должном подходе он будет это делать даже лучше человека. Именно так я и заинтересовался RL: увидел документальный фильм про AlphaGo — программу для игры в го, разработанную Google DeepMind, — и загорелся. Тем, кто увлекается программированием, очень советую его посмотреть.

Узнав о наборе в Tinkoff Lab, я скинул свое резюме и написал, что у меня есть идеи по применению нейросети-трансформера  в обучении с подкреплением. Многие из них казались мне бесполезными, но Сережа заинтересовался. А еще сказал, что если я хочу взять одну из предложенных тем для диплома, то могу реализовать ее вместе с командой из лаборатории.

Дальше состоялось получасовое техническое собеседование с моим будущим куратором Владом Куренковым. Этот этап прошел легко, хоть и расспрашивали меня очень подробно. Наверное, причина в том, что мы совпали по энергетике и драйву. А еще нас объединяло желание делать классный ресерч.

Сейчас процедура отбора немного изменилась: кандидату скидывают тестовое и, если он с ним справляется, техническое интервью не проводят. Вместо него нужно пройти обычное собеседование с куратором.

Совмещать лабораторию и университет было просто, так как в Tinkoff Lab я попал в середине второго курса магистратуры. К тому моменту я успел закрыть большую часть предметов и посвятил себя работе в лаборатории, а получившиеся публикации должны были стать моим дипломом. К сожалению, по личным причинам я взял академический отпуск, но глобально на мои планы он не повлиял. В этом году я успешно защитил магистерскую, подготовленную на основе своей научной статьи.

Научная деятельность. Многие считают научную карьеру скучной и бесперспективной. Чтобы получить пропуск в мир серьезных исследований, студент вуза должен провести четыре года в бакалавриате, два в магистратуре и еще два в аспирантуре. Считается, что так вы доказываете свою усидчивость и серьезность. Еще ты очень зависишь от научного руководителя, ограничен в ресурсах и вынужден заниматься одной темой несколько лет.

Конечно, не все так плохо — есть исключения в виде мощных научных кластеров. Но порой для реализации своей идеи нужно пройти через сотню бюрократических формальностей — подать заявку и ждать, пока научрук вас продвинет.

Возможности и ресурсы здесь дают без оглядки на регалии и возраст. В лаборатории нет авторитаризма и жесткой иерархии, каждый студент — такой же полноценный член команды, который определяет будущее исследований искусственного интеллекта. А еще у нас нет конкуренции и очередей за право реализовать свою идею.

У Tinkoff Lab есть основная команда и студенты, которые приходят в лабораторию на полгода. К студенту прикрепляется ментор из основной команды: он проверяет постановку экспериментов и код, постоянно находится на связи и помогает решать проблемы.

Каждый студент может прийти со своими исследовательскими планами. Но если их нет, это не страшно — тогда он получит задание от лаборатории проверить какую-то научную гипотезу. Понять, перспективна ли эта идея и реально ли довести ее до полноценной публикации, мы стараемся за две-три недели: переформулируем гипотезу в наиболее минималистичный сетап и проводим эксперимент.

С научными статьями мы выходим на топовые международные конференции. На них присутствуют специалисты как из академического сообщества, например Калифорнийского университета в Беркли или Стэнфорда, так и из индустрии: лабораторий Google, Amazon, Sony, компании Open AI.

Ежегодно в научном сообществе появляется 30—40 тысяч публикаций по искусственному интеллекту, а на конференции проходит лишь 2—3 тысячи. Статьи, которые там представляют, определяют развитие этого направления на ближайшие пять лет. Все хайповые вещи, связанные с искусственным интеллектом, — нейронная сеть ResNet  , нейросети-трансформеры — были изначально представлены на этих конференциях.

Я сталкивался с убеждением, что на любых научных мероприятиях, особенно международных, выступают только ученые со степенью кандидата или доктора наук. Это, конечно, стереотип, ведь наша команда состоит из тех, кто интересуется наукой, но не имеет академических регалий, — как студентов, так и недавних выпускников вузов.

Через полгода после того, как я попал в Tinkoff Lab, меня пригласили в штат Tinkoff Research — подразделение Центра технологий искусственного интеллекта, открытого Тинькофф. Задача именно этого отдела — исследовать возможности искусственного интеллекта с научной точки зрения.

После лаборатории проще попасть в Tinkoff Research. Можно, конечно, устроиться туда сразу, но тогда требования к кандидату будут гораздо выше. Нужно представить портфолио из научных статей на хороших международных конференциях, продемонстрировать технические скиллы и умение работать с людьми.

После трудоустройства мои обязанности расширились. Я точно так же выдвигаю гипотезы, проверяю их и довожу до научных статей, но кроме этого делаю доклады, презентации, готовлю выступления на мероприятиях, занимаюсь кураторством молодых ученых. С подопечными стараюсь выстраивать тесную связь, чтобы поддержать, увлечь и, возможно, чем-то помочь, поделившись своим опытом.

За все полтора года в лаборатории у меня появился ряд статей: две, где я выполнил большую часть работы и числюсь первым автором, и пять-шесть — в числе соавторов. Это большое количество публикаций за такой короткий срок.

Одна из моих работ про алгоритм машинного обучения SAC-RND даже прошла на Международную конференцию по машинному обучению ICML, которая входит в топ-3 по значимости в сфере искусственного интеллекта. Мероприятие проходило в Гонолулу, и представлять статью ездил мой коллега и соавтор Влад Куренков. А я записал видео с презентацией нашего исследования.

В других конференциях я тоже участвовал удаленно: некоторые мероприятия были онлайн из-за пандемии, а иногда у меня не получалось оперативно оформить визу.

Наша команда также проводит мероприятия для студентов, рассказывая о своих работах. Мы успели побывать в НИУ ВШЭ, ИТМО, СПбГУ, МФТИ, Иннополисе, КФУ с турне Research 4 Kids, в котором рассказывали студентам о том, как можно развиваться в науке. А 6 июля 2023 года я участвовал в масштабном RL-митапе в Санкт-Петербурге Tinkoff.AI Saint Reinforcenburg.

В будущем собираюсь поступать в аспирантуру. У меня уже достаточно статей, чтобы написать диссертацию на их основе. Но тему своей работы мне, наверное, только предстоит выбрать: все-таки интересам свойственно меняться. К тому же за время обучения я, вероятно, подготовлю еще не одну стоящую публикацию, которую можно превратить в дипломную.

О себе. В старшей школе я училась в Симферополе и не планировала идти в науку. Тогда я даже не знала, чем в принципе занимаются ученые.

При этом я интересовалась многими предметами, и неожиданно для себя дважды заняла второе место на городской олимпиаде по французскому. В десятом классе — тоже случайно — впервые попала на олимпиаду по математике и настолько вдохновилась, что стала ездить в тематические лагеря.

Интенсивные занятия математикой в 2020 году привели меня в университет Иннополис на трек Artificial Intelligence направления Computer Science.

После первого курса я запустила с друзьями стартап «Маркер». Мы решили создать сервис, который бы помогал писать тексты на русском языке. Например, исправлял бы грамматические ошибки, генерировал и перефразировал тексты, давал шаблоны, написанные опытными авторами.

Сервис мы разрабатывали бесплатно — только после второго курса привлекли небольшие инвестиции и потратили их на маркетинг. >> К третьему курсу довели проект до уровня Minimal Viable Product, MVP  .

Сейчас над проектом работают 14 ребят. В основном это мои однокурсники, а я выступаю в качестве CEO. Опыт разработки сервиса помог мне развить навыки ведения собственного проекта и работы в команде.

Как попала в лабораторию Тинькофф. Когда я училась на втором курсе, ребята из Tinkoff Lab приехали в Иннополис с презентацией лаборатории. Очную встречу я пропустила, но подписалась на аккаунт проекта и стала следить за новостями. Меня заинтересовало подразделение обработки естественного языка — Natural Language Processing, NLP. Мой стартап был связан с этой сферой, и я хотела развиваться в ней и дальше.

На самом деле тексты окружают нас повсюду. Мыслительный процесс — тоже текст, даже когда мы решаем сложные математические задачи. Команда NLP в лаборатории Тинькофф учит нейросети взаимодействовать с текстами так, как это умеют делать люди: улавливать связи между словами и смыслами, писать предложения, отвечать на вопросы. Все, кто пользовались ChatGPT, видели, как работают такие технологии и насколько сильно они упрощают нашу жизнь.

До этого я уже была знакома с образовательными проектами Тинькофф: прошла курс по машинному обучению. Программа помогла мне познакомиться с основными концепциями в этой сфере.

Я знала, что в Tinkoff Lab работает выпускник Иннополиса. Написала ему, чтобы узнать, какие навыки больше всего ценят в команде, и заодно рассказала про свой опыт. Он попросил скинуть резюме. К этому я подготовилась заранее: прочитала тысячу советов, как его писать, и максимально конкретно перечислила свои достижения, выделив цветом ключевые слова. Включила туда и олимпиадный опыт, и стартап, и пройденные обучения — как от Тинькофф, так и, казалось бы, нерелевантный курс по языку программирования Haskell.

Через пару дней меня пригласили на онлайн-собеседование. Я немного волновалась, но созвон скорее напомнил дружескую беседу. За 20—30 минут мы пробежались по моему резюме, и я ответила на несколько вопросов про свой опыт. Еще у меня спросили, какую последнюю научную статью я читала.

Позже мне рассказали, что я прошла благодаря разнообразному опыту. Призеров олимпиад и студентов модных вузов среди претендентов было много, но в лаборатории в первую очередь искали необычный бэкграунд. По мнению кураторов, он дает свежий взгляд на привычные вещи и помогает придумывать новые гипотезы. В научной работе это важно.

Научная деятельность. В Tinkoff Lab я устроилась в мае 2023 года. По правилам студент приходит в лабораторию на фиксированный срок — шесть месяцев. Если вы сработаетесь, вам могут предложить остаться еще на полгода или пригласить в штат Tinkoff Research.

Команда лаборатории Тинькофф — одна из немногих в России, где молодые ученые проводят исследования не по заказу бизнеса. Здесь не требуют выполнять KPI и можно заниматься тем, что наиболее интересно и перспективно с точки зрения науки. Более того, ребята могут сами выбирать направления исследований, писать статьи, а затем представлять их на конференциях.

Когда у студента настолько широкое поле для выбора тем, он должен обладать знаниями в разных сферах. Поэтому в лабораторию стараются набирать студентов с широким кругом интересов, которые искренне хотят заниматься наукой.

Успеваемость и ученые степени при отборе значения не имеют. Мой куратор говорит: «Все троечники могут идти ко мне! Если вы действительно горите исследованиями, нам будет что обсудить».

Есть ли мэтч у команды с кандидатом или нет, становится понятно на интервью. Для тех, кто по-настоящему увлечен наукой, собеседование должно пройти легко. Например, для меня заниматься исследованиями — возможность придумывать новое, а это я очень люблю. Знаю, что для многих студентов подготовить статью — значит скомпилировать десять других написанных по теме материалов, но в Tinkoff Lab так не получится. Ваши идеи должны быть оригинальными.

Мне комфортно в моей команде, которая занимается исследованиями в области NLP: мы с ребятами очень похожи в плане интересов. Еще я не ожидала, что будет такой молодой состав: в лаборатории в основном студенты и выпускники вузов.

По правилам Tinkoff Lab к каждому новому исследователю прикрепляют куратора из основной команды. Но для нас иерархии «наставник — студент» не существует: мы находимся на равных, я всегда знаю, к кому обратиться за помощью.

Сейчас я вливаюсь в исследование диффузионных моделей — они могут превращать случайный шум в репрезентативную выборку данных. Эта технология лежит в основе нейросети Midjourney. Как по мне, ничего более сумасшедшего в NLP и представить нельзя. Очень мало ученых исследует такую тему, и мы постепенно занимаем свободную нишу.

Лаборатория с большим энтузиазмом относится к безумным идеям и разрешает тратить время и ресурсы на их проверку. И такой подход работает.

Например, раньше считалось, что для обучения с подкреплением нельзя использовать случайные нейронные сети. К таким выводам пришли ученые из Google — казалось бы, смысла оспаривать результаты их исследований не было. Но ребята из нашей лаборатории проверили это утверждение и доказали, что оно ложное. Их работа про новый алгоритм машинного обучения SAC-RND стала огромным прорывом в исследованиях искусственного интеллекта.

Да и все, что сейчас считается привычным, раньше было чьей-то сумасшедшей идеей. Еще в двухтысячных казалось, что нейросети — технологии, пригодные для очень узкой ниши, а теперь ими пользуется весь мир.

В Tinkoff Lab я каждый день учусь чему-то новому, и мне нравится принятый здесь баланс академизма и практики. К тому же я получаю зарплату и могу не отвлекаться на подработки, которые мне не очень интересны.

Мне удается совмещать исследовательскую деятельность с учебой в вузе, и тройки я получать не боюсь. Можно спорить о том, насколько это оправданно, но в лаборатории я постоянно узнаю новое и не волнуюсь о том, что что-то упускаю. А если я пропускаю какую-то университетскую тему, то разбираюсь с ней сама в свободное время.

Планов я пока не загадываю и не строю. Сейчас я тружусь в лаборатории, а что будет через год — посмотрим.

Про себя, науку и Тинькофф. Учился в Физтехе. После школы поступил на факультет аэромеханики и летательной техники, ФАЛТ. Но пока изучал самолеты, понял, что жизнь слишком коротка, чтобы 20 лет ждать, пока твое изобретение пройдет все тестирования. Поэтому решил перейти в сферу ИТ, которая всегда меня привлекала, и выбрал магистратуру факультета инноваций и высоких технологий, ФИВТ. Занятный факт: окончил вуз с красным дипломом.

Примерно тогда же заинтересовался ML, AI и особенно RL. Это вылилось в призовые места на соревнованиях в рамках конференции NeurIPS  в 2017, 2018 и 2019 годах. Благодаря им начал писать статьи и познакомился с миром AI-исследований. А еще — с академическими конференциями, когда вы весь день слушаете про самые последние прорывы в области, а вечером общаетесь в кулуарах на афтепати, это было незабываемо.

Когда в Тинькофф создавался центр экспертизы по ИИ в 2020 году, я предложил развивать собственные AI-исследования. Чтобы задавать тренды не только в банковских продуктах, но и в технологиях. Так как у меня был некоторый кредит доверия, а компания Тинькофф всегда открыта к предложениям, если человек горит, эту идею окнули. Так мы и начали создавать Tinkoff Research.

Про Tinkoff Research. Сильного академического бэкграунда у меня не было: докторской степенью не обладаю. Поэтому собирать Tinkoff Research пришлось другим путем. Людей, готовых рискнуть и запустить исследовательскую AI-лабораторию, я искал среди знакомых ML-инженеров, стартаперов и студентов.

Благодаря моеу активному участию в AI-конференциях, ODS-комьюнити  и развитию проектов Open Source пару-тройку таких человек я знал. Именно они и стали костяком отдела исследований. Это были недавние бакалавры и магистры без академических регалий, но с пониманием научных и индустриальных проблем. И главное — с желанием их решать и публиковать исследовательские работы.

Долго ли, коротко ли, но в 2021 году нам удалось не только собрать костяк людей, но и опубликовать первые статьи. А в следующем году мы выпустили целые две спотлайт-статьи  : на конференции ICML и NeurIPS.

С первыми успехами пришли и первые сложности. Нам хотелось проводить больше исследований и выпускать больше публикаций, а для этого требовались новые люди. Но найти ML-исследователя — задача весьма нетривиальная. Поэтому мы продолжили традицию, когда-то зародившую наш отдел: начали искать студентов, которые горят новыми идеями и хотят оставить свой след в науке.

Одним из таких студентов был Саша Никулин. Он учился на соцфаке ВШЭ, но обладал очень новыми взглядами на RL. И что самое важное — умел правильно их доносить и понимал, как ставить эксперименты для проверки своих гипотез. Как можно догадаться, очень скоро Саша присоединился к нашей команде.

Сегодня мы продолжаем эту традицию — и надеемся и дальше развивать AI-исследования, растить своих студентов и публиковаться на лучших мировых конференциях.