— В 2023 году я окончил чисто инженерный бакалавриат в ИТМО — «Информационные системы и технологии» — и в магистратуру идти не собирался. Она вообще всегда ассоциировалась у меня с двумя целями: отсрочкой от армии и началом научной деятельности. Отсрочка мне была не нужна, и я не планировал заниматься исследованиями (хотя ретроспективно понимаю, что неоформившиеся мысли о науке у меня проскальзывали). Тогда я работал в «Сбере», хотел развиваться как инженер и делать что-то полезное.

В «Сбер» я устроился в середине третьего курса, и за три года успел поработать в нескольких командах. Сначала занимался мониторингом контрактов, где были разные задачи на компьютерное зрение, NLP и классический ML. Затем нас поглотил другой отдел, связанный с оценкой рисков, и я перешел в команду антифрода. К сожалению, оказалось, что в антифроде очень однотипные в техническом плане задачи: работа на табличных данных, где ты постоянно используешь одни и те же алгоритмы. Тогда я понял, что мне важно делать не просто что-то полезное, но и технически сложное и интересное. Я сменил еще одну команду (оценка рисков по сделкам у корпоративных клиентов с помощью мультиагентных и RAG-систем), но пришел к мысли, что самый интересный путь для меня — это наука. Так, спустя один год перерыва, я решил поступать в магистратуру.

— Я искал магистратуру именно по машинному обучению: мне всегда нравилась математика, и казалось, что ML — это область, лучше всего сочетающая в себе программирование и математику. В «Сбере» я работал в одной команде с аспирантами Сергея Муравьёва и Валерии Ефимовой [Сергей — руководитель, Валерия — преподаватель магистратуры «Глубокое обучение и генеративный ИИ». — Прим. ред.], которые очень положительно отзывались о своем опыте. Примерно за полгода до поступления я созвонился с Сергеем, рассказал о себе, и оказалось, что у нас хорошо пересекаются области научных интересов. На всякий случай я рассмотрел и другие научные программы по ML в Сколтехе, МФТИ и СПбГУ, но по отзывам студентов и открывающимся перспективам все же выбрал «Глубокое обучение и генеративный искусственный интеллект» в ИТМО. 

Справедливости ради стоит отметить, что в мой год в эту магистратуру был очень большой конкурс, и я не смог сразу на нее поступить. Зато я прошел на другую программу Института прикладных компьютерных наук — «Программирование и компьютерные науки» [это новое название, старое — «Программирование и искусственный интеллект». — Прим. ред.]. На ней был научный трек, хорошие курсы по машинному обучению от ГОиГИИ и ШАДа, занятия по академическому письму на английском языке. В какой-то момент я даже думал, что мне не стоит переводиться, но постепенно вскрылось одно но: эта магистратура ориентирована на разработку ПО и компьютерные науки, студенты в большинстве своем занимались отличными от моей темами, и оказалось, что мне практически не с кем обсудить вопросы из мира ML-исследований на студенческом уровне. Я понял, что хочу в сообщество людей со схожими интересами, и после первого семестра перевелся на «Глубокое обучение и генеративный искусственный интеллект».

— Когда я начинал работать над своими исследованиями в ИТМО, у нас было не очень много вычислительных ресурсов. Мне приходилось договариваться о доступе к ресурсам «Сбера» через прошлых коллег, что часто сопровождалось бюрократическими сложностями.

Все изменилось, когда Сергей Муравьёв познакомился с Ильей Макаровым, ведущим научным сотрудником и руководителем группы «ИИ в промышленности» Института AIRI, а после и Иваном Оселедцем, генеральным директором AIRI. Благодаря им мы сначала получили доступ к вычислительному кластеру института, а в начале лета открылась совместная лаборатория «Мультиагентный интеллект и адаптивные системы», где Сергей и Илья являются со-руководителями. По составу участников лаборатория сильно пересекается с моей магистратурой, и я оказался одним из тех, кого Сергей пригласил в стартовый состав.

— Еще до поступления Сергей предложил мне сначала самому поискать идею для будущего исследования, чтобы заниматься действительно интересным направлением. Если я такую идею не найду, всегда есть готовый список тем по профилю программы. Мне повезло, что в какой-то момент подруга скинула статью по D3PM, с которой она тогда разбиралась. Я почитал, статья показалась мне интересной и перспективной, поэтому я заинтересовался именно текущей областью исследований. Забавно, что через какое-то время подруга перестала заниматься машинным обучением, а я наоборот увлекся ее темой.

Сейчас моя основная область исследований — диффузионные модели для генерации текста и дискретных последовательностей вообще. Мне это интересно, кажется перспективным и важным, поскольку усовершенствование методов позволит ускорить генерацию текстов, кода, биоинформатических последовательностей и, как следствие, ускорит научный и инженерный прогресс.

Например, я сделал прототип по обучению пайплайна из автокодировщика, который сжимает текст в дискретные латенты в четыре раза по длине. Эта модель показала неплохое качество и многократный прирост скорости генерации на небольшом датасете рассказов для детей TinyStories. Теперь ее нужно масштабировать под датасеты реальных задач и под условную генерацию. Пока мне это не удалось сделать, но вышла промежуточная статья — case study с разбором, где именно происходит узкое горлышко и основная потеря в качестве. Я нашел контринтуитивное место потери качества, что поможет будущим исследователям не тратить лишнее время, пытаясь исправить то, что не является проблемой.

Также в одной из работ был представлен дополнительный уровень для введения обусловленности на уровне латентов модели, что позволяет переделывать ограниченные участки кода, не ломая и не изменяя при этом остальные строки. Согласно предварительным результатам, это повысит надежность регенерации кода, ограничиваясь только локальными участками, позволит делать это быстрее и качественнее. Это исследование приняли на The ACM International Conference on the Foundations of Software Engineering (FSE'26), но я, к сожалению, не смог поехать лично из-за сложностей с получением визы в Канаду.

Помимо меня исследованиями текстовых диффузионных моделей в ИТМО занимаются аспирант Алан Газзаев (его работу мы недавно представляли на воркшопе ICML'26 и сейчас продолжение этого исследования принято на индустриальный трек EMNLP'26) и две студентки теперь уже второго курса бакалавриата ТОП Data Science Анна Дашевская и Яна Зимина. Надеюсь, что в этом учебном году количество заинтересованных в теме студентов будет возрастать, и у нас получится охватить еще больше перспективных задач.

Также я занимаюсь вторым проектом, который появился благодаря лаборатории «Мультиагентный интеллект и адаптивные системы». Это разработка авторецензента статей с помощью LLM и автономного ИИ-исследователя в принципе. По сути мы изучаем возможности ИИ-агентов открывать новые алгоритмы машинного обучения без полноценного участия человека. Авторецензент позволит нам, во-первых, оценивать достоинства и недостатки своих работ перед подачей на конференции, и во-вторых, включить эту оценку в пайплайн автономного ИИ-исследователя. Наша цель, чтобы в будущем ученый мог просто ставить системе задачу, которую она дальше решает самостоятельно.

— Многие стремятся попасть в R&D отделы крупных компаний, но на мой взгляд, у такой работы есть куча недостатков. Во-первых, в основном они занимаются чем-то прикладным, что можно относительно быстро сконвертировать в деньги. Фундаментальные исследования их особо не интересуют, там долгая окупаемость. Во-вторых, далеко не все исследовательские отделы в индустрии позволяют писать статьи с твоими наработками, для многих это коммерческая тайна, позволяющая в чем-то быть лучше других. Я считаю, что это не настоящая наука: настоящая должна быть полезна и открыта всем для улучшения качества жизни людей, а не только ради обогащения корпораций. В-третьих, в индустрии нет свободы творчества: ты не можешь выбрать то, что тебе интересно, а делаешь то, что в ближайшей перспективе принесет выгоду компании. В вузе при выборе хорошего научного руководителя со свободой намного лучше, поскольку мои исследования ограничены только рамками адекватности и минимальной перспективности.  

В работе в науке есть, конечно, и ложка дегтя — это финансы. Для того, чтобы перейти из корпорации в университет, я в течение некоторого времени сознательно копил деньги на жизнь. Благо, в этом сильно помогли годовые премии «Сбера». Вообще я слышал от нескольких людей, занимающих высокие посты в научной среде, что это в начале карьеры финансовые перспективы слабые, но на дальней дистанции переход из индустрии окупается. Я пока не дошел до этой стадии, но за два года в исследованиях мой заработок вырос.

— В июле я ездил на свою первую международную конференцию The International Conference on Machine Learning (ICML'26) в Сеул. Я представлял наше исследование по использованию диффузионных моделей для автоматизированного обзора литературы на постерной сессии. До этого у меня был опыт онлайн-выступления на FRUCT и очных презентаций на университетских мероприятиях.

Большая международная конференция, куда съезжаются исследователи со всего мира, конечно отличается от вузовского междусобойчика. Во-первых, со всеми участниками приходится общаться на английском языке. Мой английский далек от идеала, и сначала было тяжеловато. День на третий я втянулся, мне стало комфортнее говорить с другими учеными, и в целом я справился.

Второе важное отличие в том, что исследователи, которые подходят к постеру, реально заинтересованы в твоей работе и хотят разобраться в деталях. Не секрет, что на университетских студенческих мероприятиях участники, как правило, просто соблюдают формальность и этикет, но погружаются в тему редко. Еще я был очень удивлен количеству людей. Ожидал, что будет много участников, но не думал, что прям настолько. Я пообщался с коллегами, которые занимаются исследованиями в моей области, и получил огромное удовольствие.

Мне понравилась и туристическая часть поездки. Пока Сеул — самая дальняя от Петербурга точка, куда я ездил. Было интересно посмотреть на стиль жизни корейцев и архитектуру: в Сеуле в одном районе могут стоять современные высотки и исторические небольшие здания, но все сочетается и выглядит красиво. В рамках конференции каждый день проходили какие-то неформальные мероприятия. Так мы с экскурсией посетили три главных дворца города, узнали про корейский стиль в архитектуре.

Кухня мне не очень зашла: даже в самом неостром варианте характерные корейские блюда были для меня слишком пряными и жгучими, так что я отдавал предпочтение более европеизированной еде. Но больше всего меня удивили отличные от наших образ жизни и менталитет: корейцы неукоснительно соблюдают правила. Мне запомнилось поведение на дороге, где все едут максимально спокойно и соблюдают ПДД, и в очереди, когда люди самостоятельно выстраиваются в одну колонну, а не толпятся с целью побыстрее пройти.

— В конце августа я поступил в аспирантуру Института прикладных компьютерных наук и планирую дальше заниматься изучением генеративных моделей. Мне хочется довести до финала исследование по латентным диффузионным моделям: сейчас готов прототип только для простого текстового датасета, но потенциально такой подход может претендовать на роль World Model, то есть быть применим к другим дискретным (в биоинформатике) и недискретным (звук, изображения) последовательностям. 

Также еще с первого курса магистратуры я вынашиваю идеи по исследованию способов генерации длинных последовательностей (более 8 тысяч элементов). Это довольно важная научная проблема: у бо́льшей части подходов с ростом длины последовательности сложность генерации нового элемента растет квадратично, что негативно влияет на скорость генерации. Альтернативные подходы пока уступают по качеству. 

Я надеюсь, что у меня получится внести значимый вклад в обе эти исследовательские области, чтобы генерация данных большой размерности занимала кратно меньше времени.