Расскажите немного о себе и о том, почему вы подали заявку на стажировку в Monzo?
Уоррен
Я Уоррен, студент третьего курса факультета компьютерных наук (CS) в Кембридже. Я давно интересуюсь программированием, потому что мне нравится создавать что-то, пользоваться этим самому и показывать другим. Позже я увлекся кибербезопасностью благодаря соревнованиям в формате «захват флага» (CTF), поэтому мне хотелось применить оба этих интереса на практике в реальной инженерной среде.
Как и многие студенты, я подавал заявки во многие компании, а не стремился в какое-то одно заранее выбранное место. Monzo была одной из тех компаний, которые выделились для меня в процессе: у них узнаваемый продукт, а поскольку это потребительский банк, работа ощущалась как нечто, связанное с тем, чем люди пользуются в повседневной жизни.
Софи
Я Софи, перехожу на третий курс физического факультета в Оксфорде. Мне всегда нравилась математика, но я никогда не знала, что с ней делать. Потом я открыла для себя машинное обучение (ML) — и это было именно то, что нужно. Это математика, с помощью которой можно создавать реальные вещи.
До этого лета все мои проекты по ML были личными, на наборах данных, которые кто-то уже привел в порядок, и результат был важен только для меня. Я хотела узнать, как это выглядит в реальной компании — когда данные по-настоящему «грязные», а команда зависит от результатов работы моей модели. Стажировка была единственным реальным способом это сделать. Я подала заявки во многие места, но чем больше я узнавала о Monzo, тем больше она становилась той компанией, в которую я хотела попасть больше всего, а то, что я сама являюсь клиентом Monzo, было приятным бонусом!
Чего вы ожидали от работы в Monzo до прихода сюда и как реальность соотносилась с ожиданиями?
Уоррен
Это была моя первая настоящая работа в области разработки программного обеспечения, поэтому я не знал, чего ожидать. Я предполагал, что к стажерам могут относиться совсем иначе, чем к штатным инженерам: много ограничений, очень структурированные задачи и относительно небольшие объемы работы.
В действительности ко мне относились как к полноценному члену команды. Мне дали общую задачу и много свободы для ее изучения, предложения решения и доведения его до стадии внедрения. Это сопровождалось большей ответственностью, чем я ожидал, но я все равно получал большую поддержку. Я мог обращаться к своей команде за советом, получать обратную связь по решениям и менять направление, когда узнавал что-то новое.
Софи
Я думала, что здесь будет более корпоративная атмосфера, чем есть на самом деле. Я ожидала фиксированных часов работы и большого количества бюрократии, а вместо этого здесь очень гибкий график, поощряется гибридный формат работы, и никто не следит за тем, когда ты начинаешь или заканчиваешь, что на самом деле очень раскрепощает. К тому же все очень милые, что звучит как типичная фраза для такого блога, но это продолжало удивлять меня все лето. Если ты застрял, кто-то обязательно поможет, и они будут вести себя так, будто ты оказал им услугу, попросив о помощи.
Я также не была готова к тому, насколько хорош офис: бесплатные завтраки каждый день, обеды пару раз в неделю, бесконечный кофе и фрукты, отличные мониторы и кресла. Звучит как мелочь, но это делает приход в офис тем, что ты действительно хочешь делать.
Я провела большую часть лета, погрузившись в свой проект, но никогда не чувствовала себя изолированной. Всегда находился кто-то, кто был рад обсудить его со мной, когда мне требовалось второе мнение.
Над чем вы работали во время стажировки?
Уоррен
Я работал в команде Staff Security & Detection, которая защищает устройства сотрудников (например, от вредоносного ПО) и создает инструменты обнаружения для таких отделов, как Security Operations и Internal Fraud.
Мой основной проект заключался в улучшении того, как Monzo использует внешние данные об угрозах. Monzo получает информацию о потенциальных киберугрозах, например, IP-адреса, связанные с вредоносной активностью, но один из наших источников выдавал тысячи таких данных в день. Просматривать и расследовать их вручную было непрактично, поэтому данные оставались неиспользованными.
Мой проект автоматизировал этот процесс, превращая информацию об угрозах в то, с чем Monzo может работать. Вместо того чтобы кому-то вручную проверять тысячи индикаторов, система может искать признаки этих угроз в данных безопасности Monzo и предупреждать команду безопасности, если находит что-то важное. Я также спроектировал сервисы так, чтобы они были полезны и за пределами первоначальной задачи, для всего, что связано с индикаторами угроз. Например, для поддержки большего количества источников информации об угрозах или помощи в таких областях, как обнаружение фишинга, межсетевые экраны и активные расследования.
Софи
Я работала над системой, которая обрабатывает платежи, заблокированные нами из-за подозрения на мошенничество. Когда это происходит, мы задаем клиенту несколько вопросов о платеже, и автоматизированная система использует их ответы, чтобы решить, что делать дальше. Клиенты могут ответить голосовым сообщением вместо того, чтобы печатать, и мой проект был сосредоточен на том, стоит ли использовать это голосовое содержимое для принятия решения.
Это была смесь работы с данными и инженерии машинного обучения. Первая часть заключалась в восстановлении набора данных из множества исходных таблиц, которые никогда не предназначались для объединения, и я очень осторожно выбирала, какие поля мне разрешено использовать, потому что многие из тех, что выглядят наиболее предсказательными, заполняются только после того, как дело закрыто, поэтому они бы сразу «слили» ответ в модель.
Затем была более интересная часть. Превращение бессвязного двухминутного голосового сообщения в то, с чем может работать градиентный бустинг. Я сама прочитала десятки транскриптов и создала таксономию сигналов, которые постоянно появлялись, а затем использовала LLM для маркировки транскриптов по этой схеме в масштабе, так что вместо стены текста вы получаете структурированный набор признаков для каждого клиента. Я также создала более простые признаки, например, как человек решил ответить и сколько он на самом деле сказал. После этого нужно было подключить все это к существующему конвейеру, переобучить модель с новыми признаками и без них и посмотреть, что произойдет на тестовых данных. Эта последняя часть — внедрение чего-то в реальную рабочую кодовую базу, а не в блокнот — была для меня совершенно новой и, вероятно, дала мне больше всего!
Насколько вы были самостоятельны в своей работе?
Уоррен
У меня было гораздо больше самостоятельности, чем я ожидал от стажировки. Мне поставили общую цель — создать конвейер от данных об угрозах до журналов безопасности Monzo, но именно я решал, как будет выглядеть полезная и достижимая версия этого решения.
Я определил объем проекта и отвечал за проектирование системы, выясняя, как сделать ее расширяемой для других целей, связанных с индикаторами угроз. По любым решениям, в которых я не был уверен, я мог проконсультироваться со своей командой, но я отвечал за то, чтобы представить варианты и объяснить их плюсы и минусы.
Софи
Я пришла с примерным планом проекта, и это было все. После этого я сама должна была прийти к своему менеджеру проекта с реальным пошаговым планом того, как я собираюсь решать каждую часть, вплоть до того, какие функции стоит создавать и как я буду проверять, действительно ли они что-то меняют.
В начале я сильно полагался на него и, честно говоря, просто хотел, чтобы мне говорили, что делать дальше. К концу я уже принимал решения и начинал дела, не советуясь предварительно, что является куда большим сдвигом, чем кажется для двенадцати недель. Здесь вы получаете столько свободы, сколько готовы взять, и мне это очень понравилось. Никто не собирался давать мне больше ответственности, чем я просил, но как только я просил, она становилась моей.
Каково это — работать бок о бок с опытными Monzonauts?
Уоррен
Люди в Monzo очень открыты, и я многому научился, наблюдая за тем, как они работают и рассуждают над проблемами. Вместо того чтобы просто дать мне ответ, они задавали вопросы, указывали на компромиссы, которые я не учел, и помогали мне самому прийти к лучшему решению.
Хотя я был единственным, кто работал над моим проектом, и функционально он был довольно отделен от остальной работы команды, он включал в себя гораздо больше сотрудничества, чем я ожидал. Мне нужен был контекст по анализу угроз от отдела безопасности (Security Operations), а также обратная связь от моей команды по архитектуре системы. Я также проверял работу коллег и даже нашел и исправил ошибку в коде другой команды, что заставило меня почувствовать себя по-настоящему частью более широкой инженерной организации.
Софи
В Monzo очень сильная культура встреч 1:1. Вы можете написать практически любому и пойти выпить кофе или созвониться в Google Meet, просто чтобы поболтать об их работе, о том, как они к ней пришли, о карьере, вашем проекте или жизни в целом. У меня было так много таких разговоров, и они стали моей самой любимой частью всего лета.
Удивительно, сколько умных людей из совершенно разных сфер я встретила. Большинство из них не имели никакого отношения к моему проекту, но после общения у меня все равно оставалось лучшее понимание того, чем я хочу заниматься дальше. И когда я по-настоящему застревала, возможность полчаса пообсуждать идеи с кем-то, кто был рад помочь, имела огромное значение.
Чему вы научились в Monzo, чего не узнали бы в других условиях?
Уоррен
Одна из самых важных вещей, которую я усвоил, — это то, сколько общения требуется в инженерии. Поскольку я был единственным на своем проекте, я думал, что большую часть времени буду независимо писать код. На практике, чтобы сделать проект по-настоящему полезным, нужно было общаться с разными командами, использовать специальные знания, документировать проектные решения и убедиться, что я решаю правильную проблему.
Я также понял ценность планирования перед тем, как бросаться в реализацию. В начале я стремился поскорее начать писать код, но быстро почувствовал себя перегруженным, потому что несколько ключевых решений все еще оставались неопределенными. Написание предложения, разбивка работы на тикеты и проактивный запрос обратной связи сделали остальную часть проекта намного проще. Я знал теорию раньше, но работа над реальной производственной системой действительно закрепила этот урок.
Софи
То, насколько ML — это на самом деле понимание ваших данных. Вы получаете результат от модели, он выглядит немного странно, и настоящее мастерство заключается в том, чтобы проследить его до источника и обнаружить, что все дело было в данных. Со мной такое случалось не раз, и этому нельзя легко научить — нужно просто несколько раз на этом обжечься.
Я также узнала о вещах, которые незаметно портят модель, особенно об утечке данных (data leakage), о которой я читала, но никогда не сталкивалась в реальности. Так много столбцов, которые выглядят наиболее предсказательными, заполняются только после закрытия дела, поэтому вы постоянно спрашиваете себя, что на самом деле можно было знать в тот самый момент, когда модель сработала. И важность признака (feature importance) — это не то же самое, что его реальная полезность; модель может сильно опираться на входные данные, которые вы ей дали, и при этом не принимать лучших решений, во что я бы не поверила, пока не увидела это своими глазами.
Другой важный вывод — это внедрение изменений в реальную кодовую базу и производственный конвейер, включая тесты, проверки и код, к которому до вас прикасались десятки инженеров. Я бы никогда не смогла научиться этому самостоятельно в уютном Jupyter notebook с идеально чистым набором данных, который кто-то уже подготовил для меня.
Как на самом деле выглядит работа в области машинного обучения в Monzo?
Софи
Честно говоря, это гораздо меньше похоже на тот ML, который изучают в университете, чем я ожидала — и от этого только интереснее! Модели не странные и не переусложненные; это градиентный бустинг, выполняющий четко определенную задачу, и почти никто не тратит время на архитектуру или настройку гиперпараметров. Все дело в признаках: откуда берутся данные для них и имеет ли смысл созданная вами система оценки.
Поэтому большая часть моего лета ушла на проектирование признаков (feature engineering): определение того, что стоит подавать в модель, создание этого, проверка того, насколько модель опирается на это, и честная оценка того, привело ли это к лучшим решениям на новых данных. Вы также начинаете заботиться о других метриках, чем ожидаете — о точности (precision) и полноте (recall) на том самом пороге, где система принимает решение, а не просто о цифре точности (accuracy), потому что именно это чувствует реальный клиент.
Многое здесь также связано с инфраструктурой, что мне понравилось гораздо больше, чем я думала. Правильное прохождение признаков через конвейер с тестами, гарантия того, что то, что вы измеряете офлайн, действительно работает в продакшене.
Какая задача по ML была самой интересной и что в ней было сложного?
Софи
Больше всего меня заинтересовали моменты, когда мне нужно было понять, почему результат именно такой. Чтобы проверить, имеют ли транскрипты какую-то ценность, я настроила запуски, где модель обучалась с каждой группой признаков и без них, чтобы я могла изолировать сам транскрипт, а не все, что шло вместе с ним, и сравнивала их на отложенных данных с бутстрапированными доверительными интервалами, чтобы не принимать шум за реальную разницу.
Результаты по транскриптам оказались нулевыми, и мой первый инстинкт был в том, что я что-то сломала, поэтому я пошла искать ошибку. Проверка связей, доходит ли признак, доходит ли текст до модели. Очевидно, доходил, потому что вклад модели в эту часть входных данных резко возрастал, как только добавлялся транскрипт. Она читала его, просто не получала из него ничего дополнительного. Я также заморозила одну обученную модель и переоценила ее по разным группам вместо того, чтобы переобучать каждый раз, чтобы шум от переобучения не мог выдать себя за реальную разницу.
В конце концов, это была вовсе не ошибка, просто в нашей тестовой выборке было мало случаев, которые нас интересовали, поэтому там не было достаточно данных, чтобы увидеть эффект в ту или иную сторону. Чтобы это выяснить, мне пришлось разобрать свой конвейер по кусочкам, что мне понравилось гораздо больше, чем я ожидала.
Как выглядит разработка программного обеспечения в Monzo по сравнению с тем, что вы видели раньше?
Уоррен
Это была моя первая работа в качестве инженера-программиста, поэтому мой предыдущий опыт ограничивался в основном университетскими и личными проектами. В таких проектах цель обычно состоит в том, чтобы заставить что-то работать и продемонстрировать это один раз. В Monzo же вам также приходится думать о том, как это может выйти из строя, как мы узнаем о сбое, какую ценность и влияние это приносит, и какое воздействие это может оказать на другие команды и системы.
Меня также удивило, насколько хорошим был опыт разработчика. Платформа Monzo берет на себя большую часть общей инфраструктуры, связанной с работой с микросервисами, поэтому мы можем тратить больше времени на обдумывание реальной бизнес-логики, поддерживая при этом надежный процесс проектирования, проверки кода, тестирования и безопасного развертывания изменений.
Если бы кто-то подумывал о подаче заявки на будущую стажировку в Monzo, что бы вы им сказали?
Софи
Определенно подавайте заявку! Даже если описание вакансии в области Data Science не совсем вам подходит, Monzo очень гибко относится к тому, чтобы позволить вам работать над тем, что вам действительно интересно. Именно так я попала в команду машинного обучения в отделе FinCrime, что было очень круто.
Кроме того, просто будьте собой на собеседовании. В итоге я рассказывала о проектной работе и интересах, которые не имели никакого отношения к вопросу, на который мы должны были отвечать, и я думаю, что это показало мою личность гораздо лучше, чем любой ответ по Data Science. Здесь действительно это ценят.
И не расстраивайтесь, если ваша специальность немного необычна. Я одна из немногих стажеров, кто не занимается компьютерными науками, и это совсем не поставило меня в невыгодное положение. Если вы можете пройти тесты и собеседование, им не важно, что вы изучали; главное — это обучение на рабочем месте, любознательность и готовность усердно работать.
Уоррен
Обязательно подавайте заявку и не отказывайтесь от участия заранее. Большинство людей недооценивают себя, и вам не нужно заранее знать Go или что-либо еще, используемое в Monzo, потому что процесс адаптации довольно всеобъемлющий.
Мне также очень понравился процесс подачи заявки: он был сфокусированным, не казался затянутым, а вопросы дали мне хорошую возможность показать, как я мыслю и подхожу к решению проблем.
Заинтересованы в карьере в Monzo?
Если то, что вы здесь прочитали, находит у вас отклик, и вы увлечены тем, чтобы сделать деньги доступными для всех, мы нанимаем инженеров по машинному обучению, аналитиков данных, бэкенд-инженеров и многих других специалистов по всему Monzo! Загляните на нашу страницу вакансий, чтобы узнать, есть ли у нас подходящая для вас роль.
