Расскажите немного о себе и о том, почему вы подали заявку на стажировку в Monzo?
Уоррен
Я Уоррен, студент третьего курса факультета компьютерных наук (CS) в Кембридже. Я давно интересуюсь программированием, потому что мне нравится создавать что-то, пользоваться этим самому и показывать другим. Позже я увлекся кибербезопасностью благодаря соревнованиям формата capture-the-flag, поэтому мне хотелось применить оба этих интереса на практике в реальной инженерной среде.
Как и многие студенты, я подавал заявки во многие компании, не имея одной четко спланированной цели. Monzo была одной из тех компаний, которые выделялись для меня в процессе отбора: это узнаваемый продукт, и, поскольку это потребительский банк, работа казалась связанной с тем, чем люди пользуются в повседневной жизни.
Софи
Я Софи, перехожу на третий курс физического факультета в Оксфорде. Мне всегда нравилась математика, но я никогда не знала, что с ней делать. Потом я открыла для себя машинное обучение (ML) — и это было то, что нужно. Это математика, с помощью которой можно действительно что-то создавать.
До этого лета все мои проекты по ML были личными, на наборах данных, которые кто-то уже привел в порядок, и результат был важен только для меня. Я хотела узнать, как это выглядит в реальной компании — когда данные по-настоящему «грязные», а команда зависит от результатов работы моей модели. Стажировка была единственным реальным способом это сделать. Я подала заявки в несколько мест, но чем больше я узнавала о Monzo, тем больше она становилась той компанией, в которую я действительно хотела попасть, а то, что я сама являюсь клиентом Monzo, было приятным бонусом!
Чего вы ожидали от работы в Monzo до прихода сюда и как реальность соотносилась с ожиданиями?
Уоррен
Это была моя первая настоящая работа в области разработки программного обеспечения, поэтому я не знал, чего ожидать. Я предполагал, что к стажерам могут относиться иначе, чем к штатным инженерам: много ограничений, очень структурированные задачи и относительно небольшие объемы работы.
В реальности ко мне относились как к полноценному члену команды. Мне дали общую задачу и много свободы, чтобы изучить ее, предложить решение и довести его до продакшена. Это сопровождалось большей ответственностью, чем я ожидал, но я все равно получал большую поддержку. Я мог обращаться к своей команде за советом, получать обратную связь по решениям и менять направление, когда узнавал что-то новое.
Софи
Я думала, что здесь будет более корпоративная атмосфера, чем на самом деле. Я ожидала фиксированных часов и большого количества бюрократии, а вместо этого здесь очень гибкий график, поощряется гибридный формат работы, и никто не следит за тем, когда ты начинаешь или заканчиваешь, что на самом деле очень раскрепощает. Все вокруг очень приятные люди, что звучит как клише для подобного блога, но это продолжало удивлять меня все лето. Если ты застрял, кто-то обязательно поможет, причем так, будто ты оказал им услугу, попросив об этом.
Я также не была готова к тому, насколько хорош офис: бесплатные завтраки каждый день, обеды пару раз в неделю, бесконечный кофе и фрукты, отличные мониторы и кресла. Звучит как мелочь, но это делает приход в офис тем, что ты действительно хочешь делать.
Я провела много времени летом, погрузившись в свой собственный проект, но никогда не чувствовала себя изолированной. Всегда находился кто-то, кто был рад обсудить его со мной, когда мне требовалось второе мнение.
Над чем вы работали во время стажировки?
Уоррен
Я работал в команде Staff Security & Detection, которая защищает устройства сотрудников (например, от вредоносных программ) и создает инструменты обнаружения для таких отделов, как Security Operations и Internal Fraud.
Мой основной проект заключался в улучшении того, как Monzo использует внешние данные об угрозах. Monzo получает информацию о потенциальных киберугрозах, например, IP-адреса, связанные с вредоносной активностью, но один из наших источников выдавал тысячи таких сообщений в день. Просматривать и расследовать их вручную было непрактично, поэтому данные оставались неиспользованными.
Мой проект автоматизировал этот процесс, превращая информацию об угрозах в то, с чем Monzo может работать. Вместо того чтобы кому-то постоянно проверять тысячи индикаторов вручную, система может искать признаки этих угроз в данных безопасности Monzo и оповещать команду безопасности, если находит что-то важное. Я также спроектировал сервисы так, чтобы они были полезны и за пределами первоначальной задачи — для всего, что связано с индикаторами угроз. Например, для поддержки большего количества источников информации об угрозах или помощи в таких областях, как обнаружение фишинга, работа с брандмауэрами и активные расследования.
Софи
Я работала над системой, которая обрабатывает платежи, заблокированные нами из-за подозрения в мошенничестве. Когда это происходит, мы задаем клиенту несколько вопросов о платеже, и автоматизированная система использует их ответы, чтобы решить, что делать дальше. Клиенты могут ответить голосовым сообщением вместо того, чтобы печатать, и мой проект был сосредоточен на том, стоит ли использовать это голосовое содержимое для принятия решения.
Это была смесь работы с данными и инженерии машинного обучения. Первая часть заключалась в восстановлении набора данных из множества исходных таблиц, которые никогда не предназначались для объединения, и я очень осторожно выбирала, какие поля мне разрешено использовать, потому что многие из тех, что выглядят наиболее предсказательными, заполняются только после того, как дело закрыто, поэтому они бы сразу «слили» ответ в модель.
Затем была более интересная часть. Превращение двухминутного голосового сообщения в нечто, с чем может работать градиентный бустинг. Я сама прочитала десятки транскриптов и составила таксономию сигналов, которые постоянно появлялись, а затем использовала LLM для разметки транскриптов по этой схеме в масштабе, так что вместо стены текста вы получаете структурированный набор признаков для каждого клиента. Я также создала более простые признаки, например, как человек решил ответить и сколько он на самом деле сказал. После этого нужно было подключить все это к существующему конвейеру, переобучить модель с новыми признаками и без них и посмотреть, что произойдет на отложенных данных. Эта последняя часть — внедрение чего-то в реальную рабочую кодовую базу, а не в блокнот — была для меня совершенно новой и, вероятно, принесла мне больше всего пользы!
Насколько вы были самостоятельны в своей работе?
Уоррен
У меня было гораздо больше самостоятельности, чем я ожидал от стажировки. Мне поставили общую цель — создать конвейер от данных об угрозах до логов безопасности Monzo, но именно я решал, как будет выглядеть полезная и достижимая версия этого решения.
Я определил объем проекта и отвечал за проектирование системы, выясняя, как сделать ее расширяемой для других целей, связанных с индикаторами угроз. По любым решениям, в которых я не был уверен, я мог проконсультироваться с командой, но я отвечал за то, чтобы представить варианты и объяснить компромиссы.
Софи
Я пришла с примерным планом проекта, и это было почти все. После этого я сама должна была прийти к своему менеджеру проекта с пошаговым планом того, как я собираюсь решать каждую часть, вплоть до того, какие функции стоит создавать и как я буду проверять, действительно ли они что-то меняют.
В начале я сильно полагался на него и, честно говоря, просто хотел, чтобы мне говорили, что делать дальше. К концу я уже принимал решения и начинал дела, не советуясь предварительно, что является куда более значительным сдвигом, чем кажется для двенадцати недель. Здесь вы получаете столько свободы, сколько готовы взять, и мне это очень понравилось. Никто не собирался давать мне больше ответственности, чем я просил, но как только я просил, она становилась моей.
Каково это — работать бок о бок с опытными Monzonauts?
Уоррен
Люди в Monzo очень открыты, и я многому научился, наблюдая за тем, как они работают и рассуждают над проблемами. Вместо того чтобы просто дать мне ответ, они задавали вопросы, указывали на компромиссы, которые я не учел, и помогали мне самому прийти к лучшему решению.
Хотя я был единственным, кто работал над моим проектом, и функционально он был довольно отделен от остальной работы команды, он включал в себя гораздо больше сотрудничества, чем я ожидал. Мне нужен был контекст по анализу угроз от отдела безопасности (Security Operations), а также отзывы от моей команды по архитектуре системы. Я также проверял работу коллег и даже нашел и исправил ошибку в коде другой команды, что заставило меня почувствовать себя настоящей частью более широкой инженерной организации.
Софи
В Monzo очень сильная культура встреч 1:1. Вы можете написать практически любому и пойти выпить кофе или созвониться в Google Meet, чтобы просто поболтать об их работе, о том, как они к ней пришли, о карьере, вашем проекте или жизни в целом. У меня было так много таких разговоров, и они стали моей любимой частью всего лета.
Удивительно, сколько умных людей из совершенно разных сфер я встретила. Большинство из них не имели никакого отношения к моему проекту, но я все равно уходила с лучшим пониманием того, чем хочу заниматься дальше. И когда я действительно застревала, возможность обсудить идеи с кем-то в течение получаса очень помогала.
Чему вы научились в Monzo, чего не узнали бы в другом месте?
Уоррен
Одна из самых важных вещей, которую я понял, — это то, сколько коммуникации требуется в инженерии. Поскольку я был единственным на своем проекте, я думал, что большую часть времени буду независимо писать код. На практике, чтобы сделать проект действительно полезным, нужно было общаться с разными командами, использовать специальные знания, документировать проектные решения и убедиться, что я решаю правильную проблему.
Я также понял ценность планирования перед тем, как приступать к реализации. В начале мне не терпелось начать писать код, но я быстро почувствовал себя перегруженным, потому что несколько ключевых решений все еще оставались неопределенными. Написание предложения, разбивка работы на тикеты и проактивный запрос обратной связи сделали остальную часть проекта намного проще. Я знал теорию раньше, но работа над реальной производственной системой действительно закрепила этот урок.
Софи
То, насколько машинное обучение на самом деле заключается в понимании ваших данных. Вы получаете результат от модели, он выглядит немного странно, и настоящее мастерство заключается в том, чтобы проследить его до источника и обнаружить, что все дело было в данных. Это случалось со мной не раз, и этому нельзя легко научить — нужно просто несколько раз на этом обжечься.
Я также узнала о вещах, которые незаметно разрушают модель, особенно об утечке данных, о которой я читала, но никогда не сталкивалась в реальности. Так много столбцов, которые выглядят наиболее предсказательными, заполняются только после закрытия дела, поэтому вы постоянно спрашиваете себя, что на самом деле можно было знать в тот самый момент, когда модель работала. И важность признаков — это не то же самое, что полезность признака; модель может сильно полагаться на входные данные, которые вы ей дали, и при этом не принимать лучших решений, во что я бы не поверила, пока не увидела это сама.
Еще один важный вывод — это внесение изменений в реальную кодовую базу и производственный конвейер, включая тесты, проверки и код, к которому до вас прикасались десятки инженеров. Я бы никогда не смогла научиться этому самостоятельно в уютном блокноте Jupyter с идеально чистым набором данных, который кто-то уже подготовил для меня.
Как на самом деле выглядит работа в области машинного обучения в Monzo?
Софи
Честно говоря, это гораздо меньше похоже на ML, который изучают в университете, чем я ожидала — и от этого только интереснее! Модели не странные и не переусложненные; это градиентный бустинг над деревьями решений, выполняющий четко определенную задачу, и почти никто не тратит время на архитектуру или настройку гиперпараметров. Все дело в признаках: откуда берутся данные для них и имеет ли смысл созданная вами система оценки.
Поэтому большую часть лета я занималась инженерией признаков: выясняла, что стоит подавать в модель, создавала это, проверяла, насколько модель полагается на это, и честно оценивала, привело ли это к лучшим решениям на новых данных. Вы также начинаете заботиться о других метриках, чем ожидаете — о точности (precision) и полноте (recall) на том самом пороге, где система принимает решение, а не просто о показателе точности (accuracy), потому что именно это чувствует реальный клиент.
Многое также связано с инфраструктурой, что мне понравилось гораздо больше, чем я думала. Правильное прохождение признаков через конвейер с тестами, обеспечение того, чтобы то, что вы измеряете в офлайне, действительно работало в продакшене.
Какая задача по ML была самой интересной, над которой вам довелось поработать, и что в ней было сложного?
Софи
Больше всего мне понравились моменты, когда нужно было выяснить, почему результат именно такой. Чтобы проверить, имеют ли транскрипты какую-то ценность, я настроила запуски, где модель обучалась с группами признаков и без них, чтобы изолировать сам транскрипт, а не все, что с ним шло, и сравнивала их на отложенных данных с доверительными интервалами, чтобы не принимать шум за реальную разницу.
Результаты по транскриптам были нулевыми, и мой первый инстинкт был в том, что я что-то сломала, поэтому я пошла искать ошибку. Проверка связей, доходит ли признак, доходит ли текст до модели. Очевидно, доходил, потому что вклад модели в эту часть входных данных резко возрастал, как только появлялся транскрипт. Она читала его, просто не получала из него ничего дополнительного. Я также заморозила одну обученную модель и переоценила ее по разным группам вместо того, чтобы переобучать каждый раз, чтобы шум от переобучения не выдавал себя за реальную разницу.
В конце концов, это была вовсе не ошибка, просто в нашей тестовой выборке было мало случаев, которые нас интересовали, поэтому не было достаточно данных, чтобы увидеть какой-либо эффект. Чтобы это выяснить, мне пришлось разобрать свой конвейер по частям, что мне понравилось гораздо больше, чем я ожидала.
Как выглядит создание программного обеспечения в Monzo по сравнению с тем, что вы испытывали раньше?
Уоррен
Это была моя первая работа в области разработки программного обеспечения, поэтому мой предыдущий опыт ограничивался в основном университетскими и личными проектами. В таких проектах цель обычно состоит в том, чтобы заставить что-то работать и продемонстрировать это один раз. В Monzo вам также приходится думать о том, как это может выйти из строя, как мы узнаем о сбое, какую ценность и влияние это приносит, а также о том, как это может повлиять на другие команды и системы.
Меня также удивило, насколько хорошим был опыт разработчика. Платформа Monzo берет на себя большую часть общей инфраструктуры, связанной с работой с микросервисами, поэтому мы можем тратить больше времени на обдумывание реальной бизнес-логики, поддерживая при этом надежный процесс проектирования, проверки кода, тестирования и безопасного развертывания изменений.
Если бы кто-то подумывал о подаче заявки на будущую стажировку в Monzo, что бы вы им сказали?
Софи
Определенно подавайте заявку! Даже если описание вакансии в области Data Science не совсем вам подходит, Monzo очень гибко подходит к тому, чтобы позволить вам работать над тем, что вам действительно интересно. Именно так я попала в команду машинного обучения в отделе по борьбе с финансовыми преступлениями (FinCrime), и это было очень круто.
Кроме того, просто будьте собой на собеседовании. В итоге я рассказывала о проектной работе и интересах, которые не имели никакого отношения к вопросу, на который мы должны были отвечать, и я думаю, что это показало мою личность гораздо лучше, чем любой ответ по Data Science. Здесь действительно это ценят.
И не расстраивайтесь, если ваша специальность немного необычна. Я одна из немногих стажеров, кто не изучает компьютерные науки, и это совсем не поставило меня в невыгодное положение. Если вы можете пройти тесты и собеседование, им не важно, что вы изучали; главное — учиться на рабочем месте, быть любопытным и готовым усердно работать.
Уоррен
Обязательно подавайте заявку и не отказывайтесь от участия заранее. Большинство людей недооценивают себя, и вам не нужно заранее знать Go или что-то еще, что используется в Monzo, потому что процесс адаптации довольно всеобъемлющий.
Мне также очень понравился процесс подачи заявки: он был сфокусированным, не казался затянутым, а вопросы дали мне хорошую возможность показать, как я мыслю и подхожу к решению проблем.
Заинтересованы в карьере в Monzo?
Если то, что вы здесь прочитали, находит у вас отклик и вы увлечены тем, чтобы сделать деньги доступными для всех, мы нанимаем инженеров по машинному обучению, аналитиков данных, бэкенд-разработчиков и многих других специалистов в Monzo! Загляните на нашу страницу вакансий, чтобы узнать, есть ли у нас подходящая для вас роль.