Офис Infobip в Тузле открылся в 2019 году и стал вторым офисом компании в Боснии и Герцеговине. Сегодня здесь работают инженеры, которые полностью отвечают за весь стек почтовых продуктов Infobip, создавая и эксплуатируя системы, помогающие компаниям связываться с людьми по всему миру.
Масштаб виден в цифрах: платформа обрабатывает около миллиарда писем в день, с пиками примерно в 35 000 писем в секунду. В периоды пиковых нагрузок, таких как День благодарения и Черная пятница, команда готовится к отправке миллиардов писем за несколько дней. Но за этими цифрами стоят решения, командная работа и повседневная инженерная деятельность, которые поддерживают работу платформы.
«Мы создаем и эксплуатируем глобальную почтовую платформу, обрабатывающую около миллиарда писем в день, прямо отсюда».
— Эрмин Катарджич (Ermin Katardžić), ведущий инженер
Пять лет назад Эрмин был инженером среднего уровня. Сегодня он — ведущий инженер, помогающий формировать техническое направление развития почтовой платформы.
Когда команда в Тузле взяла на себя больше ответственности за почтовые сервисы, платформа выглядела совсем иначе. Инциденты происходили часто, большая часть трафика проходила через стороннего провайдера, а собственный агент передачи почты (MTA) Infobip — программное обеспечение, отправляющее письма — обрабатывал всего несколько сотен тысяч сообщений в день. Команда сосредоточилась сначала на снижении количества инцидентов, затем на улучшении платформы и перенаправлении большей части трафика на собственную инфраструктуру Infobip.
Это также изменило роль команды. Теперь инженеры из Тузлы участвуют в принятии технических решений, которые определяют, как платформа растет и остается надежной.
«Мы не просто создаем фрагменты чьей-то чужой системы, мы полностью контролируем разработку от проектирования до продакшна».
— Эрмин Катарджич (Ermin Катарджич), ведущий инженер
По мере профессионального роста Эрмин глубже изучил устройство платформы. В роли ведущего инженера его фокус внимания меняется в зависимости от задач: иногда он пишет код каждый день в течение нескольких недель; в другое время его вклад заключается в обсуждении архитектуры, ревью кода или расследовании проблем в продакшне. Он держит руку на пульсе важнейших задач и помогает команде принимать решения, которые выдержат испытание временем.
Один из уроков преподнесла функция, призванная контролировать, какие IP-адреса отправителей могут достигать определенных получателей. Все начиналось как практическое исправление, но из-за реализации белого списка новые выделенные IP-адреса могли оказаться заблокированными, если кто-то не обновит конфигурацию. Команда заметила проблему при анализе прогрева новых IP: они не отправляли трафик на iCloud, хотя инфраструктура была готова.
В конце концов эту функцию удалили. Для Эрмина это стало напоминанием о том, что даже временное решение может создать долгосрочные операционные издержки, и что продуктовая команда должна думать о том, как принятые решения повлияют на платформу спустя долгое время после их внедрения.
Сезон высоких нагрузок — это не то, пускающие на самотек в почтовой команде. Подготовка начинается задолго до его начала с тестов на производительность и обсуждения с клиентами их ожидаемого трафика.
Эти прогнозы помогают команде планировать емкость инфраструктуры и осуществлять прогрев дополнительных IP-адресов. Этот процесс требует времени: трафик должен увеличиваться постепенно, прежде чем IP сможет обрабатывать существенно большие объемы. Команда также масштабирует сервисы и внимательно следит за MTA, где процессор и пропускная способность исходящей сети являются одними из ключевых критических точек.
Эрмин также помог сформировать подход платформы к обработке сбоев. Для исходящей почты в США и ЕС он выступил за конфигурацию active-active: IP-адреса в разных локациях одновременно активно отправляют трафик, поэтому одна локация может принять на себя дополнительную нагрузку, если другая выйдет из строя. Обратная сторона заключается в том, что трафик через оставшиеся IP-адреса может удвоиться, что может привести к ограничению скорости (троттлингу) со стороны почтовых провайдеров. Альтернативный вариант мог бы снизить этот риск, но потребовал бы простоя на время переноса трафика.
Идеального решения для любой ситуации не существует. Команда должна понимать платформу, взвешивать последствия и выбирать подход, который эффективно работает для клиентов в продакшне.
Майда Баралич (Maida Baralić) присоединилась к Infobip в качестве старшего инженера, услышав об интересном проекте, который запускается в Тузле. Четыре года спустя она стала ведущим инженером (Staff Engineer). Большая часть ее работы связана с обеспечением надежности платформы и планированием интеграции будущих функций в уже существующие системы.
Один из примеров начался с кеширования шаблонов HTML. Кеширование полезно, когда контент можно использовать повторно. Но один из клиентов отправлял уникальный HTML для каждого сообщения, и этот контент кешировался, хотя он больше никогда бы не понадобился. Неиспользуемые записи занимали место и вытесняли из кеша контент, пригодный для повторного использования.
Майда отследила проблему до трафика этого клиента и добавила его учетную запись в список исключений, чтобы его HTML пропускал этап кеширования. Это изменение также снизило нагрузку на внутреннюю сеть и ускорило общую обработку.
«Мы обрабатываем миллиарды сообщений каждый месяц, поэтому производительность при такой нагрузке — это то, о чем нам всегда приходится думать, и здесь есть огромный простор для оптимизации. Вы получаете возможность работать с системами, которыми пользуются компании по всему миру, не уезжая из Тузлы».
— Майда Баралич (Maida Baralić), ведущий инженер
Значительная часть самой сложной работы Маиды происходит за кулисами: отслеживание изменений репутации отправителя, аутентификации и правил почтовых провайдеров, а также выявление необычных паттернов до того, как они затронут клиентов. При работе с крупными клиентами небольшая проблема может повлиять на огромное количество сообщений, поэтому раннее предотвращение проблем является частью поддержания надежности платформы.
«Когда мы делаем это хорошо, кажется, будто ничего не произошло, и в этом заключается наша главная цель».
— Майда Баралич (Maida Baralić), ведущий инженер
Майда также наблюдала, как хаб в Тузле рос как по численности команды, так и по масштабам задач. За эти годы и команда, и платформа выросли, взяв на себя больше работы и более крупных клиентов. По ее словам, атмосфера осталась дружелюбной и располагающей к сотрудничеству, даже несмотря на то, что работа стала более требовательной.
Не каждый приходит в команду с многолетним опытом работы с почтовой инфраструктурой. Для Мака хаб в Тузле стал местом, где можно изучить совершенно новую для себя сферу и одновременно вносить вклад в создание глобального продукта.
Его первый инцидент в продакшне произошел очень рано. После того как изменения кода были развернуты во Франкфурте, около 4 500 писем были отклонены без повторной отправки. Мак заметил ошибки и отключил затронутые инстансы. Этот инцидент стал полезным опытом, но больше всего Мака поразила поддержка со стороны команды.
«Команда была невероятно поддерживающей и воодушевляющей. Они сразу же поделились историями о своих собственных первых инцидентах и продолжали заверять меня, что теперь я наконец-то прошел полноценный онбординг».
— Мак Реджич (Mak Redžić), разработчик ПО
Вскоре после онбординга Мак получил возможность перепроектировать то, как MTA обрабатывает тысячи общедоступных IP-адресов. Это была важная, но не срочная работа, что дало ему время продумать решение и показать, на что он способен.
Недавно получив повышение до инженера среднего уровня, Мак отмечает, что расширение знаний в предметной области принесло большее чувство ответственности. Он также учился, наблюдая за тем, как более опытные инженеры справляются с проблемами и связывают воедино различные части платформы.
Работа в продуктовой компании дала ему опыт на протяжении всего жизненного цикла продукта, от планирования до внедрения, бок о бок с коллегами из продуктового и инженерного отделов. Для кандидатов это означает, что работа не заканчивается на выпуске изменений: команда следит за тем, как продукт показывает себя в реальном мире.
«Работа над email в Тузле означает работу и рост в качестве инженера на глобальном уровне».
— Мак Реджич, инженер-программист
Истории Эрмина, Маиды и Мака показывают разные пути развития в хабе: проектирование архитектуры зрелой платформы, поиск небольшого изменения с измеримым эффектом или принятие на себя реальной ответственности в начале карьеры.
Вместе они показывают, что Тузла предлагает инженерам: возможность работать над продуктом, используемым по всему миру, вносить свой вклад в лежащие в его основе системы и учиться вместе с людьми, которые глубоко в нем разбираются, строя при этом карьеру в Боснии и Герцеговине.
