Мир меняется благодаря масштабу: беспрецедентному масштабу данных и вычислений, а также масштабу влияния этого процесса на нашу отрасль и мировую экономику.
Часть этих изменений обусловлена огромным объемом капитала. Microsoft, Oracle, Google и Amazon в совокупности имеют портфель контрактов на 2,3 триллиона долларов, что на 16% больше, чем в прошлом квартале. Bank of America прогнозирует, что капитальные затраты гиперскейлеров вырастут на 80% в этом году до 860 миллиардов долларов, с перспективой достижения 1,2 триллиона долларов к 2027 году. Когда капитал развертывается в таком масштабе, каждое архитектурное решение подвергается пересмотру, включая хранение данных.
На протяжении большей части последнего десятилетия хранение данных в гипермасштабируемых системах следовало простому рецепту: жесткие диски хранят байты, а небольшой уровень флэш-памяти поглощает «горячие» данные. Этот рецепт сейчас стремительно меняется.
Приложения становятся все более требовательными к производительности на терабайт. Недавнее исследование CMU совместно с Google и Microsoft, основанное на производственной телеметрии двух гиперскейлеров, иллюстрирует разрушительную тенденцию: требования к количеству операций ввода-вывода в секунду (IOPS) на терабайт выросли примерно на 25% за последние пять лет, причем самый резкий рост пришелся на последние три года по мере распространения аналитики ИИ/МО. Шестьдесят восемь процентов рабочих нагрузок стали «теплее», и эта тенденция ускоряется.
Хотя емкость жестких дисков продолжает расти, их плотность производительности движется в неверном направлении. Вращающийся диск обеспечивает примерно столько же IOPS, сколько и годы назад. Результатом является линейное снижение показателя IOPS/ТБ, наблюдаемое уже более десятилетия: каждое поколение обеспечивает меньшую производительность на байт, чем предыдущее.
Поскольку спрос на плотность производительности растет, а плотность производительности HDD падает, этот разрыв должен быть заполнен флэш-памятью. В условиях экономики гипермасштабирования это означает использование флэш-памяти с четырехуровневыми ячейками (QLC), и именно поэтому на QLC внезапно возник взрывной спрос.
Что теперь должны делать гиперскейлеры
Как только гиперскейлер переходит на использование QLC в больших масштабах, возникают три неотложные задачи: обеспечить поставки от как можно большего числа поставщиков QLC (поскольку ни один поставщик не может обеспечить развертывание эксабайтного масштаба); быстро квалифицировать QLC для разнообразного и постоянно меняющегося набора рабочих нагрузок; и максимизировать эффективность, потому что в таком масштабе каждый потраченный впустую бит «сырой» NAND представляет собой реальные деньги.
Это подводит к вопросу, над которым бьются команды хранения данных гиперскейлеров: покупать или создавать? Выбор по умолчанию — покупка коммерческих SSD, но это устройства с фиксированными функциями, которые представляют NAND так, будто это жесткий диск, закрепляя набор компромиссов на этапе производства. Они жертвуют эффективностью, с трудом справляются с меняющимися рабочими нагрузками и заставляют перезапускать длительный цикл квалификации с каждым новым поставщиком и поколением флэш-памяти. Создание собственных дисков внутри компании в конечном итоге работает, но требует многолетних инвестиций в нескольких поставщиков NAND, поколения флэш-памяти и сотни приложений. Результатом являются огромные расходы на НИОКР и значительные альтернативные издержки.
Everpure предлагает лучший путь
Существует третий вариант, и он лежит в основе нашего бизнеса Hyperscale Solutions: партнерство. Два крупнейших в мире гиперскейлера уже сделали этот выбор, выбрав нас для своей инфраструктуры хранения данных. Наша технология DirectFlash с ее программно-определяемой архитектурой служит двигателем наших решений Hyperscale Solutions. Созданная с самого начала как флэш-ориентированная, DirectFlash раскрывает все возможности флэш-носителей для максимизации эффективности, никогда не рассматривая NAND как вращающийся диск. Единая архитектура позволяет квалифицировать и запускать NAND от нескольких поставщиков — преимущество, с которым не может сравниться ни один поставщик SSD, привязанный к собственным производственным мощностям. Поскольку политики работы с флэш-памятью реализованы в программном обеспечении, а не «зашиты» в прошивку, архитектура быстро адаптируется по мере изменения рабочих нагрузок, что сейчас важнее, чем когда-либо.
Гиперскейлеры сотрудничают с нами для совместной разработки политик управления NAND для их среды, опираясь на более чем пятнадцатилетний опыт Everpure в области проектирования флэш-памяти и более 1 миллиона поставленных модулей DirectFlash. Они получают контроль, как при внутренней разработке, наряду со скоростью выхода на рынок, как при покупке. Преимущества конкретны:
- Поставки в масштабе. Наши три стратегических партнера по NAND вместе обеспечивают около 40% мировых мощностей флэш-памяти, предоставляя самые диверсифицированные поставки, доступные через единую архитектуру.
- Самые плотные диски в отрасли, повышение эффективности хранения на 10-20%. Модули DirectFlash на 150 и 300 ТБ обеспечивают большую емкость на стойку, чем любой SSD или HDD, и на 10-20% больше полезной емкости из каждого «сырого» бита NAND.
- В 2 раза более длительный срок службы носителей и в 2–5 раз более низкие показатели отказов. Управление флэш-памятью с помощью программного обеспечения устраняет подверженную ошибкам сложность, скрытую в «черных ящиках» SSD.
- Гибкие, программно-определяемые политики. Быстрая адаптация к меняющимся рабочим нагрузкам вместо блокировки полезной емкости фиксированными функциями.
- Более быстрая квалификация новых платформ. Поддержание согласованной базовой архитектуры даже при смене носителей, что сокращает циклы квалификации.
Консолидация «горячих» и «теплых» рабочих нагрузок на общем уровне флэш-памяти напрямую снижает совокупную стоимость владения (TCO), а «холодные» уровни последуют за ними, как только позволит экономика флэш-памяти. Замена эквивалентного дискового пространства высвобождает около 80% энергии, потребляемой системой хранения, что дает достаточно энергетических мощностей для питания примерно 1000 дополнительных графических процессоров на каждый развернутый эксабайт хранилища. В эпоху, когда каждый мегаватт на счету, эффективность хранения — это мощность GPU.
Одна архитектура для всего
DirectFlash является ключевым строительным блоком нашего портфеля систем хранения данных, усовершенствованным для каждого поколения флэш-памяти с 2015 года. Инженерные инновации, требуемые нашими гипермасштабируемыми клиентами, напрямую переносятся в наш корпоративный портфель, и наоборот.
Вычислительные инновации распространяются. Облачная архитектура зародилась в AWS и Google и изменила локальную инфраструктуру повсюду, и мы ожидаем, что флэш-память в гипермасштабируемых системах пойдет по тому же пути. Рынок сказал свое слово, и мы строим будущее, ориентируясь на то, куда он движется дальше.
