Она преображает мир за счет масштабов: беспрецедентного масштаба данных и вычислений, а также масштаба своего влияния на нашу индустрию и глобальную экономику.
Часть этих изменений обусловлена чистым масштабом капитала. Microsoft, Oracle, Google и Amazon теперь суммарно располагают законтрактованным портфелем заказов на сумму 2,3 триллиона долларов, что на 16% больше всего за последний квартал. По прогнозам Bank of America, капитальные затраты гиперскейлеров вырастут в этом году на 80% и достигнут 860 миллиардов долларов, а к 2027 году этот показатель может вырасти до 1,2 триллиона долларов. Когда капитал развертывается в таком масштабе, пересмотру подвергается каждое архитектурное решение, включая системы хранения данных.
Почти последнее десятилетие гипермасштабируемые хранилища следовали простому рецепту: жесткие диски хранят байты, а небольшой уровень флеш-памяти обрабатывает «горячие» данные. Этот рецепт сейчас стремительно меняется.
Приложения требуют все больше производительности на терабайт. Недавнее исследование CMU, проведенное совместно с Google и Microsoft на основе производственной телеметрии от двух гиперскейлеров, иллюстрирует разрушительную тенденцию: требования к количеству операций ввода-вывода в секунду на терабайт (IOPS-per-TB) выросли примерно на 25% за последние полтора десятка лет, причем самый резкий скачок произошел за последние три года по мере распространения аналитики ИИ/МО. Шестьдесят восемь процентов рабочих нагрузок стали «горячее», и эта тенденция ускоряется.
Хотя емкость жестких дисков продолжает расти, их плотность производительности движется в неверном направлении. Вращающийся диск обеспечивает примерно такое же количество IOPS, как и годы назад. Результатом является линейное снижение IOPS/TB, наблюдаемое уже более десятилетия: каждое новое поколение обеспечивает меньшую производительность на байт, чем предыдущее.
Поскольку спрос на плотность производительности растет, а плотность производительности жестких дисков падает, этот разрыв должен быть заполнен флеш-памятью. При экономике гиперскейлеров это означает использование флеш-памяти с ячейками четырехуровневого типа (QLC), и именно поэтому на QLC внезапно возник взрывной спрос.
Что должны сделать гиперскейлеры прямо сейчас
Как только гиперскейлер принимает решение о масштабном внедрении QLC, три задачи становятся приоритетными: обеспечить поставки от как можно большего числа производителей QLC (поскольку ни один поставщик в одиночку не сможет обеспечить развертывание эксабайтного масштаба); быстро квалифицировать QLC для разнообразного и постоянно меняющегося набора рабочих нагрузок; и максимизировать эффективность, поскольку в таких масштабах каждый потерянный бит сырой NAND означает реальные деньги.
Это подводит к вопросу, над которым ломают головы команды хранения данных гиперскейлеров: купить или создать? Выбор по умолчанию — покупка коммерческих твердотельных накопителей (SSD), но это устройства с фиксированными функциями, которые представляют NAND так, будто это жесткий диск, навязывая набор компромиссов, заложенных еще на этапе производства. Они жертвуют эффективностью, с трудом справляются с меняющимися нагрузками и заставляют проходить долгий цикл квалификации заново с каждым новым поставщиком и поколением флеш-памяти. Создание собственных накопителей собственными силами в конечном итоге работает, но требует многолетних инвестиций в работу с несколькими поставщиками NAND, поколениями флеш-памяти и сотнями приложений. Результатом являются огромные расходы на НИОКР и значительные альтернативные издержки.
Everpure предлагает лучший путь
Существует третий вариант, который лежит в основе нашего бизнеса Hyperscale Solutions: партнерство. Два ведущих мировых гиперскейлера уже сделали этот выбор, выбрав нас для своей инфраструктуры хранения данных. Наша технология DirectFlash с ее программно-определяемой архитектурой служит двигателем, приводящим в действие наши решения для гипермасштабируемых систем. Созданная изначально как флеш-нативная, технология DirectFlash задействует все возможности флеш-носителей для максимизации эффективности — никогда не обращаясь с NAND как с вращающимся диском. Единая архитектура позволяет квалифицировать и использовать NAND от нескольких поставщиков — преимущество, с которым не может сравниться ни один производитель SSD, привязанный к собственным заводам. Поскольку политики работы с флеш-памятью реализованы в программном обеспечении, а не «зашиты» в прошивку, архитектура быстро адаптируется по мере эволюции рабочих нагрузок, что сейчас важно как никогда.
Гиперскейлеры сотрудничают с нами для совместной разработки политик управления NAND для их среды, опираясь на более чем пятнадцатилетний опыт Everpure в области разработки флеш-памяти и более 1 миллиона отгруженных модулей DirectFlash Modules. Они получают контроль создания решений собственными силами наряду со скоростью выхода на рынок, свойственной покупке готовой продукции. Преимущества вполне осязаемы:
- Поставки в масштабе. Наши три стратегических партнера по NAND в совокупности обеспечивают примерно 40% мировых мощностей флеш-памяти, предоставляя самую диверсифицированную цепочку поставок через единую архитектуру.
- Самые плотные накопители в отрасли, на 10–20% выше эффективность хранения. Модули DirectFlash Modules емкостью 150 и 300 ТБ обеспечивают большую емкость на стойку, чем любой SSD или HDD, а также на 10–20% больше полезной емкости из каждого сырого бита NAND.
- В 2 раза больший срок службы носителей и в 2–5 раз более низкий уровень отказов. Управление флеш-памятью с помощью программного обеспечения устраняет подверженную ошибкам сложность, скрытую внутри SSD-«черных ящиков».
- Гибкие программно-определяемые политики. Быстрая адаптация к меняющимся рабочим нагрузкам вместо простоя полезной емкости за фиксированными функциями.
- Более быстрая квалификация новых платформ. Сохранение единой базовой архитектуры даже при смене носителей, что сокращает циклы квалификации.
Консолидация горячих и теплых рабочих нагрузок на общем уровне флеш-памяти напрямую снижает совокупную стоимость владения (TCO), а холодные уровни последуют за ними по мере развития экономики флеш-памяти. Замена эквивалентного дискового пространства высвобождает около 80% мощности систем хранения, освобождая достаточный энергетический запас для питания примерно 1000 дополнительных графических процессоров (GPU) на каждый развернутый эксабайт хранилища. В эпоху, когда идет борьба за каждый мегаватт, эффективность хранения означает вычислительную мощность GPU.
Единая архитектура повсюду
DirectFlash — это ключевой строительный блок нашего портфеля систем хранения данных, усовершенствованный для каждого поколения флеш-памяти с 2015 года. Инженерные инновации, которых требуют наши гипермасштабируемые клиенты, напрямую поступают в наш корпоративный портфель и наоборот.
Вычислительные инновации распространяются. Облачная архитектура зародилась в AWS и Google и изменила локальную инфраструктуру повсеместно, и мы ожидаем, что флеш-память в гипермасштабируемых системах пойдет по тому же пути. Рынок высказался, и мы создаем то, что нужно для его дальнейшего развития.
