16 ноября 2021 г., 09:01
Три суперкомпьютера Яндекса обошли другие системы из России и Восточной Европы в списке TOP500, при этом самый мощный суперкомпьютер компании, «Червоненкис», вошел в двадцатку лучших в мире.
Самый мощный суперкомпьютер Яндекса занял 19-е место в мировом рейтинге TOP500, показав лучшие результаты среди высокопроизводительных вычислительных систем в России и Восточной Европе. Суперкомпьютер, названный в честь одного из величайших теоретиков машинного обучения Алексея Червоненкиса, состоит из 199 узлов и обладает производительностью 21,53 петафлопса, то есть 21,53 квадриллиона операций с плавающей запятой в секунду.
Два других суперкомпьютера Яндекса, вошедшие в TOP500 и также названные в честь выдающихся российских ученых в области компьютерных наук и машинного обучения — Александра Галушкина и Алексея Ляпунова, — заняли 36-е и 40-е места с производительностью 16,02 и 12,81 петафлопса соответственно. Эти суперкомпьютеры также являются вторым и третьим по скорости в России.
«Ляпунов» был запущен в декабре 2020 года, а «Червоненкис» и «Галушкин» начали работу в июне 2021 года.
Суперкомпьютеры Яндекса используются для обучения нейросетевых моделей с миллиардами параметров. Такие модели настолько сложны, что для их обучения суперкомпьютер должен работать на пиковой мощности днями, а иногда и неделями. Несмотря на сложность обучения, эти нейросети помогают Яндексу создавать полезные продукты и сервисы для пользователей. Нейросети, обученные на суперкомпьютерах Яндекса, обеспечивают более точный и быстрый перевод текста, изображений и видео в Яндекс.Переводчике. Благодаря этим сетям клиенты видят релевантную рекламу в Яндекс.Директе. Языковые модели YaLM, также работающие на этих суперкомпьютерах, используются для генерации и ранжирования результатов поиска, а также для поддержания естественного диалога с виртуальным ассистентом Алисой.
Высокопроизводительные вычислительные системы «Червоненкис» и «Ляпунов» расположены в дата-центре Яндекса в Сасово, а суперкомпьютер «Галушкин» — во Владимире. Все три суперкомпьютера Яндекса построены на базе процессоров AMD EPYC и графических ускорителей NVIDIA A100.
Каждая система включает более сотни серверов, или узлов, соединенных высокоскоростной сетью Infiniband HDR. Вычислительные узлы суперкомпьютеров «Червоненкис» и «Галушкин» оснащены оптимизированной системой отвода тепла, разработанной Яндексом для снижения энергопотребления при охлаждении серверов.
Мировой рейтинг суперкомпьютеров TOP500 публикуется дважды в год, в июне и ноябре, начиная с 1993 года. Производительность суперкомпьютеров для этого рейтинга оценивается по результатам теста LINPACK, который измеряет скорость решения системой линейных уравнений. Первое место в ноябрьском рейтинге TOP500 2021 года занял японский суперкомпьютер Fugaku. Яндекс дебютировал в рейтинге, заняв три первых места среди пяти российских систем, попавших в топ-100.
