Присоединяйтесь к группе IKS Data Center Conference Поделиться с коллегами

Новый дата-центр ЦЕРНа

Новости

16.01.2019

ИТ-объект будет обслуживать на Большом адронном коллайдере эксперимент, цель которого – выяснить, что же произошло после Большого взрыва. Мощность ЦОДа – 3 МВт, и ожидается, что за счет фрикулинга коэффициент энергоэффективности составит всего 1,1.

Специалисты, вовлеченные в эксперимент LHCb (Large Hadron Collider “beauty” – один из четырех основных экспериментов на Большом адронном коллайдере, изучающий поведение «прелестных» кварков, b-кварков), уже протестировали новый дата-центр. Его мощность составляет 3 МВт, а площадь – около 3000 кв. м. Расположенный неподалеку от Женевы центр обработки данных для высокопроизводительных вычислений будет использоваться для анализа численности частиц в эксперименте LHCb. 

 
Напомним, что подземный коллайдер длиной около 26 км на границе Швейцарии и Франции – самый большой и самый мощный в мире ускоритель заряженных частиц. Он позволяет ученым наблюдать, что происходит при столкновении мельчайших частиц на скорости света. В стандартном прогоне эти столкновения происходят с частотой 2,1 млрд раз в секунду, и в результате каждого из них образуются частицы, которые могут распадаться и дальше.
 
Оборудование, которое планируется установить в стойки в новом дата-центре уже в феврале, будет использоваться для обработки данных, поступающих со всех детекторов БАК во время проведения эксперимента LHCb. Мощности ЦОДа будет достаточно, чтобы обеспечивать хранение не менее 30 Пбайт данных в течение одной-двух недель. По истечению этого срока данные будут перемещаться в другой ЦОД.
 
«Это один из пяти основных центров обработки данных, которые мы эксплуатируем в ЦЕРНе», – говорит Нико Нойфельд, заместитель руководителя проекта этой научной организации. Для трех других экспериментов (CMS, ATLAS, ALICE), в ходе которых собираются данные с коллайдера, используются свои дата-центры. Также в Европейской организации ядерных исследований имеется центральный ЦОД, где обрабатываются данные, поступающие не с ускорителя, а из других источников.
 
По словам Нико Нойфельда, новый дата-центр необходим для экспериментов следующего поколения, требующих гораздо больших вычислительных ресурсов. Он заменит предшествовавший ему инженерный объект, который тоже по-своему интересен.

Из пещеры – на поверхность

Работающий сейчас ЦОД, который продолжит использоваться до тех пор, пока новая система не будет полностью введена в промышленную эксплуатацию, был построен под землей, на глубине около 90 м, причем не из-за особых технических потребностей коллайдера, а просто из соображений экономии. 
 
Источник: CERN
 
«Под землей было много места, подведены электричество и охлаждающая вода (для предыдущих экспериментов), – поясняет Нойфельд, – так что организовать там центр обработки данных было дешевле, чем строить в другом месте». 
 
На этом относительно небольшом объекте мощностью 600 кВт используется жидкостное охлаждение задних дверей стоек водой с температурой чуть более 17°С. Размещение в пещере имеет один большой недостаток, а именно сложность отвода тепла от оборудования из-за отсутствия контакта с наружным воздухом. А основным преимуществом такой локации, по словам Нойфельда, является ее близость к коллайдеру – для передачи данных с ускорителя требуется кабель длиной всего около 50 м. 
 
Новый центр обработки данных размещен на поверхности земли и потребует оптоволоконного подключения. Из соображений экономии денег и времени команда Нойфельда решила использовать prefab-решения. ЦОД состоит из шести модулей, каждый из которых содержит ряд ИT-стоек и обеспечивает мощность охлаждения 500 кВт за счет использования непрямого фрикулинга и адиабатического доохлаждения. Модульная архитектура поможет свести к минимуму расходы на эксплуатацию дата-центра.
 

ЦОД сможет использовать сравнительно мягкое лето для снижения затрат на охлаждение. Адиабатическое охлаждение достаточно будет включать только 20–30 дней в году, что позволит снизить PUE до 1,1. То есть более 90% энергии, потребляемой объектом, будет тратиться на питание ИТ-оборудования.

Иногда без света не страшно
 
Возможно, одна из наиболее интересных особенностей нового центра обработки данных заключается в том, что у него нет ни резервного источника питания, ни даже резервных батарей. 
 
«Система электропитания в ЦЕРНе очень надежна, серьезных отключений очень мало, – говорит Нойфельд. – Одно-два за последние пять или шесть лет». По его словам, сам БАК тоже не имеет резервной системы электропитания. Потеря данных с ускорителя в результате отключения электроэнергии хоть и нежелательна, но не является абсолютной катастрофой, поясняет специалист. 
 
Для критически важной инфраструктуры, такой как файловые системы, в ЦЕРНе есть небольшая серверная комната мощностью 80 кВт, в которой установлены батареи, ДГУ, а также настроено резервное копирование. 
 
После предварительного тестирования нового ЦОДа стойки для ИТ-оборудования будут введены в эксплуатацию в феврале, а оптоволоконный кабель должен быть подключен в марте. Планируется, что полностью объект будет введен в эксплуатацию к концу года, после того как в октябре будут установлены два последних модуля.
 
По материалам www.datacenterknowledge.com

 

Спонсоры
Генеральный партнер
Платиновый спонсор
Золотой спонсор
Золотой спонсор
Серебряный спонсор
Серебряный спонсор
Серебряный спонсор
Спонсор
Спонсор
Спонсор
Спонсор
Спонсор
Спонсор
Партнёр выставки
Партнёр выставки
Партнёр выставки
Партнёр выставки
Партнёр выставки