SISTEMAS Y RECURSOS

IMPULSAMOS LA COOPERACIÓN CIENTÍFICA

Hemos diseñado nuestro sistema con un PUE (Power Usage Efectiveness) muy bajo y hemos marcado la línea a seguir en otros centros en España y en Europa.

Dependencias

Físicamente la instalación se compone de dos salas de IT adyacentes. La primera de ellas es el CPD o Sala de Sistemas. Se trata de una estancia de 90 m2 en la que se ubica el equipamiento IT en dos filas de racks. Es obvio que 90 m2 es un espacio muy reducido, y que el número de racks que pueden alojarse en él es pequeño.

En segundo lugar está la Sala Técnica. Esta estancia, de unos 45 m2, alberga los sistemas de apoyo, principalmente eléctricos y de extinción; específicamente el cuadro eléctrico principal, los sistemas de alimentación ininterrumpida con sus correspondientes cuadros de distribución, las unidades de distribución de agua, las baterías de extinción de incendios y el control del sistema de refrigeración.

Control de accesos

El acceso a las instalaciones está restringido, de forma que solamente el personal autorizado puede acceder a las salas de IT. Siguiendo buenas prácticas el acceso se realiza mediante tarjeta y código en la puerta principal y mediante sistema biométrico (huella dactilar) en las salas de IT. 

El sistema se completa con un sistema de alarma para intrusiones no deseadas y un circuito cerrado de grabación de video en todas las dependencias.

Sistemas de cálculo

El Centro de Supercomputación de Castilla y León dispone de varios clusters de cálculo con diferentes arquitecturas tecnológicas de computación.

Arquitectura Harpertown

El primer cluster para proceso paralelo MPI está compuesto por 244 nodos. Se trata de un cluster de formato extremadamente denso, pues los nodos del cluster son servidores HP BLx220c de HP sobre chasis blade C7000. Este modelo es el blade de "hoja doble", es decir, 32 servidores por chasis.

Con cuatro chasis por armario, cada rack de este cluster tiene un total de 128 servidores y 1024 cores. Como se ha reflejado en el apartado de infraestructuras, esto representa un consumo a plena carga de 44Kw por armario. El cluster está formado por un total de 8 chasis.

Cada nodo del chasis tiene las siguientes características:

  • 2 procesadores Intel Xeon E5450 (Harpertown) 4 cores @ 3.00 GHz.
  • 16 GB (ratio 2 GB/core).
  • 2 interfaces 1 GbE.
  • 2 interfaces Infiniband DDR 20Gb/s.

Cada chasis tiene a bordo cuatro switches GbE y otros cuatro switches Infiniband DDR. Cada switch tiene un total de 20 puertos: 16 internos hacia los blades y 4 externos para uplink. En el caso de los switches Infiniband, se conectan al backbone con un ratio 2:1.

Este cluster alcanza una potencia de cálculo de 23.4 Teraflops (RPeak).

Arquitectura Ivybridge

6 servidores HP Proliant SL270s G8 con las siguientes características:

  • 2 procesadores Intel Xeon E5-2670 v2 (Ivybridge) 10 cores @ 2.5 GHz.
  • 128 GB (ratio 6.4 GB/core).
  • 2 interfaces 1 GbE.
  • 2 interfaces Infiniband FDR 56Gb/s.
  • 1 tarjeta Intel Xeon PHI 5110p con 60 cores (240 Threads).

Arquitectura Haswell

114 servidores Supermicro que cuentan con las siguientes especificaciones técnicas:

  • 2 procesadores Intel Xeon E5-2630 v3 (Haswell) 8 cores @ 2.40 GHz.
  • 32 GB (ratio 2 GB/core).
  • 2 interfaces 1 GbE.
  • 1 interfaz Infiniband FDR 56Gb/s.

30 de los equipos tienen instalada 1 tarjeta Intel Xeon PHI 5110p con 60 cores (240 Threads). La potencia total de los 114 servidores más las 30 tarjetas Xeon Phi es de 100 Teraflops (RPeak).

EN RESUMEN

la potencia de cálculo total de nuestros sistemas de cálculo es en la actualidad de 131.8 Teraflops.

Virtualización

SCAYLE presta servicios de IaaS sobre una plataforma de virtualización.

Esta plataforma está formada por un cluster VMWare VSphere 5.1 de 8 máquinas HP Proliant DL580 con las siguientes características:

  • 4 procesadores Intel Xeon X7350 @ 2.93GHz
  • 196 GB/Ram.
  • 2 Interfaces GbE.
  • 4 Interfaces  10GbE.
  • 2 Interfaces Fiber Channel 4GbE.
  • Hypervisor VMWare VSphere 5.1.

 

A nivel de red, los hypervisores están conectados a un backbone 10GbE con agregaciones de dos puertos LACP para acceso al almacenamiento y producción.

El backbone de almacenamiento de la plataforma está conectado por iSCSI y consiste en 4 cabinas de almacenamiento Dell Equallogic 61xx de unos 80TB de capacidad.

Para la gestión y administración se dispone, además, de una serie de servidores que realizan estas tareas. Concretamente un servidor VMWare VSphere Server 5.1.

Almacenamiento y backup

Se dispone de múltiples sistemas de almacenamiento que soportan todos los servicios de SCAYLE.
Desde el punto de vista estrictamente físico se dispone de dos sistemas de almacenamiento en disco y uno en cinta. Sobre los sistemas en disco se construyen a su vez los sistemas de archivos (filesystem) que usan los diferentes sistemas.

Sistema de almacenamiento paralelo Lustre

El sistema de ficheros paralelo Lustre está dedicado en exclusiva a proporcionar el almacenamiento necesario para nuestros usuarios del servicio de cálculo científico. Proporciona una capacidad total disponible de 600 TB con la versión Lustre 2.7.

Está compuesto por:

  • 2 MDS MetaData Servers
  • 2 OSS Object Storage Servers
  • 12 OST Object Storage Target

Proporciona 3 puntos de montaje para usuarios:

  • /home
  • /soft
  • /scratch

Puede encontrar más información sobre estos puntos de montaje aquí.

Sistema de almacenamiento NetAPP.

Cabina de almacenamiento FAS 3140 con las siguientes características:

  • Doble controladora activo-activo.
  • Funciones SAN (FCC, iSCSI).
  • Funciones NAS (CIFS, NFS).
  • 6 Interfaces FCC 4Gbs por controladora.
  • 2 Interfaces Gbe por controladora.
  • 2 Interfaces 10Gbe por controladora.
  • 98 discos SATA 1TB.
  • 28 discos FC 330GB.
  • Capacidad bruta de 100TB.
  • Software ONTAP 8.x.

Sistema de almacenamiento Dell Equallogic.

2 cabinas PS6110 con las siguientes características:

  • Doble controladora Activo-pasivo.
  • Funciones SAN (iSCSI).
  • 1 Interfaz 10Gbe por controladora.
  • 24 discos NL-SAS de 2TB.

2 cabinas PS6110 con las siguientes características:

  • Doble controladora Activo-pasivo.
  • Funciones SAN (iSCSI).
  • 1 Interfaz 10Gbe por controladora.
  • 24 discos NL-SAS de 600 GB.

Las cabinas se unifican en un único "grupo" dando una capacidad bruta total de 124TBs.
El sistema NetApp se utiliza principalmente en modo NAS para los sistemas de cálculo (NFS) y en modo SAN también para sistemas de cálculo con filesystem paralelos (Lustre, FhGFS). También se utiliza como sistema de backup.
El sistema Dell se utiliza únicamente para virtualización.

  • Sistema de backup en cinta Overland: Las copias de seguridad se realizan mediante una librería robotizada Overland NEO 8000, dotada de cuatro driverl LTO2 y hasta 580 cartuchos.
  • Software de backup de plataforma de virtualización: El respaldo de la plataforma de virtualización se realiza usando el software Veeam Backup.
  • Software de backup para sistemas de cálculo: El backup de los datos de usuario en los sistemas de cálculo se realiza usando el software Bacula.