Uso de OpenCayle en el entorno HPC

* El uso de OpenCayle queda restringido a los nodos de login (frontends) por lo que cualquier interacción debe realizarse directamente desde esos equipos.
* Los usuarios no podrán crear ni acceder a ningún punto de montaje desde los nodos de cálculo.

  1. Conexión
  • Generar la clave de acceso si no la ha generado previamente. Puede consultar los pasos en el manual de usuario de OpenCayle.
  • El manual de usuario con Python, puede comprobar la conexión mediante el uso del script s3CheckConnection.py (para descargar el archivo botón derecho guardar como extensión .py).

    • En caso de que la conexión sea correcta, obtendrá el siguiente mensaje:

      [mi_usuario_1_1@frontend1 ~]$ python s3Scripts/s3CheckConnection.py <access_key>
          Your accessKey connects successfully to OpenCayle

      Donde mi_usuario_1_1 sería su usuario de conexión.

    • Si por el contrario obtuviese un error, por favor, póngase en contacto con el equipo de soporte para revisar su caso.
  1. Creación de bucket
    Creación del primer bucket, si ya existe el bucket no es necesario crearlo.

    Para la generación de los buckets existen diferentes opciones.

  • Generación del bucket en el equipo personal:

  • Generación de un bucket desde los frontends

    • Crear el fichero "s3test.cfg".
    • Ejecutar “ls”, comando que permite listar el contenido de un directorio, para verificar que no hay nada creado en OpenCayle aún.

      [mi_usuario_1_1@frontend1 ~]$ s3cmd -c s3test.cfg ls
    • Crear el bucket con el siguiente comando:

      [mi_usuario_1_1@frontend1 ~]$ s3cmd -c s3test.cfg mb s3://<nombre_bucket>

      Ejemplo:

      [mi_usuario_1_1@frontend1 ~]$ s3cmd -c s3test.cfg mb s3://su_primer_bucket
      Bucket 's3://su_primer_bucket/' created
    • Al hacer nuevamente un “ls”, ya debería aparecer su bucket.
      [mi_usuario_1_1@frontend1 ~]$ s3cmd -c s3test.cfg ls
      2020-06-16 09:32  s3://su_primer_bucket
  1. Creación de punto de montaje

    El punto de montaje es cualquier directorio a partir del cual se visualizará el sistema de archivos montado. Si el punto de montaje contenía ficheros, estos desaparecerán, para visualizar los del dispositivo montado.

  • Crear un punto de montaje para poder transferir sus datos desde el clúster de cálculo a OpenCayle.

  • Para ello el primer paso es crear el directorio sobre el que desea montar el bucket.

    [mi_usuario_1_1@frontend1 ~]$ mkdir -p <nombre_directorio>

    Ejemplo:
    El directorio se llamara igual que el bucket “su_primer_bucket”, pero se puede definir el nombre que se desee.

    [mi_usuario_1_1@frontend1 ~]$ mkdir -p s3mnt/su_primer_bucket
  • Montar el bucket en el directorio creado con el siguiente comando.

    [mi_usuario_1_1@frontend1 ~]$ s3fs <nombre_de_su_bucket> <nombre_de_su_dir>-o passwd_file=~/.passwd-s3fs -o url=https://ss3.scayle.es:443 -o use_path_request_style -o dbglevel=info

    En el ejemplo:

    [mi_usuario_1_1@frontend1 ~]$ s3fs su_primer_bucket s3mnt/su_primer_bucket -o passwd_file=~/.passwd-s3fs -o url=https://ss3.scayle.es:443 -o use_path_request_style -o dbglevel=info

    Si lista el directorio, comprobará que está vacío.

    [mi_usuario_1_1@frontend1 ~]$ ls s3mnt/su_primer_bucket
    total 0
  1. Crear objeto de prueba

    Para crear un objeto en el bucket:

    [mi_usuario_1_1@frontend1 ~]$ touch s3mnt/<nombre_directorio>/<nombre_objeto>

    Ejemplo:

    [mi_usuario_1_1@frontend1 ~]$ touch s3mnt/su_primer_bucket/su_primer_objeto
    [mi_usuario_1_1@frontend1 ~]$ ll s3mnt/su_primer_bucket
    total 1
    -rw-r--r-- 1 mi_usuario_1_1 hpc 0 jun 16 11:36 su_primer_objeto
  2. Comprobar que la sincronización es correcta
    Mediante el uso del script s3Resources.py (para descargar el archivo botón derecho guardar como extensión .py).

    [mi_usuario_1_1@frontend1 ~]$ python s3Scripts/s3Resources.py <access_key>
    PARAMETERS: Access Key <<access_key>>
    -----------------------------------------------------------------------------------------
                         Open Scayle Resources associated to user.  
    -----------------------------------------------------------------------------------------
    
    - BUCKET su_primer_bucket 2020-06-16T09:32:59.440Z
      - KEY su_primer_objeto    0   2020-06-16T09:36:02.067Z
    -----------------------------------------------------------------------------------------
                             END Open Scayle Resources  
    -----------------------------------------------------------------------------------------
  3. Desmontar el punto de montaje

    Para desmontar su punto de montaje y dejar de sincronizar sus datos con OpenCayle:

    [mi_usuario_1_1@frontend1 ~]$ fusermount -u <nombre_directorio>

    Ejemplo:

    [mi_usuario_1_1@frontend1 ~]$ fusermount -u s3mnt/su_primer_bucket