LLMs (Acceso restringido)

Este servicio se encuentra en una beta cerrada y actualmente no está disponibles para todos lo usuarios.

Nombre Parametros Totales Cuantizacion Longitud del Contexto
DeepSeek-R1-0528 671B FP8 75.000 tokens
Llama-4-Maverick 400B FP8 100.000 tokens
Llama-3-3 70B FP8 131.072 tokens
Qwen-QwQ 32B BF16 30.000 tokens

Para acceder al servicio de modelos de lenguaje (LLMs), es necesario contar con una cuenta activa en SCAYLE junto con los permisos correspondientes. Estos permisos para el uso de LLMs deben solicitarse al correo electrónico .


A continuación, accede a Caléndula con tu cuenta de usuario (si no has accedido antes en Caléndula, deberás seguir este tutorial: Acceso al Sistema).
Una vez dentro, llegarás a la interfaz del clúster (frontend), desde el cual podrás realizar solicitudes a la API de manera directa.

ssh 
[nombre_usuario@frontend1* ~]$


IMPORTANTE - Para poder hacer uso de la API tanto por consola como por script, es necesario ejecutar en la terminal de Caléndula el siguiente comando (si no recibirás un error del tipo Failed to connect to ...):

unset https_proxy

Maneras disponibles de interactuar con la API:

  • Via - Python script.
  • Via - Consola del terminal.

Ejecutar el siguiente script en Calendula para interactuar con la API interactivamente (Este script es una guía/ejemplo de uso con python, modificar según necesidades):
SCRIPT: scayle_chat_api_client.py

OBTENER API TOKEN

Para realizar solicitudes, el primer paso es generar un token de API. Este token puede obtenerse de la siguiente forma:

curl -X 'POST' \
  'https://chat.scayle.es/api/v1/auths/ldap' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
  "user": "USUARIO_DE_SCAYLE",
  "password": "PASSWORD_DE_SCAYLE"
}'

Como respuesta, recibirás un JSON que contendrá el campo token. Este valor deberás utilizarlo para autenticar y gestionar las interacciones posteriores con la API.

{
"id":"*****",
"email":"*****",
"name":"*****",
"role":"user",
"profile_image_url":"/user.png",
"token":"COPY_YOUR_TOKEN",
"token_type":"Bearer"
...
}

OBTENER ID DE LOS MODELOS

Una vez dentro, tendrás acceso a los modelos públicos disponibles para todos los usuarios de SCAYLE. Si cuentas con acceso adicional a modelos privados, los administradores de SCAYLE te asignarán dichos permisos. En caso de que, tras un tiempo, no visualices los modelos privados, notifícalo al equipo de soporte mediante , ya que este proceso es manual y se revisa periódicamente.

Para consultar los modelos disponibles a los que tienes acceso, debes realizar la siguiente llamada a la API:

curl -H "Authorization: Bearer PASTE_YOUR_TOKEN" https://chat.scayle.es/api/models

Nuevamente, recibirás un JSON de respuesta donde el campo id contendrá los identificadores únicos de los modelos. Estos IDs se utilizarán más adelante para realizar llamadas de inferencia a los modelos correspondientes.

{
  "data": [
    {
      "id": "MODEL_ID",
      "name": "MODEL_NAME",
      "object": "model",
      ...
    }
    ...
  ]
}

SOLICITAR INFERENCIA

Para ejecutar una inferencia, realiza la siguiente llamada a la API:

  • Especifica en el parámetro model el ID obtenido anteriormente.
  • Tras unos segundos, recibirás la respuesta generada por el modelo seleccionado.
curl -X POST https://chat.scayle.es/api/chat/completions \
-H "Authorization: Bearer PASTE_YOUR_TOKEN" \
-H "Content-Type: application/json" \
-d '{
      "model": "MODEL_ID",
      "messages": [
        {
          "role": "user",
          "content": "Dime algo sobre ..."
        }
      ]
    }'

SOLICITAR INFERENCIA CON PROMPT DEL SISTEMA PERSONALIZADO 

curl -X POST https://chat.scayle.es/api/chat/completions \
-H "Authorization: Bearer PASTE_YOUR_TOKEN" \
-H "Content-Type: application/json" \
-d '{
      "model": "MODEL_ID",
      "messages": [
        {
            "role": "system",
            "content": "Eres un asistente ..."
        },
        {
            "role": "user",
            "content": "Dime algo sobre ..."
        }
      ]
    }'

Accede a chat.scayle.es e introduce el usuario y contraseña de SCAYLE.
iu_1

Buscar el modelo deseado. Si se detecta que algún modelo solicitado no es visible contactar con indicando el problema.
iu_2

En el campo de texto introducir el mensaje para la consulta y enviarlo.
iu_3