ML Улей

Инструкция из личного кабинета Это руководство по сервису из личного кабинета Nubes (ЛК). Текст приведён без изменений, «как есть».

1. Общая информация¶

LLMaaS (Large Language Model as a Service) — это сервис для доступа к языковым моделям через OpenAI-совместимое API. Платформа позволяет создавать организации (тенанты), команды, выпускать и управлять API-ключами, устанавливать лимиты на использование.

Ограничение: одна организация на контрагента¶

На одного контрагента может быть создана только одна организация в LLMaaS. Повторная попытка создать организацию для того же контрагента завершится ошибкой.

Возможные ошибки и как их обрабатывать¶

При работе с сервисом могут возникнуть типовые ошибки. Ниже описано, как их распознать и что делать.

Ошибка	Когда возникает	Что делать
`Организация в LLMaaS уже привязана к контрагенту <contragentCode>`	При операции `create`, если организация для данного контрагента уже существует	На одного контрагента допускается только одна организация. Если нужно изменить существующую организацию, используйте операции управления командами и ключами
`Не хватает нужного гранта. Примените реконсиляцию для данного инстанса`	При операциях `create_team`, `modify_team`, если модель не выдана организации на Layer 1	Запустите операцию `reconcile` для данного инстанса. Она обновит список моделей, доступных организации, после чего повторите исходную операцию
`Лимиты API-ключа не могут превышать лимиты команды`	При операциях `create_secrets`, `update_secrets`	Уменьшите значения `RPM` и/или `TPM` ключа до уровня команды или увеличьте лимиты самой команды через `modify_team`

Доступные операции¶

create — Создание организации в LLMaaS
delete — Удаление организации
create_team — Создание команды внутри организации
modify_team — Редактирование команды (модели, RPM, TPM)
delete_team — Удаление команды
create_secrets — Создание API-ключа
update_secrets — Обновление параметров API-ключа
delete_secrets — Удаление API-ключа
reconcile — Обновление списка моделей, доступных организации

2. Параметры создания организации¶

Ниже перечислены параметры, которые необходимо указать при создании организации:

Платформа для развертывания Выбирается автоматически, изменять не нужно.

3. Параметры создания команды¶

Имя команды Уникальное имя команды в рамках организации. Пример: production
Модель Название модели, доступной для команды. Пример: gpt-oss-120b
Лимит запросов в минуту (RPM) Максимальное количество запросов к API в минуту. Пример: 60
Лимит токенов в минуту (TPM) Максимальное количество токенов (входящих + исходящих) в минуту. Пример: 100000

4. Параметры редактирования команды¶

Для существующей команды можно изменить:

Модель Новая модель для команды. Пример: gpt-oss-20b
Лимит запросов в минуту (RPM) Новое значение RPM. Пример: 120
Лимит токенов в минуту (TPM) Новое значение TPM. Пример: 200000

5. Параметры создания API-ключа¶

Ниже перечислены параметры, которые необходимо указать при создании API-ключа:

Имя ключа Уникальное имя ключа в рамках организации. Пример: prod-key
Команда Имя команды для привязки ключа. Если не указано — ключ привязывается к команде main. Пример: production
Модель Название модели, доступной для данного ключа. Пример: gpt-oss-120b
Лимит запросов в минуту (RPM) Максимальное количество запросов к API в минуту. Пример: 60
Лимит токенов в минуту (TPM) Максимальное количество токенов (входящих + исходящих) в минуту. Пример: 100000

Важно: Лимиты API-ключа не могут превышать лимиты команды, к которой он привязан. При превышении операция будет отклонена с ошибкой. Перед созданием ключа убедитесь, что RPM <= team.RPM и TPM <= team.TPM.

6. Параметры обновления API-ключа¶

Для уже существующего ключа можно изменить параметры. Все параметры являются опциональными:

Имя ключа Имя обновляемого ключа. Пример: prod-key
Модель Новое название модели. Пример: gpt-oss-20b
Лимит запросов в минуту (RPM) Новое значение RPM. Пример: 120
Лимит токенов в минуту (TPM) Новое значение TPM. Пример: 200000

Важно: При обновлении лимитов API-ключа новые значения не могут превышать лимиты команды. Если указать значения выше командных, операция завершится ошибкой. Указывайте RPM <= team.RPM и TPM <= team.TPM.

Команда определяется автоматически по стейту услуги — изменить привязку к другой команде через эту операцию нельзя.

7. Параметры удаления API-ключа¶

Команда Имя команды, к которой привязан ключ. Пример: production
Имя ключа Имя удаляемого ключа. Пример: prod-key

8. Параметры удаления команды¶

Имя команды Имя удаляемой команды. Пример: production

9. Параметры удаления организации¶

Удаление организации не требует дополнительных параметров — удаляется вся организация со всеми командами и ключами.

10. Выходные параметры¶

После успешного создания организации платформа возвращает:

connectionUrl URL для доступа к inference API (OpenAI-совместимый). Пример: https://api.aillm.ru

11. Пример использования API¶

После получения API-ключа клиент может обращаться к LLMaaS напрямую:

Запрос к chat completions:

curl https://api.aillm.ru/v1/chat/completions \
  -H "Authorization: Bearer sk-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-oss-120b",
    "messages": [
      {"role": "user", "content": "Привет!"}
    ]
  }'

Получение списка доступных моделей:

curl https://api.aillm.ru/v1/models \
  -H "Authorization: Bearer sk-..."