Настройка узлов
Подготовка
Убедитесь, что узел развёртывания имеет доступ к сети BMC (IPMI).
Примечание
Самый простой способ — добавить VLAN-интерфейс с адресом из этой сети.
(Подставить значения из таблицы сетевой конфигурации):
sudo nmcli con add type vlan con-name VLAN<номер IPMI VLAN> dev <имя интерфейса IPMI> id <номер IPMI VLAN> ip4 <номер IPMI VLAN>
sudo nmcli con up VLAN<номер IPMI VLAN>
Пример:
sudo nmcli con add type vlan con-name VLAN2399 dev eno1 id 2399 ip4 10.99.4.100/24
sudo nmcli con up VLAN2399
Где:
10.99.4.100— свободный IP-адрес в подсети BMC (например, из диапазона10.99.4.0/24),eno1— физический сетевой интерфейс узла развёртывания,2399— VLAN ID сети IPMI (см. столбец VLAN для строки IPMI (BMC)).
После настройки проверьте доступность BMC-адресов:
ping 10.99.4.x
Физические узлы
Запустите DeckCrew TUI с узла развёртывания.
Список физических узлов
Перейдите во вкладку Baremetal nodes:
+------------------------------------------- Baremetal nodes --------------------------------------------+
| / [AOSBCP] DeckCrew / Baremetal nodes |
|--------------------------------------------------------------------------------------------------------O
|Name State Power BMC Cpus Ram(Gb) Disk(Gb)Introspection|
| |
| |
|-------------------------- < Add/Ctrl+A > < Delete/Ctrl+D > < Cancel/Ctrl+C > |
+--------------------------------------------------------------------------------------------------------+
+------------------------------------------- Физические узлы --------------------------------------------+
| / [AOSBCP] DeckCrew / Физические узлы |
|--------------------------------------------------------------------------------------------------------O
|Имя Статус Питание BMC ЦПУ Память(ГДиск(Гб)Интроспекция |
| |
| |
|-------------------------- < Добавить/Ctrl+A > < Удалить/Ctrl+D > < Отмена/Ctrl+C > |
+--------------------------------------------------------------------------------------------------------+
dctl node list
Нажмите кнопку Add, чтобы добавить новый физический узел для добавления в развёртываемое облако:
+----------------------------------------------- Details ------------------------------------------------+
| / [AOSBCP] DeckCrew / Baremetal nodes / Details |
|--------------------------------------------------------------------------------------------------------O
|Name |
| [X] Configure with BMC |
| |
| |
|========================================================================================================|
|Settings |
|========================================================================================================|
|BMC type: [ ]|
|BMC address: |
|BMC login: |
|BMC password: |
|PXE port MAC address: |
| |
| < Save/Ctrl+U > < Cancel/Ctrl+C > |
+--------------------------------------------------------------------------------------------------------+
+------------------------------------------------ Детали ------------------------------------------------+
| / [AOSBCP] DeckCrew / Физические узлы / Детали |
|--------------------------------------------------------------------------------------------------------O
|Имя |
| [X] Настроить через BMC |
| |
| |
|========================================================================================================|
|Настройки |
|========================================================================================================|
|Тип BMC: [ ]|
|IP Адрес BMC: |
|Имя пользователя BMC: |
|Пароль BMC: |
|MAC-адрес PXE порта: |
| |
| < Сохранить/Ctrl+U > < Отмена/Ctrl+C > |
+--------------------------------------------------------------------------------------------------------+
dctl node create [--bmc-type {ipmi,idrac,ilo}] [--user USER] --address ADDRESS [--password PASSWORD] [--pxe-mac PXE_MAC] name
Вы можете добавить два типа узлов:
узел, управляемый через BMC (IPMI или iDRAC), будет развёрнут с помощью Ironic с нуля и управляться через BMC;
узел, управляемый через SSH, узел уже должен иметь развёрнутую операционную систему и доступен по SSH с узла развёртывания.
Добавление узла через BMC
Узел управляется через BMC (IPMI или iDRAC) и будет развёрнут с нуля.
Заполните поля:
Name - имя физического узла. Используется лишь для удобства, не влияет на hostname узла;
Важно
Имя узла должно быть уникальным среди всех узлов. Имя узла должно содержать буквы из нижнего регистра, цифры, дефисы и подчёркивания. Например, test-node-bmc.
BMC type - тип BMC, поддерживаемые значения: IPMI, iDRAC;
BMC address - IP-адрес BMC, пример: 2.3.4.5 ;
BMC login - логин для управления физическим узлом через BMC;
BMC password - пароль для управления физическим узлом через BMC;
PXE port mac_address - MAC-адрес физического порта узла, через который происходит загрузка по PXE (в формате aa:bb:cc:dd:ee:ff).
Пример заполненной формы:
+----------------------------------------------- Details ------------------------------------------------+
| / [AOSBCP] DeckCrew / Baremetal nodes / Details |
|--------------------------------------------------------------------------------------------------------O
|Name test-node-bmc |
| [X] Configure with BMC |
| |
| |
|========================================================================================================|
|Settings |
|========================================================================================================|
|BMC type: [IPMI ]|
|BMC address: 2.3.4.5 |
|BMC login: ADMIN |
|BMC password: *** |
|PXE port MAC address: aa:bb:cc:dd:ee:ff |
| |
| < Save/Ctrl+U > < Cancel/Ctrl+C > |
+--------------------------------------------------------------------------------------------------------+
+------------------------------------------------ Детали ------------------------------------------------+
| / [AOSBCP] DeckCrew / Физические узлы / Детали |
|--------------------------------------------------------------------------------------------------------O
|Имя test-node-bmc |
| [X] Настроить через BMC |
| |
| |
|========================================================================================================|
|Настройки |
|========================================================================================================|
|Тип BMC: [IPMI ]|
|IP Адрес BMC: 2.3.4.5 |
|Имя пользователя BMC: ADMIN |
|Пароль BMC: *** |
|MAC-адрес PXE порта: aa:bb:cc:dd:ee:ff |
| |
| < Сохранить/Ctrl+U > < Отмена/Ctrl+C > |
+--------------------------------------------------------------------------------------------------------+
dctl node create --bmc-type ipmi --user ADMIN --address 2.3.4.5 --password *** --pxe-mac aa:bb:cc:dd:ee:ff test-node-bmc
Примечание
Если ОС moncloud уже установлена на узле, можно добавить узел с доступом через SSH
Добавление узла через SSH
Для настройки узла через SSH снимите галочку Configure with BMC:
+----------------------------------------------- Details ------------------------------------------------+
| / [AOSBCP] DeckCrew / Baremetal nodes / Details |
|--------------------------------------------------------------------------------------------------------O
|Name test-node-ssh |
| [ ] Configure with BMC |
| |
| |
|========================================================================================================|
|Settings |
|========================================================================================================|
|SSH address: |
|SSH login: tripleo-admin |
|SSH password: |
| |
| < Save/Ctrl+U > < Cancel/Ctrl+C > |
+--------------------------------------------------------------------------------------------------------+
+------------------------------------------------ Детали ------------------------------------------------+
| / [AOSBCP] DeckCrew / Физические узлы / Детали |
|--------------------------------------------------------------------------------------------------------O
|Имя test-node-ssh |
| [ ] Настроить через BMC |
| |
| |
|========================================================================================================|
|Настройки |
|========================================================================================================|
|IP Адрес SSH: |
|Имя SSH пользователя: tripleo-admin |
|SSH пароль: |
| |
| < Сохранить/Ctrl+U > < Отмена/Ctrl+C > |
+--------------------------------------------------------------------------------------------------------+
dctl node create --no-bmc --user tripleo-admin --address 2.3.4.5 --password *** test-node-ssh
Поля при конфигурации через SSH:
Name - имя физического узла. Может быть дефолтным hostname узла, если не указано другое имя;
Важно
Имя узла должно быть уникальным среди всех узлов. Имя узла должно содержать буквы из нижнего регистра, цифры, дефисы и подчёркивания. Например, test-node-ssh.
SSH address - IP-адрес физического узла, на котором уже развёрнута операционная система;
SSH login - логин для первичного доступа к физическому узлу по SSH. При добавлении узла будет создан пользователь tripleo-admin и далее будет использоваться для доступа к узлу;
SSH password - пароль для первичного доступа к физическому узлу по SSH. При добавлении узла будет добавлен SSH-ключ узла развёртывания в авторизованные ключи для пользователя tripleo-admin.
Сохранение настроек
Нажмите кнопку Save. Физический узел добавится в список физических узлов:
+------------------------------------------- Baremetal nodes --------------------------------------------+
| / [AOSBCP] DeckCrew / Baremetal nodes |
|--------------------------------------------------------------------------------------------------------O
|Name State Power BMC Cpus Ram(Gb) Disk(Gb)Introspection|
|test-node-ssh N/A N/A no 16[1x8x2] 8 40.00 GBfinished |
|test-node-bmc manageable power off yes 32[1x16x2] |
| |
| |
|-------------------------- < Add/Ctrl+A > < Delete/Ctrl+D > < Cancel/Ctrl+C > |
+--------------------------------------------------------------------------------------------------------+
+------------------------------------------- Физические узлы --------------------------------------------+
| / [AOSBCP] DeckCrew / Физические узлы |
|--------------------------------------------------------------------------------------------------------O
|Имя Статус Питание BMC ЦПУ Память(ГДиск(Гб)Интроспекция |
|test-node-ssh N/A N/A no 16[1x8x2] 8 40.00 GBfinished |
|test-node-bmc manageable power off yes 32[1x16x2] |
| |
| |
|-------------------------- < Добавить/Ctrl+A > < Удалить/Ctrl+D > < Отмена/Ctrl+C > |
+--------------------------------------------------------------------------------------------------------+
dctl node list
Узел появится в списке. Дождитесь статуса (столбец State) manageable (Означает «можно включать и интроспектировать».).
Примечание
Если узел остаётся в статусе enroll, перейдите в раздел Устранение неполадок.
При заведении записей об уже развёрнутых узлах создаётся и настраивается пользователь tripleo-admin и автоматически запускается интроспекция узла, которая собирает информацию об оборудовании узла.
При развёртывании узлов через BMC/PXE на узлах запускается сервис cloud-init, который настраивает пользователя tripleo-admin.
После этого можно зайти на узел без пароля по ssh, например:
[stack@undercloud ~]$ ssh tripleo-admin@192.168.24.100
Статусы
enroll — узел добавлен, но не подтверждён (проверьте учётные данные BMC).
manageable — можно включать и интроспектировать.
available — готов к развёртыванию.
active — используется в облаке.
Действия
Выберите физический узел в списке и нажмите Enter. Вы увидите список доступных действий:
show- показать подробную информацию о физическом узле;introspect- запустить интроспекцию физического узла;(un)maintain- перевести узел в состояние maintenance или обратно;power on/off- включение/выключение физического узла;reboot- перезагрузка физического узла;manage- перевести узел в состояние manageable;provide- перевести узел в статус available;configure- перенастроить данные для агента Ironic (только для администраторов);undeploy- удалить развёртывание с узла (используется при неудачном Provision nodes);clean- очистить все диски на узле;drives configure- ручной триггер для настройки дисков на узле.advanced- дополнительные действия, например, для работы с HugePages/Tuned Isolated CPUs.
Изменение настроек
Изменение настроек физического узла недоступно. Для изменения настроек удалите узел и добавьте его заново с нужными параметрами.
Интроспекция
На этом этапе узел развёртывания включает сервер, загружает по PXE специальный образ, который собирает необходимую информацию о сервере (интерфейсах, дисках, CPU, памяти и т.д.), выключает и переводит в состояние available.
При проведении интроспекции узла с доступом через BMC узел перезагружается и ожидает загрузки по сети (PXE). После интроспекции узел переводится в состояние available:
+--------------------------------------------------------------------------------------------------------+
| |
| +------------------+ +------------------+ +-----------------------+ +------------------+ |
| | Клиент | | Ironic | | Introspection Ramdisk | | Ironic-inspector | |
| +------------------+ +------------------+ +-----------------------+ +------------------+ |
| | | | | |
| |------------------------->| | | |
| | начать интроспекцию | | | |
| | | | | |
| | |------------------------->| | |
| | | загрузить ramdisk | | |
| | | | | |
| | | |-------------------------->| |
| | | | отправка данных о железе | |
| | | | | |
| | |<-----------------------------------------------------| |
| | | результаты интроспекции | |
| | | | | |
| |<-------------------------| | | |
| | интроспекция завершена | | | |
| | | | | |
+--------------------------------------------------------------------------------------------------------+
Выберите узел;
Нажмите
Enterи выберите introspect.Подсказка
Можно следить за происходящим на экране узла через BMC, интроспекция которого проводится (Например, через HTML5 консоль). Пример при успешной интроспекции:
>>Media Present... Downloading NBP file... Succeed to download NBP file. IPXE initialising devices...ok iPXE 1.0.0+ (4bd064de) -- Open Source Network Boot Firmware Features: DNS HTTP HTTPS iSCSI TFTP VLAN AoE EFI net0: ac:1f:6b:1a:6b:9a using NII on NII-0000: [Link:down, TX:0 RX:0 RXE:0] [Link status: Unknown (http://ipxe.org/1a086)] Configuring (net0 ac:1f:6b:1a:6b:9a) net0: 192.168.24.23/255.255.255.0 gw 192.168.24.1 net0: fe80::ae1f:6bff:fe1a:6b9a/64 Next server: 192.168.24.1 Filename: http://192.168.24.1:8088/inspector.ipxe http://192.168.24.1:8088/inspector.ipxe... ok Inspector.ipxe : 545 bytes [script] http://192.168.24.1:8088/agent.kernel... ok http://192.168.24.1:8088/agent.ramdisk... ok EFI stub: Loaded initrd from command line
Подсказка
Можно следить за логами интроспекции на узле развёртывания
sudo less /var/log/containers/ironic/ironic-conductor.log
Обратите внимание на строчки с командами ipmitool
Подсказка
Ctrl+R (refresh) - обновить содержимое текущего окна. Если долго отображается статус verifying - стоит обновить
Дождитесь статуса finished в колонке Introspection.
Узел автоматически перейдёт в статус available. Колонки RAM, Disk заполнятся собранными значениями.
Если интроспекция не прошла успешно, выполните проверки ниже и запустите ее повторно:
Устранение ошибок
Нет связи с узлом развёртывания по сети Ctlplane
Узел пытается загрузиться по PXE, но не может скачать образ интроспекции с адреса
http://192.168.24.1:8088/inspector.ipxe.Проверьте:
На коммутаторе: VLAN Ctlplane (например, 374) настроен как untagged на порту узла.
Узел развёртывания имеет IP в той же подсети (например,
192.168.24.1/24).Нет другого DHCP-сервера в сети Ctlplane.
Нет доступа с узла развёртывания к BMC узла
Узел развёртывания не может включить/выключить сервер или проверить его состояние.
Проверьте:
На коммутаторе: VLAN BMC (например, 2399) добавлен на порт узла развёртывания.
На узле развёртывания: создан интерфейс в сети BMC (например,
10.99.4.100/24). Командаip aКоманда
ping 10.99.4.x(адрес BMC) проходит успешно.На коммутаторе: после включения узла его MAC-адрес появляется в таблице MAC-адресов.
Ошибка загрузки, связанные с сервером
Сервер не загружается по PXE или переходит в другой режим (например, UEFI Shell).
Проверьте в BIOS:
Первый приоритет загрузки — PXE.
Сервер действительно ожидает загрузку по сети, а не пытается загрузиться с диска или запустить обновление BIOS.
Примечание
Примеры из практики
Если на узле развёртывания не настроен VLAN BMC, сервер развёртывания не сможет управлять питанием сервера.
PXE-образ загрузится, но интроспекция зависнет — узел не выключится и не перейдёт к следующему этапу.
После включения на сервере автоматически запустилось обновление BIOS, поэтому узел развёртывания не успел провести интроспекцию.
После включения загружается ОС, которая стояла на одном из дисков и которую забыли удалить. Сервер не ждет загрузку по PXE, поэтому интроспекция не проходит. Нужно убедиться, что сервер ждет загрузку по PXE. При возможности - очистить диски с ОС. Один из способов очистить диск с ОС - залогиниться в систему (с установленной ОС или livecd) и выполнить wipefs -af /dev/sdX, где X- имя диска с ОС)
В сети оказался другой сервер, с которого начали грузиться образы по pxe с другой ОС. Решение - чтобы он не был виден по сети и не мешал.
Лицензирование
Примечание
Эта опция доступна только после успешной интроспекции.
Действия по лицензированию узлов возможны только через интерфейс DeckCrew CLI.
С узла развёртывания выполните команду:
dctl node list
Вы увидите результат:
+------------------+------------+-----------+---------------+----------+---------------+----------+
| name | state | power | address | hostname | introspection | licensed |
+------------------+------------+-----------+---------------+----------+---------------+----------+
| test-node-bmc | manageable | power off | None | None | finished | False |
| test-node-ssh | None | None | None | None | finished | False |
| introspected1 | available | power off | None | None | finished | False |
+------------------+------------+-----------+---------------+----------+---------------+----------+
В последней колонке licensed отображается статус лицензирования узла. Если значение False, узел не лицензирован.
Выполните команду для вывода списка лицензируемых ресурсов:
dctl license resource list
Вы увидите результат:
+---------------+--------------------------------------+-------+------------------------------------+---------------------------+------------+--------+-----------+
| resource_type | resource_uuid | count | attributes | added_at | node_uuids | sealed | available |
+---------------+--------------------------------------+-------+------------------------------------+---------------------------+-----------+--------+-----------+
| ceph_nodes | 7da15700-5c3b-4406-9a34-87ef3b86bf03 | 3 | {"storage_name": "storage"} | 2026-06-02T12:14:43+00:00 | [] | 0 | 3 |
| compute_nodes | 1d48abe2-1253-437b-ad5d-dbf0825155eb | 2 | {"cpu_cores": 32, "gpu_count": 1} | 2026-06-02T12:14:43+00:00 | [] | 0 | 2 |
| control_nodes | d57689ff-32ca-4f10-9b49-999d1b55bf6b | 3 | {} | 2026-06-02T12:14:43+00:00 | [] | 0 | 3 |
+---------------+--------------------------------------+-------+------------------------------------+---------------------------+------------+--------+-----------+
Внимание
При лицензировании узла НЕВОЗМОЖНО отменить операцию, поэтому обязательно заранее продумайте конфигурацию физических узлов
Лицензируйте узлы для использования их в развёртываниях:
dctl license resource seal <resource_uuid> <node_name>
При успешном лицензировании узла в последней колонке licensed будет отображаться значение True.
Порядок физических интерфейсов
Примечание
Эта опция доступна только после успешной интроспекции.
Примечание
После интроспекции желательно очистить все диски на узлах запустив операцию clean (осторожно, приводит к удалению всех данных с дисков!)
Для настройки порядка физических интерфейсов на узлах, выполните следующие шаги:
Перейдите во вкладку NICs settings.
+-------------------------------------------- NICs settings ---------------------------------------------+ | / [AOSBCP] DeckCrew / NICs settings | |--------------------------------------------------------------------------------------------------------O |Node Name Detected Active System Physnet | |test-node-bmc 0 0 0 none | |test-node-ssh 2 0 0 none | |introspected1 5 0 0 none | | | | < Cancel/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
+---------------------------------------- Настройки интерфейсов -----------------------------------------+ | / [AOSBCP] DeckCrew / Настройки интерфейсов | |--------------------------------------------------------------------------------------------------------O |Имя узла Обнаружено Активно ОС Physnet | |test-node-bmc 0 0 0 none | |test-node-ssh 2 0 0 none | |introspected1 5 0 0 none | | | | < Отмена/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
Выберите узел из списка узлов и нажмите Enter.
+------------------------------------------------- Edit -------------------------------------------------+ | / [AOSBCP] DeckCrew / NICs settings / Edit | |--------------------------------------------------------------------------------------------------------O |Found: 5 NICs / 4 switchdev / 4 SRIOV / 0 DPDK / 5 UP | | | | Name PCI MAC Driver Link Capabilities | |1/5 eth1 0000:01:00.0 aa:bb:cc:dd:f9:92 mlx5_core up 25G sriov (8) switchdev | |2/5 eth2 0000:01:00.1 aa:bb:cc:dd:f9:93 mlx5_core up 25G sriov (8) switchdev | |3/5 eth3 0000:02:00.0 aa:bb:cc:dd:a7:6a mlx5_core up 25G sriov (8) switchdev | |4/5 eth4 0000:02:00.1 aa:bb:cc:dd:a7:6b mlx5_core up 25G sriov (8) switchdev | |5/5 usb0 1-10.1:2.0 aa:bb:cc:dd:05:9f rndis_host up none | | | | | |[ok] System Interfaces: | |[ok] PCI Settings: | |[ok] Ignored: eth1, eth2, eth3, eth4, usb0 | | < Cancel/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
+----------------------------------------------- Изменить -----------------------------------------------+ | / [AOSBCP] DeckCrew / Настройки интерфейсов / Изменить | |--------------------------------------------------------------------------------------------------------O |Обнаружено: 5 NICs / 4 switchdev / 4 SRIOV / 0 DPDK / 5 UP | | | | Имя PCI MAC Драйвер СоединениХарактеристики | |1/5 eth1 0000:01:00.0 aa:bb:cc:dd:f9:92 mlx5_core up 25G sriov (8) switchdev | |2/5 eth2 0000:01:00.1 aa:bb:cc:dd:f9:93 mlx5_core up 25G sriov (8) switchdev | |3/5 eth3 0000:02:00.0 aa:bb:cc:dd:a7:6a mlx5_core up 25G sriov (8) switchdev | |4/5 eth4 0000:02:00.1 aa:bb:cc:dd:a7:6b mlx5_core up 25G sriov (8) switchdev | |5/5 usb0 1-10.1:2.0 aa:bb:cc:dd:05:9f rndis_host up none | | | | | |[ok] Интерфейсы системы: | |[ok] Настройки PCI: | |[ok] Не используется: eth1, eth2, eth3, eth4, usb0 | | < Отмена/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
Выберите интерфейс, который будет использоваться как nic1 в вашем сетевом плане (например eth1), и нажмите Enter.
+------------------------------------------------- Role -------------------------------------------------+ | / [AOSBCP] DeckCrew / NICs settings / Edit / Role | |--------------------------------------------------------------------------------------------------------O |Selected: ens3 (virtio1) | | | |Role (X) Host / System networking | | ( ) PCI Passthrough (bind to vfio-pci) | | ( ) DPDK | | ( ) SR-IOV PF | | ( ) SR-IOV PF + Switchdev (ASAP^2/Truflow) | | ( ) Disabled / Ignore | | | | < Save/Ctrl+U > < Cancel/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
+------------------------------------------------- Роль -------------------------------------------------+ | / [AOSBCP] DeckCrew / Настройки интерфейсов / Изменить / Роль | |--------------------------------------------------------------------------------------------------------O |Выбрано: ens3 (virtio1) | | | |Роль (X) Сети ОС хоста | | ( ) PCI Passthrough (bind to vfio-pci) | | ( ) DPDK | | ( ) SR-IOV PF | | ( ) SR-IOV PF + Switchdev (ASAP^2/Truflow) | | ( ) Не используется | | | | < Сохранить/Ctrl+U > < Отмена/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
Примечание
Сетевые планы — это шаблоны конфигурации интерфейсов в формате YAML. Они описывают, какие сети (Ctlplane, External, Storage и др.) и VLAN`ы использовать, на каких интерфейсах или бондах их разместить, и какой сетевой бэкенд применять.
При использовании дефолтного плана single_nic_with_vlans/single_nic_linux_bridge_vlans интерфейс nic1 будет единственным физическим интерфейсом, на котором будут размещаться все сети (Ctlplane, External, InternalApi, Storage и др.) с помощью VLAN’ов.
Выберите роль Host / System networking для этого интерфейса и нажмите Save.
+----------------------------------------------- Details ------------------------------------------------+ | / [AOSBCP] DeckCrew / NICs settings / Edit / Role / Details | |--------------------------------------------------------------------------------------------------------O |This interface will be used by the host OS. | | | |System Interfaces: | | | |System NIC Number (X) nic1 | | ( ) nic2 | | ( ) nic3 | | ( ) nic4 | | ( ) nic5 | | | | < Save/Ctrl+U > < Cancel/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
+------------------------------------------------ Детали ------------------------------------------------+ | / [AOSBCP] DeckCrew / Настройки интерфейсов / Изменить / Роль / Детали | |--------------------------------------------------------------------------------------------------------O |Этот интерфейс будет использоваться хостовой ОС. | | | |Интерфейсы системы: | | | |Порядок интерфейса в ОС (X) nic1 | | ( ) nic2 | | ( ) nic3 | | ( ) nic4 | | ( ) nic5 | | | | < Сохранить/Ctrl+U > < Отмена/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
Выберите порядковый номер для этого интерфейса (например, nic1) и нажмите Save.
При необходимости повторите шаги 2-5 для других интерфейсов, которые будут использоваться в сетевых планах (например, nic2 для второго физического интерфейса).
Важно
Убедитесь, что у всех узлов интерфейс nic1 указывает на физический порт:
у которого на стороне коммутатора настроены ожидаемые VLAN из таблицы сетевой конфигурации
который будет использоваться именно для выбранной цели
для которого имя интерфейса у каждого сервера может быть выбрано индивидуально.
Нотация nic1 позволяет не привязываться к именованию интерфейсов на каждом отдельно взятом гипервизоре и назначить у каждого свою роль: nic1 может быть eth0 на одном сервере, enp0s1f2 на другом, и так далее.
Порядок интерфейсов важен, так как далее сетевые планы строятся только по номерам интерфейсов, а не их именам в ОС (например, не eth1, eth2).
Поэтому определите порядок так, чтобы интерфейсы всех узлов с одним порядковым номером были настроены одинаково на физических коммутаторах, к которым подключены узлы.
Дистрибутив включает готовые планы. Один из них — single_nic_with_vlans/single_nic_linux_bridge_vlans — подходит для серверов с одним сетевым портом, на котором будут размещаться все вланы.
Примечание
Для детальной настройки сетевых интерфейсов и планов (например, объединение интерфейсов в бонды) см. раздел сетевых планов.
В этом сценарии выберите план single_nic_with_vlans/single_nic_linux_bridge_vlans:
Все сети (включая Ctlplane, External, InternalApi, Storage) размещаются на одном физическом интерфейсе —
nic1.Каждая сеть выделяется в отдельный VLAN (tagged), кроме Ctlplane, который должен быть untagged.
Такой план часто используется на тестовых или компактных развёртываниях.
Настройка выглядит следующим образом:
nic1→ порт, на котором будут все сети после развёртывания: Ctlplane, External, InternalApi, Storage и др. Обычно этоeno1. На нём должен быть настроен untagged VLAN 374 (для Ctlplane) и tagged VLAN’ы 373, 372, 371 и т.д.Если есть второй физический интерфейс, его можно оставить неиспользуемым (например,
nic2→ Disabled / Ignore).
Диск операционной системы
Примечание
Эта опция доступна только после успешной интроспекции и недоступна для узлов управляемых через SSH.
Перейдите во вкладку Drives Configuration
+----------------------------------------- Drives configuration -----------------------------------------+ | / [AOSBCP] DeckCrew / Drives configuration | |--------------------------------------------------------------------------------------------------------O |Node Name Disks Mounts State | |test-node 0 Disk(s) OK | |test-node-ssh 1 Disk(s) OK | |introspected1 2 Disk(s) OK | | | |Total: 3 Ready: 2 Warn: 0 New: 0 | | < Cancel/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
+-------------------------------------------- Настройка дисков ------------------------------------------+ | / [AOSBCP] DeckCrew / Настройка дисков | |--------------------------------------------------------------------------------------------------------O |Имя узла Диски Точки монтирования Статус | |test-node 0 Disk(s) OK | |test-node-ssh 1 Disk(s) OK | |introspected1 2 Disk(s) OK | | | |Общее: 3 Готово: 2 Предупреждение: 0 Новый: 0 | | < Отмена/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
Выберите узел с несколькими дисками и нажмите Enter. Вы увидите список обнаруженных дисков на узле.
+----------------------------------------------- Details ------------------------------------------------+ | / [AOSBCP] DeckCrew / Drives configuration / Details | |--------------------------------------------------------------------------------------------------------O | GB Apply for Glance: | ||-- nvme0n1 disk root mount /var/lib/glance | ||-- nvme1n2 disk < glance > | | ---------------------------------- | | Apply for NovaInstances: | | mount /var/lib/nova/instances | | < nova_instances > | | ---------------------------------- | | Apply for Vg: | | add /dev/vg0 | | < vg > | | ---------------------------------- | | Apply for Raid1: | | add /dev/md127 | | < raid1 > | | ---------------------------------- | | Set selected drive as root drive | | < set as root > | | ---------------------------------- | | Add a new partition to selected... | | < add partition > | | ---------------------------------- | | Add a new LVM to selected Volum... | | < add lvm > | | ---------------------------------- | | | |Disk(s): 2 Root: nvme0n1 | | < Save/Ctrl+U > < Delete/Ctrl+D > < Cancel/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
+------------------------------------------------ Детали ------------------------------------------------+ | / [AOSBCP] DeckCrew / Настройка дисков / Детали | |--------------------------------------------------------------------------------------------------------O | Гбайт Применить для Glance: | ||-- nvme0n1 disk root примонтировать /var/lib/glance | ||-- nvme1n2 disk < glance > | | ---------------------------------- | | Применить для NovaInstances: | | примонтировать... | | < nova_instances > | | ---------------------------------- | | Применить для Vg: | | добавить /dev/vg0 | | < vg > | | ---------------------------------- | | Применить для Raid1: | | добавить /dev/md127 | | < raid1 > | | ---------------------------------- | | Установить выбранный диск как... | | < установить как root > | | ---------------------------------- | | Добавить новый раздел для... | | < добавить раздел > | | ---------------------------------- | | Добавить новый LVM выбранной... | | < добавить lvm > | | ---------------------------------- | | | |Disk(s): 2 Root: nvme0n1 | | < Сохранить/Ctrl+U > < Удалить/Ctrl+D > < Отмена/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
Стрелочками выберите диск, на который будет установлена ОС, и нажмите Tab для выбора операции set as root, далее нажмите Enter.
Нажмите Save.
Расширенные настройки
Настройка сетевых интерфейсов
Примечание
Эта опция доступна только после успешной интроспекции.
Сетевые интерфейсы физических узлов, которые выполняют роли Compute в развёртывании типа openstack, могут быть использованы как:
PCI Passthrough - интерфейс будет передан виртуальной машине без изменений. В этом случае он не будет использоваться в хостовой ОС.
DPDK - интерфейс будет использоваться для приложений DPDK (Data Plane Development Kit).Он будет привязан к драйверу, совместимому с DPDK.
SR-IOV (PF) - интерфейс будет использоваться в хостовой ОС и на нём будут создаваться виртуальные функции (SR-IOV VFs) для передачи виртуальным машинам.
SR-IOV + Switchdev (ASAP^2/Truflow) - интерфейс будет использоваться в хостовой ОС и на нём будут создаваться виртуальные функции (SR-IOV VFs) для передачи виртуальным машинам. Также будет включён режим switchdev для управления виртуальными функциями (SR-IOV VFs) через Open vSwitch.
Примечание
При использовании режимов PCI Passthrough или SR-IOV (PF) для интерфейса недоступны возможности SDN (DHCP, группы безопасности, др.) при пробросе этих интерфейсов в виртуальные машины.
Поэтому необходимо использовать статические IP-адреса для таких интерфейсов или использовать режим SR-IOV + Switchdev (ASAP^2/Truflow). Подробнее здесь.
Важно
Режим SR-IOV + Switchdev (ASAP^2/Truflow) поддерживается только для сетевых карт Mellanox с драйвером mlx5_core (ConnectX-5).
Для настройки ролей физических интерфейсов на узлах, выполните следующие шаги:
Перейдите во вкладку NICs settings.
+-------------------------------------------- NICs settings ---------------------------------------------+ | / [AOSBCP] DeckCrew / NICs settings | |--------------------------------------------------------------------------------------------------------O |Node Name Detected Active System Physnet | |test-node-bmc 0 0 0 none | |test-node-ssh 2 0 0 none | |introspected1 5 0 0 none | | | | < Cancel/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
+---------------------------------------- Настройки интерфейсов -----------------------------------------+ | / [AOSBCP] DeckCrew / Настройки интерфейсов | |--------------------------------------------------------------------------------------------------------O |Имя узла Обнаружено Активно ОС Physnet | |test-node-bmc 0 0 0 none | |test-node-ssh 2 0 0 none | |introspected1 5 0 0 none | | | | < Отмена/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
Выберите узел из списка узлов и нажмите Enter.
+------------------------------------------------- Edit -------------------------------------------------+ | / [AOSBCP] DeckCrew / NICs settings / Edit | |--------------------------------------------------------------------------------------------------------O |Found: 5 NICs / 4 switchdev / 4 SRIOV / 0 DPDK / 5 UP | | | | Name PCI MAC Driver Link Capabilities | |1/5 eth1 0000:01:00.0 aa:bb:cc:dd:f9:92 mlx5_core up 25G sriov (8) switchdev | |2/5 eth2 0000:01:00.1 aa:bb:cc:dd:f9:93 mlx5_core up 25G sriov (8) switchdev | |3/5 eth3 0000:02:00.0 aa:bb:cc:dd:a7:6a mlx5_core up 25G sriov (8) switchdev | |4/5 eth4 0000:02:00.1 aa:bb:cc:dd:a7:6b mlx5_core up 25G sriov (8) switchdev | |5/5 usb0 1-10.1:2.0 aa:bb:cc:dd:05:9f rndis_host up none | | | | | |[ok] System Interfaces: | | nic1=eth1 | |[ok] PCI Settings: | |[ok] Ignored: eth1, eth2, eth3, eth4, usb0 | | < Cancel/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
+----------------------------------------------- Изменить -----------------------------------------------+ | / [AOSBCP] DeckCrew / Настройки интерфейсов / Изменить | |--------------------------------------------------------------------------------------------------------O |Обнаружено: 5 NICs / 4 switchdev / 4 SRIOV / 0 DPDK / 5 UP | | | | Имя PCI MAC Драйвер СоединениХарактеристики | |1/5 eth1 0000:01:00.0 aa:bb:cc:dd:f9:92 mlx5_core up 25G sriov (8) switchdev | |2/5 eth2 0000:01:00.1 aa:bb:cc:dd:f9:93 mlx5_core up 25G sriov (8) switchdev | |3/5 eth3 0000:02:00.0 aa:bb:cc:dd:a7:6a mlx5_core up 25G sriov (8) switchdev | |4/5 eth4 0000:02:00.1 aa:bb:cc:dd:a7:6b mlx5_core up 25G sriov (8) switchdev | |5/5 usb0 1-10.1:2.0 aa:bb:cc:dd:05:9f rndis_host up none | | | | | |[ok] Интерфейсы системы: | | nic1=eth1 | |[ok] Настройки PCI: | |[ok] Не используется: eth1, eth2, eth3, eth4, usb0 | | < Отмена/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
Выберите интерфейс, которому хотите назначить роль (например eth2), и нажмите Enter.
+------------------------------------------------- Role -------------------------------------------------+ | / [AOSBCP] DeckCrew / NICs settings / Edit / Role | |--------------------------------------------------------------------------------------------------------O |Selected: ens3 (virtio1) | | | |Role ( ) Host / System networking | | (X) PCI Passthrough (bind to vfio-pci) | | ( ) DPDK | | ( ) SR-IOV PF | | ( ) SR-IOV PF + Switchdev (ASAP^2/Truflow) | | ( ) Disabled / Ignore | | | | < Save/Ctrl+U > < Cancel/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
+------------------------------------------------- Роль -------------------------------------------------+ | / [AOSBCP] DeckCrew / Настройки интерфейсов / Изменить / Роль | |--------------------------------------------------------------------------------------------------------O |Выбрано: ens3 (virtio1) | | | |Роль ( ) Сети ОС хоста | | (X) PCI Passthrough (bind to vfio-pci) | | ( ) DPDK | | ( ) SR-IOV PF | | ( ) SR-IOV PF + Switchdev (ASAP^2/Truflow) | | ( ) Не используется | | | | < Сохранить/Ctrl+U > < Отмена/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
Выберите желаемую роль для этого интерфейса (например PCI Passthrough) и нажмите Save.
+----------------------------------------------- Details ------------------------------------------------+ | / [AOSBCP] DeckCrew / NICs settings / Edit / Role / Details | |--------------------------------------------------------------------------------------------------------O |This interface will be passed through to VM using PCI Passthrough | | | |PCI Settings: | | | |MTU ( ) 1500 | | (X) 9000 (Jumbo Frames) | | | |Physical Network Name pf | | | | < Save/Ctrl+U > < Cancel/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
+------------------------------------------------ Детали ------------------------------------------------+ | / [AOSBCP] DeckCrew / Настройки интерфейсов / Изменить / Роль / Детали | |--------------------------------------------------------------------------------------------------------O |Этот интерфейс будет проброшен в виртуальную машину с использованием PCI Passthrough | | | |Настройки PCI: | | | |MTU ( ) 1500 | | (X) 9000 (Jumbo Frames) | | | |Имя физической сети pf | | | | < Сохранить/Ctrl+U > < Отмена/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
Выберите размер MTU для этого интерфейса (например, 1500) и укажите имя физической сети (например, pf). Нажмите Save.
Важно
Имя физической сети будет использоваться при создании сети в OpenStack Neutron.
Например, если указать имя физической сети pf, то при создании сети в OpenStack Neutron
будет использоваться параметр --provider-physical-network pf. Поэтому определите имя физической
сети так, чтобы оно было понятным и отражало назначение интерфейса (например, pf для интерфейса,
который будет передаваться в виртуальную машину через PCI Passthrough).
Для настройки DPDK:
Выберите интерфейс, которому хотите назначить роль (например eth3), и нажмите Enter.
Выберите роль DPDK и нажмите Save.
+----------------------------------------------- Details ------------------------------------------------+ | / [AOSBCP] DeckCrew / NICs settings / Edit / Role / Details | |--------------------------------------------------------------------------------------------------------O |This interface will be used for DPDK (Data Plane Development Kit) applications. It will be bound to a | |DPDK-compatible driver. | |... | | | |MTU ( ) 1500 | | (X) 9000 (Jumbo Frames) | | | |Physical Network Name dpdknet | | | | < Save/Ctrl+U > < Cancel/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
+------------------------------------------------ Детали ------------------------------------------------+ | / [AOSBCP] DeckCrew / Настройки интерфейсов / Изменить / Роль / Детали | |--------------------------------------------------------------------------------------------------------O |Этот интерфейс будет использоваться для приложений DPDK (Data Plane Development Kit).Он будет привязан к| |драйверу, совместимому с DPDK. | |... | | | |MTU ( ) 1500 | | (X) 9000 (Jumbo Frames) | | | |Имя физической сети dpdknet | | | | < Сохранить/Ctrl+U > < Отмена/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
Выберите размер MTU для этого интерфейса (например, 1500), укажите имя физической сети (например, dpdknet). Нажмите Save.
Важно
Настройки DPDK будут применены после шагов **Deploy Services* *в процессе развёртывания.
Для настройки SR-IOV (PF):
Выберите интерфейс, которому хотите назначить роль (например eth3), и нажмите Enter.
Выберите роль SR-IOV PF и нажмите Save.
+----------------------------------------------- Details ------------------------------------------------+ | / [AOSBCP] DeckCrew / NICs settings / Edit / Role / Details | |--------------------------------------------------------------------------------------------------------O |This interface will be used as an SR-IOV Physical Function (PF) to create SR-IOV VFs that will be passed| |to VM | |... | | | |MTU ( ) 1500 | | (X) 9000 (Jumbo Frames) | | | |Physical Network Name sriov-simple | | | |Number of VFs ( ) 1 | | ( ) 2 | | ( ) 4 | | (X) 8 | | | | < Save/Ctrl+U > < Cancel/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
+------------------------------------------------ Детали ------------------------------------------------+ | / [AOSBCP] DeckCrew / Настройки интерфейсов / Изменить / Роль / Детали | |--------------------------------------------------------------------------------------------------------O |Этот интерфейс будет использоваться как физическая функция SR-IOV (PF) для создания виртуальных функций | |SR-IOV (VF), которые будут проброшены в виртуальные машины | |... | | | |MTU ( ) 1500 | | (X) 9000 (Jumbo Frames) | | | |Имя физической сети sriov-simple | | | |Количество VF ( ) 1 | | ( ) 2 | | ( ) 4 | | (X) 8 | | | | < Сохранить/Ctrl+U > < Отмена/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
Выберите размер MTU для этого интерфейса (например, 1500), укажите имя физической сети (например, sriov-simple) и выберите число виртуальных функций (SR-IOV VFs). Нажмите Save.
Для настройки SR-IOV + Switchdev (ASAP^2/Truflow):
Выберите интерфейс, которому хотите назначить роль (например eth4), и нажмите Enter.
Выберите роль SR-IOV + Switchdev (ASAP^2/Truflow) и нажмите Save.
+----------------------------------------------- Details ------------------------------------------------+ | / [AOSBCP] DeckCrew / NICs settings / Edit / Role / Details | |--------------------------------------------------------------------------------------------------------O |This interface will be used to create SR-IOV VFs and will have switchdev (eswitch offloads) enabled that| |will be controlled by SDN Amano | |... | | | |MTU ( ) 1500 | | (X) 9000 (Jumbo Frames) | | | |Physical Network Name sriov-asap | | | |Number of VFs ( ) 1 | | ( ) 2 | | ( ) 4 | | (X) 8 | | | | < Save/Ctrl+U > < Cancel/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
+------------------------------------------------ Детали ------------------------------------------------+ | / [AOSBCP] DeckCrew / Настройки интерфейсов / Изменить / Роль / Детали | |--------------------------------------------------------------------------------------------------------O |Этот интерфейс будет использоваться для создания SR-IOV VF и будет работать с включённым switchdev | |(аппаратные offload’ы eswitch). Интерфейс контролируется сервисом SDN Amano | |... | | | |MTU ( ) 1500 | | (X) 9000 (Jumbo Frames) | | | |Имя физической сети sriov-asap | | | |Количество VF ( ) 1 | | ( ) 2 | | ( ) 4 | | (X) 8 | | | | < Сохранить/Ctrl+U > < Отмена/Ctrl+C > | +--------------------------------------------------------------------------------------------------------+
Выберите размер MTU для этого интерфейса (например, 1500), укажите имя физической сети (например, sriov-asap) и выберите число виртуальных функций (SR-IOV VFs). Нажмите Save.
Важно
Настройки SR-IOV будут применены после шага Provision Nodes в процессе развёртывания.
Настройка разметки дисков
Примечание
Эта опция доступна только после успешной интроспекции и недоступна для узлов управляемых через SSH.
Важно
Настройки будут применены после шага Provision Nodes в процессе развёртывания.
Настройка GPU
Примечание
Эта опция доступна только после успешной интроспекции.
Перейдите во вкладку GPU Settings:
+--------------------------------------------- GPU settings ---------------------------------------------+
| / [AOSBCP] DeckCrew / GPU settings |
|--------------------------------------------------------------------------------------------------------O
|Node Name Detected Active GPU Aliases |
|test-node 0 0 none |
|test-node-ssh 1 0 none |
|introspected1 1 0 none |
| |
|--------------------------------------------------------------------------------------------------------|
|GPU Aliases: comma-separated list of GPU names configured as PCI passthrough aliases in Nova settings...|
| < Delete/Ctrl+D > < Cancel/Ctrl+C > |
+--------------------------------------------------------------------------------------------------------+
+-------------------------------------------- Настройки GPU ---------------------------------------------+
| / [AOSBCP] DeckCrew / Настройки GPU |
|--------------------------------------------------------------------------------------------------------O
|Имя узла Обнаружено Активно GPU Aliases |
|test-node 0 0 none |
|test-node-ssh 1 0 none |
|introspected1 1 0 none |
| |
|--------------------------------------------------------------------------------------------------------|
|GPU Aliases: список имён ГПУ, используемый для указания псевдонимов PCI passthrough в настройках серв...|
| < Удалить/Ctrl+D > < Отмена/Ctrl+C > |
+--------------------------------------------------------------------------------------------------------+
Значения полей
Detected - количество обнаруженных GPU на узле после интроспекции;
Active - количество GPU, которые будут доступны в развёртываемом облаке.
Для добавления GPU в развёртываемое облако выберите узел и нажмите Enter:
+------------------------------------------------- Edit -------------------------------------------------+
| / [AOSBCP] DeckCrew / GPU settings / Edit |
|--------------------------------------------------------------------------------------------------------O
|Node: introspected1 |
|System UUID: 4bf22cba-5811-423c-b83d-8501d928d8e9 |
|--------------------------------------------------------------------------------------------------------|
|Detected GPUs (select to activate): |
|[ ] GA102GL (Vendor: 10de, Product: 2236, Type: type-PF, Count: 1) |
|--------------------------------------------------------------------------------------------------------|
|Note: Selected GPUs will be configured in hieradata. |
| |
| |
| |
| < Save/Ctrl+U > < Cancel/Ctrl+C > |
+--------------------------------------------------------------------------------------------------------+
+----------------------------------------------- Изменить -----------------------------------------------+
| / [AOSBCP] DeckCrew / Настройки GPU / Изменить |
|--------------------------------------------------------------------------------------------------------O
|Узел: introspected1 |
|Идентификатор узла: 4bf22cba-5811-423c-b83d-8501d928d8e9 |
|--------------------------------------------------------------------------------------------------------|
|Обнаруженные GPU (выберите для активации): |
|[ ] GA102GL (Vendor: 10de, Product: 2236, Type: type-PF, Count: 1) |
|--------------------------------------------------------------------------------------------------------|
|Примечание: выбранные GPU будут настроены в hieradata. |
| |
| |
| < Сохранить/Ctrl+U > < Отмена/Ctrl+C > |
+--------------------------------------------------------------------------------------------------------+
Отметьте галочкой GPU, которые необходимо добавить в развёртываемое облако, и нажмите Save.
После сохранения будет отображаться количество активных GPU на узле:
+--------------------------------------------- GPU settings ---------------------------------------------+
| / [AOSBCP] DeckCrew / GPU settings |
|--------------------------------------------------------------------------------------------------------O
|Node Name Detected Active GPU Aliases |
|test-node 0 0 none |
|test-node-ssh 1 0 none |
|introspected1 1 0 ga102gl |
| |
|--------------------------------------------------------------------------------------------------------|
|GPU Aliases: comma-separated list of GPU names configured as PCI passthrough aliases in Nova settings...|
| < Delete/Ctrl+D > < Cancel/Ctrl+C > |
+--------------------------------------------------------------------------------------------------------+
+-------------------------------------------- Настройки GPU ---------------------------------------------+
| / [AOSBCP] DeckCrew / Настройки GPU |
|--------------------------------------------------------------------------------------------------------O
|Имя узла Обнаружено Активно GPU Aliases |
|test-node 0 0 none |
|test-node-ssh 1 0 none |
|introspected1 1 0 ga102gl |
| |
|--------------------------------------------------------------------------------------------------------|
|GPU Aliases: список имён ГПУ, используемый для указания псевдонимов PCI passthrough в настройках серв...|
| < Удалить/Ctrl+D > < Отмена/Ctrl+C > |
+--------------------------------------------------------------------------------------------------------+