Агрегация метрик

Для агрегации телеметрии необходима лицензия TRAM и Amano в качестве SDN. Как только данная лицензия будет получена, появится вкладка в левом боковом меню NFV, где будет находиться вкладка Агрегация метрик.

Для создания правил агрегации метрик нет никаких требований. Существует возможность заранее настроить, как будет происходить агрегация метрик.

Как создать правило агрегации метрик

  1. Зайти в режим администратора.

  2. Перейти в NFV.

  3. Выбрать Агрегация метрик.

../../../_images/metrics_agg.png

  1. Нажать Создать правило.

  2. Заполнить форму создания правила:

    1. Заполнить поле Имя правила.

    2. Выбрать тип данных, которые будут отправляться (IPFIX или sFlow).

Что такое IPFIX

  • Тип данных: записи о потоках (flows) — агрегированная статистика «кто-с кем-по какому порту-сколько байт/пакетов-сколько длился сеанс».

  • Состав: гибкие шаблоны полей (template records) + данные (data records). Можно добавлять enterprise-поля.

  • Транспорт/порт: UDP/tcp/SCTP, по умолчанию порт 4739.

  • Семплирование: опционально (часто без семплирования для точного биллинга/учёта).

  • Где хорош: детальный пер-flow учёт, аналитика приложений, безопасность/форензика, биллинг.

Что такое sFlow

  • Тип данных: выборочные сэмплы пакетов + счётчики интерфейсов (L2-L7). Это телеметрия «широким мазком»: часть пакетов + периодические counters.

  • Состав: flow samples (фрагменты заголовков + метаданные) и counter samples (скорости/ошибки/очереди и т. п.).

  • Транспорт/порт: всегда UDP, по умолчанию 6343.

  • Семплирование: встроено и обязательно (например, 1:1000).

Где хорош: масштабный мониторинг сотен/тысяч портов с низкой нагрузкой, поведение приложений в целом.

Ключевые различия:

Гранулярность: IPFIX даёт точные записи по потокам; sFlow — статистически репрезентативную картину за счёт сэмплов.

Нагрузка/овер-хед: sFlow легче для устройств/сети; IPFIX тяжелее, но точнее.

Надёжность доставки: у IPFIX можно включить TCP/SCTP (надёжнее, но дороже), sFlow всегда UDP (минимальная задержка, возможна потеря сэмплов — обычно не критично).

Совместимость: убедись, что твои источники (свитчи/гипервизоры) умеют выбранный протокол. Некоторые TOR-свитчи традиционно «любят» sFlow, а гипервизоры/фаерволы — IPFIX/NetFlow.

Как использовать:

  • Если требуется точный учёт по инстансам/портам/приложениям (пер-flow), корреляцию с событиями безопасности, длительность сессий, TCP-флаги, NBAR-подобные поля? Используй IPFIX.

  • Нужен широкомасштабный мониторинг проектов/сетей/портов при минимальном оверхеде, “топы”, аномалии трафика, быстрая реакция на перегрузки? Используй sFlow.

    1. Заполнить поле конечной точки:

      • Если порт отсутствует — данные будут отправляться на порт по умолчанию в зависимости от типа данных.

      • В качестве конечного адреса допускается IP-адрес.

      • В качестве конечного адреса допускается DNS-имя.

    2. Выбрать необходимые сущности, по которым будет происходить агрегация:

      • Проект — автоматически выбираются все порты виртуальных машин проекта.

      • Сеть — выбираются все порты виртуальных машин внутри этой сети.

      • Виртуальная машина (ВМ) — агрегируются метрики со всех портов этой ВМ.

      • Конкретный порт — метрики приходят только с указанного порта.

  1. Нажать кнопку ОК.

Действия с созданным правилом агрегации

После создания правило агрегации можно:

  1. Редактировать.

  2. Пересоздать.

  3. Удалить.

  4. Посмотреть детальную информацию.

Редактирование правила

  1. Нажать на меню (три точки) правила.

  2. Выбрать пункт Редактировать.

  3. В открывшемся меню изменить имя и описание правила.

  4. Чтобы сохранить изменения, нажать кнопку ОК.

Пересоздание правила

  1. Нажать на меню (три точки) правила.

  2. Выбрать пункт Пересоздать.

  3. В открывшемся окне заполнить форму (аналогично созданию правила).

  4. Нажать кнопку ОК для пересоздания правила с новыми параметрами.

Удаление правила

  1. Нажать на меню (три точки) правила.

  2. Выбрать пункт Удалить.

  3. В открывшемся окне подтвердить удаление правила.

Детальная информация о правиле

Правило агрегации метрик — это настройка, которая определяет:

  1. Куда отправлять собранные данные (конечная точка: IP/DNS + порт).

  2. В каком формате отправлять данные (IPFIX или sFlow).

  3. С каких сущностей собирать метрики (уровень агрегации):

  • проект (все порты всех ВМ внутри проекта),

  • сеть (все порты ВМ внутри этой сети),

  • конкретная ВМ (все её порты),

  • отдельный порт (точечный сбор метрик).

Таким образом, каждое правило агрегации имеет имя, описание, определённый тип собираемых данных и конечную точку, в которую перенаправляется телеметрия.

Нажав на название правила в консоли, откроется меню детального отображения информации о правиле.

Отображается:

  • Список выбранных проектов, сетей, инстансов и портов;

  • Кликабельные ссылки на детальное описание сущностей;

  • Маппинг имени порта к его системному ID;

  • Адрес агента, с которого приходят метрики.

../../../_images/rule_info.png

В приведённом примере агрегация выполняется по инстансу analyzer.

В детальной информации приводятся следующие данные:

  • имя интерфейса: tap2e85a4do-ea;

  • IP-адрес агента: 172.16.96.46;

  • индекс интерфейса в системе Linux: 23.

Пример работы с метриками IPFIX

Для демонстрации работы с метриками IPFIX были развернуты сервисы Elasticsearch, Kibana и Flow-collector.

../../../_images/collector.png

На изображении представлен пример отображения метрик, когда для отображения выбраны только индексы интерфейсов, с которых выходят пакеты и на которые они поступают:

  • flow.out.netif.index — индекс исходящего интерфейса;

  • flow.in.netif.index — индекс входящего интерфейса.

В данном случае на целевой коллектор были переданы только данные, относящиеся к инстансу “analyzer”, так как у него имеется единственный интерфейс с именем tap2e85a4do-ea и системным индексом 23.

Создание правила для агрегации метрик (пример с sFlow-коллектором)

Рассмотрим процесс создания правила агрегации метрик на примере sFlow-коллектора.

Перед началом работы можно убедиться, что у коллектора sFlow отсутствуют подключённые агенты. Это позволяет наглядно проследить, как правило агрегации влияет на сбор и отображение данных.

Для создания нового правила агрегации метрик перейдите на вкладку Агрегация метрик и нажмите кнопку Создать правило

../../../_images/rule_cr.png

Заполните обязательные поля:

  • Имя правила;

  • Тип данных — доступны два варианта протокола сбора телеметрии: sFlow и IPFIX. sFlow — это протокол, который позволяет снимать лёгкие выборки трафика и собирать счётчики интерфейсов, чтобы в реальном времени видеть, как работает сеть, без перегрузки оборудования. IPFIX детализированная «телеметрия потоков».

Сравнение IPFIX и sFlow

Характеристика

IPFIX

sFlow

Метод

Экспорт информации о потоках

Выборка пакетов + счётчики

Детализация

Высокая, поддерживает кастомные поля

Общая, зависит от частоты выборки

Нагрузка

Выше (обработка потоков)

Ниже (выборка пакетов)

Подходит для

Анализ, биллинг, SLA, безопасность

Мониторинг больших сетей в реальном времени

Стандарт

RFC 7011 (IETF)

RFC 3176 (IETF)

  • Конечная точка — адрес или DNS-имя, на которое будет отправляться агрегированная телеметрия.

Далее следует выбрать сущности, по которым будет выполняться агрегация.

Возможные варианты:

  • проект целиком,

  • отдельная сеть,

  • конкретный инстанс,

  • отдельные порты.

В качестве примера выберем виртуальную машину “analyzer” для настройки правила агрегации метрик.

../../../_images/rule_cr.png ../../../_images/rule_cr_2.png

После выбора сущности нажмите кнопку «ОК». Правило будет создано и появится в списке правил агрегации метрик.

Просмотр метрик в sFlow-коллекторе

После открытия sFlow-коллектора и выбора метрики “ifindex” можно увидеть следующее:

  • значение метрики равно 23 — это индекс интерфейса в системе Linux;

  • данный интерфейс является единственным, по которому поступают данные.

Пересоздание правила

Меню пересоздания правила аналогично меню создания нового правила. В нём можно изменить:

  • имя правила,

  • тип данных,

  • конечную точку,

  • выбрать новые сущности для агрегации.

В рамках демонстрации был добавлен ещё один инстанс для сбора телеметрии — “test-2”.

../../../_images/rule_re_cr.png

После внесения изменений нажмите кнопку «ОК». Правило будет пересоздано с обновлёнными параметрами и появится в списке правил агрегации метрик.

Если при пересоздании не изменялись имя правила, тип данных или конечная точка, то на странице правил видимых изменений не будет.

В этом случае для просмотра внесенных изменений необходимо открыть страницу с детальным представлением правила.

Открыв страницу детального представления правила, можно увидеть, что среди инстансов появилась новая кликабельная ссылка на виртуальную машину “test_2”.

../../../_images/test_2.png

  • При клике по имени виртуальной машины открывается страница с подробной информацией о данной виртуальной машине.

    Кроме того, в таблице «Сопоставление интерфейсов» появился новый интерфейс:

  • имя интерфейса: tapcc9f65ce-fa

  • системный индекс: 24

Просмотр метрик в sFlow-коллекторе после пересоздания правила После открытия страницы sFlow-коллектора можно заметить, что максимальное значение метрики ifindex изменилось и теперь равно 24. Это соответствует интерфейсу виртуальной машины “test_2”, добавленной при пересоздании правила.

../../../_images/metrics_2.png

Просмотр минимального значения метрики ifindex При просмотре метрики ifindex в sFlow-коллекторе минимальное значение равно 23. Это соответствует системному индексу интерфейса виртуальной машины “analyzer”.