Как провести аудит безопасности Kubernetes

Зачем нужен Kubernetes

Kubernetes — платформа, которую используют команды разработки для деплоя приложений с микроядерной архитектурой.

Kubernetes можно представить как отдельную операционную систему: с помощью него управляют контейнерами, которые запускают приложения. Платформа поддерживает разные движки: Docker, Container runtime, CRI-O и Mirantis Container Runtime.

Kubernetes связан с другими компонентами кластера: kube-apiserver, scheduler, kube-controller-manager, kubelet, kube-proxy.

Безопасность Kubernetes: из чего состоит аудит

Аудит Kubernetes проводят, чтобы обнаружить проблемы безопасности, из-за которых возможна успешная атака на весь кластер.

Аудит Kubernetes состоит из разделов:

• Безопасность среды выполнения runtime;
• Безопасность сети внутри кластера;
• Безопасность компонентов кластера;
• Безопасность образов контейнеров.

Проблемы безопасности, которые может выявить аудит:

• Небезопасные образы контейнеров из общедоступных репозиториев. В образах может присутствовать вредоносный код или backdoor.
• Неправильно настроенные привилегии — права доступа. Это может привести к несанкционированному доступу.
• Некорректная конфигурация системы или приложения. Это может привести к неправильному функционированию всего кластера.
• Неправильная настройка сетевых политик или их полное отсутствие.
• Неправильная организация при работе с секретами (secrets).
• Неправильно настроенная конфигурация объектов типа под.
• Отсутствие шифрования между компонентами кластера.

Чтобы получить наиболее полный отчет нужно:

1. Использовать несколько инструментов, так как в утилитах разные типы и количество проверок;
2. Сканировать все компоненты и сервисы, которые доступны;
3. Использовать все базы уязвимостей и фреймворки, которые поддерживает утилита.

Инструменты для аудита безопасности Kubernetes

Существует обширный список open-source утилит, которые помогают найти уязвимости в кластерах Kubernetes. Для проведения аудита я использую Kube-bench, Kube-hunter, Kubescape и Trivy, потому что они обладают обширным функционалом и генерируют информативные отчеты.

Kube-bench хорошо подходит для быстрой проверки всех компонентов кластера.

Kube-hunter может имитировать атаки на кластер и работать в разных режимах:

• Remote scanning. Удаленно сканирует заданные IP-адреса или DNS-имена. Проверяет там, где могут потенциально находиться кластеры Kubernetes.
• Interface scanning. Сканирует IP-адреса и локальные сетевые интерфейсы. Подходит для сканирования, если кластер Kubernetes находится в частной сети.
• IP range scanning. Поддерживает сканирование подсетей.

Kubescape сканирует кластер и его компоненты, может сканировать YAML-манифесты, HELM-чарты, репозитории с исходным кодом и образы контейнеров.

Trivy сканирует образы контейнеров и располагает базой данных уязвимостей.

Кейс: настраиваем Kube-bench и проводим аудит безопасности компонентов Kubernetes

Kube-bench полностью опирается на манифест CIS Benchmark, поэтому перед началом сканирования его нужно получить на официальном сайте некоммерческой организации CIS. Потребуется заполнить поля со звездочкой и нажать Get Free Benchmarks Now. После этого на электронную почту придет письмо. Для скачивания документа нужно перейти по ссылке из письма — нажать кнопку Access PDFs.

Пример №1

Задача: провести полный аудит безопасности компонентов кластера Kubernetes.

Почему Kube-bench: утилита опирается на манифест CIS Benchmark, который содержит подробную информацию о различных уязвимостях в компонентах.

Для проверки всех компонентов Kube-bench можно запустить прямо в кластере Kubernetes. Как выбрать отдельные компоненты — в следующем примере.

Чтобы запустить утилиту в кластере Kubernetes:

1. Устанавливаем Git
2. Скачиваем официальный репозиторий с GitHub — git clone https://github.com/aquasecurity/kube-bench.git
3. Переходим в скачанную директорию — cd kube-bench
4. Запускаем файл job.yaml — kubectl apply -f job.yaml

Если запустить утилиту от имени обычного (не root) пользователя, часть компонентов не будет просканирована, потому что конфигурационные файлы таких компонентов имеют права пользователя root. Чтобы решить эту проблему, нужно запускать файл job.yaml от пользователя root или с помощью sudo.

Чтобы проверить статус пода, используем команду:

kubectl get po

Чтобы отобразить отчет, который сгенерировала утилита, необходимо использовать команду:

kubectl logs <имя_пода_kube_bench>

В этом примере имя пода: kube-bench-6lwfh.

Команда будет следующей:

kubectl logs kube-bench-6lwfh

Чтобы перенаправить вывод в файл, нужно добавить символ «>» и указать имя файла, куда сохранить отчет. Например, сохраним отчет в файл с именем results.txt:

kubectl logs kube-bench-6lwfh > results.txt

Пример №2

Задача: просканировать один или несколько компонентов кластера Kubernetes.

Необходимо установить Kube-bench в операционную систему с помощью пакетного менеджера, например дистрибутива Ubuntu.

Для установки в Ubuntu/Debian:

1. Скачиваем официальный .deb-пакет — curl -L https://github.com/aquasecurity/kube-bench/releases/download/v0.6.15/kube-bench_0.6.15_linux_amd64.deb -o kube-bench_0.6.15_linux_amd64.deb
2. Устанавливаем скачанный пакет с помощью apt — sudo apt install ./kube-bench_0.6.15_linux_amd64.deb -f
3. Проверяем, что установка прошла успешно. Выполняем в терминале команду вывода версии Kube-bench — kube-bench version

Чтобы просканировать конкретные компоненты кластера Kubernetes, нужно указать их с помощью опции –targets. Например, необходимо просканировать только master-ноду кластера. В этом случае команда будет выглядеть так:

sudo kube-bench run –targets master

Формат отчета в Kube-bench:

1. В Kube-bench используется три статуса для каждой из проверок — PASS, FAIL или WARN — 
   1. PASS — проверка успешно пройдена. Не требуется никаких действий для устранения.
   2. FAIL — проверка не пройдена. Требуется выполнение определенных действия для устранения.
   3. WARN — необходимо обратить внимание на проверку. Обычно означает, что часть настроек выполнена корректно, а часть нет.
2. Номер проверки соответствует номеру проверки в CIS Benchmark.
3. Полное название проверки также соответствует CIS Benchmark.

Кейс: настраиваем Kube-hunter и тестируем атаку на кластер

Пример №3

Задача: смоделировать атаку на кластер Kubernetes.

Почему Kube-hunter: утилита умеет имитировать кибератаку.

Kube-hunter написан на Python, поэтому для установки утилиты необходим пакетный менеджер pip. Pip загрузит и инсталлирует пакеты, необходимые для работы Kube-hunter. Если Python нет, то в выводе будет сообщение Command ‘python3’ not found, то есть «команда python3 не найдена».

Для deb-дистрибутивов (Debian, Ubuntu, Linux Mint) команда для установки Python и pip будет следующей:

sudo apt -y install python3 pip3

Для RPM-дистрибутивов (RHEL, CentOS, Fedora) команда установки следующая:

sudo dnf -y install python3 pip3

После инсталляции Python и pip устанавливаем Kube-bench. Команда одинакова для всех дистрибутивов:

sudo pip3 install kube-hunter

Проверим, что установка прошла корректно, набрав в терминале:

kube-hunter

Чтобы запустить сканирование в Kube-hunter, необходимо:

1. Запустить утилиту с помощью команды — kube-hunter
2. Выбрать один из режимов сканирования — Remote scanning, Interface scanning, IP range scanning

Режимы зависят от цели: сканирование IP-адресов, DNS, локальных сетевых интерфейсов или подсетей.

Когда сканирование будет завершено, утилита отобразит найденные уязвимости.

Утилита нашла master-ноду доступной по адресу 10.2.47.80 и обнаружила открытые сервисы Kubelet API, Etcd и API Server.

Отчет Kube-hunter содержит:

• ID уязвимости в базе разработчика утилиты — столбец ID
• Адрес и порт ноды кластера, где была найдена уязвимость — столбец LOCATION
• Категорию найденной уязвимости — столбец MITRE CATEGORY
• Название найденной уязвимости — столбец VULNERABILITY
• Описание найденной уязвимости — столбец DESCRIPTION
• Наименование параметра, который подвержен атаке или уязвим — столбец EVIDENCE

В примере на master-ноде была найдена уязвимость с ID номером KHV002. Это означает, что публично раскрыта версия Kubernetes 1.27.3, которую могут обнаружить другие пользователи или злоумышленники.

Пример №4

Задача: сканирование в локальной сети.

В режиме Interface scanning утилита Kube-hunter ищет сетевые интерфейсы, на которых может располагаться кластер Kubernetes.

Пример №5

Задача: сканирование компонентов Kubernetes и выполнение атак.

В активном режиме IP range scanning утилита автоматически исследует компоненты Kubernetes: узлы, поды, сервисы, сети — и выполняет атаки для проверки уязвимостей. Во время активного сканирования будут вноситься изменения в кластер Kubernetes — например, пытаться извлечь логи из контейнера.

Чтобы отобразился список всех изменений, которые умеет вносить Kube-hunter при активном сканировании, выполним команду:

kube-hunter –list –active

Кейс: настраиваем Kubescape и проводим аудит конфигурации кластера

Пример №6

Задача: провести аудит на наличие неправильной конфигурации кластера, обнаружить другие некорректные настройки.

Почему Kubescape: утилита предназначена для анализа различных параметров — разрешенные политики доступа, контейнерные образы, сетевая конфигурация, настройки авторизации и аутентификации, управление ролями.

Утилита Kubescape — сканер безопасности, который использует фреймворки NSA-CISA (.pdf, 4,6 МБ), MITRE ATT&CK и CIS Benchmark. Оценивает безопасность и соответствие конфигурации кластера рекомендациям и стандартам CIS Kubernetes Benchmark.

Установка kubescape производится из официального репозитория разработчиков программы. Для deb-систем (Debian, Ubuntu, Linux Mint) нужно выполнить следующие шаги:

1. Добавить репозиторий kubescape в систему —sudo add-apt-repository ppa:kubescape/kubescape
2. Обновить список репозиториев — sudo apt update
3. Установить пакет Kubescape — sudo apt -y install kubescape

У Kubescape есть специальный режим сканирования, который называется Host Scanning, — на все узлы кластера устанавливается агент, который собирает информацию о каждой ноде. По завершении работы агент будет автоматически удален. Сканирование запускается по команде:

kubescape scan –enable-host-scan –verbose

У Kubescape своя внутренняя база уязвимостей, которая размещена на официальном сайте.

По умолчанию Kubescape использует собственную базу уязвимостей. Также можно использовать базы данных от NSA Framework и MITRE ATT. Для запуска фреймворка от NSA используется команда: 

kubescape scan –enable-host-scan framework nsa -v

Рассмотрим найденную уязвимость. Она связана с сетевыми политиками безопасности.

Кейс: используем сканер Trivy для поиска уязвимостей в образах контейнеров

Пример №7

Задача: найти уязвимости в образах контейнеров.

Почему Trivy: утилита предназначена для поиска уязвимостей в образах контейнеров. Поддерживает несколько форматов, включая Docker, Podman, Buildah, img, kaniko.

Установить Trivy можно несколькими способами. Это зависит от используемой операционной системы. Подробные инструкции есть на официальном сайте разработчика. В качестве примера рассмотрю установку на ОС семейства deb — Ubuntu, Debian, Linux Mint.

1. Скачиваем официальный .deb-пакет — wget https://github.com/aquasecurity/trivy/releases/download/v0.42.1/trivy_0.42.1_Linux-64bit.deb
2. Устанавливаем скачанный пакет с помощью dpkg — sudo dpkg -i trivy_0.42.1_Linux-64bit.deb
3. Убедимся, что установка утилиты прошла корректно. Для этого введем в терминале команду — trivy

Команда для запуска сканирования образа контейнера:

trivy image <имя образа:тег>

Например, просканируем образ Python версии 3.4.

Отчет Trivy содержит:

• Название библиотеки, в которой была найдена уязвимость — столбец Library
• Название найденной уязвимости — столбец Vulnerability
• Уровень критичности найденной уязвимости — столбец Severity
• Используемую версию программного компонента, в котором найдена уязвимость, — столбец Installed Version
• Версию программного компонента, в котором исправлена найденная ранее уязвимость, — столбец Fixed Version
• Наименование найденной уязвимости — столбец Title

Получить больше информации о найденных уязвимостях можно на сайте разработчика. После перехода по ссылке нужно выбрать ту операционную систему, которая используется в образе контейнера.

Если используете собственные образы, понадобятся их Dockerfile. Базовый образ указан в самой первой инструкции FROM.

Итоговый отчет по аудиту безопасности

После того как сканирование кластера Kubernetes завершено, можно собрать итоговый отчет, например, в Excel.

Для каждой утилиты проверки в отчете можно разделить на блоки. Например, выделить проверки по компонентам и разделам кластера:

1. Control Plane. Включает в себя проверки для таких компонентов, как API-сервер, Controller Manager, Scheduler, etcd.
2. Worker nodes. Включает в себя проверки для worker (рабочих) нод кластера, например таких, как настройка и использование логирования, использование сертификатов.
3. Kubelet. Включает в себя проверки для компонента kubelet.
4. Policies. Включает в себя проверки для RBAC, Service Account и network policy (сетевые политики).

Примеры моих таблиц можете использовать как шаблон для итогового отчета по безопасности Kubernetes.

Отчет не универсальный и будет отличаться в зависимости от конфигурации кластера:

— Настроек кластера;

— Версии Kubernetes;

— Используемых сторонних компонентов, например сетевых плагинов (CNI), балансировщиков;

— Реализации Kubernetes — «ванильный» (оригинальный, без сторонних изменений), Kubespray, OpenShift, Rancher.

Как устранить уязвимости в Kubernetes

Разработчики Kube-bench, Kube-hunter, Kubescape и Trivy дают рекомендации, как устранить найденные уязвимости.

Каждая из четырех утилит работает по-своему и нужна для разных целей: проверяет безопасность отдельных компонентов, имитирует атаку на кластер, тестирует его конфигурацию или ищет уязвимости в образах контейнеров. Поэтому я советую всегда использовать инструменты в комплексе, чтобы в итоговом отчете увидеть полную картину. Такой подход повысит прозрачность настроек и безопасность кластера Kubernetes.