Обновление vCenter встаёт по таймауту

Обновили несколько vCenter’ов и на очередном обновлятор встаёт колом:

При этом даёт классный совет, типа, за 1 час не успеваю, дай мне побольше времени:
Upgrade phase timed out. The time planned for the upgrade phase
was 60 minutes. The upgrade phase has already been running for 60
minutes. To extend the default timeout, set environment variable
UPGRADE_EXPORT_TIMEOUT
Поиск дал ссылочку на БЗ –  The vCenter Server upgrade from version 7.0 to 8.0 fails at 39% with the error: “Upgrade phase timed out” after getting stuck during the “Exporting the VMware Analytics Service data” step
Запускаем предложенный скрипт и смотрим на наличие 127k файликов в аналитике:

root@vc [ /tmp ]# ls /var/log/vmware/analytics/prod | wc -l
127465
root@vc [ /tmp ]# chmod +x cleaning_vddk_script.sh
root@vc [ /tmp ]# ./cleaning_vddk_script.sh 90
Files before the clean :
127452 ===
Start cleaning VDDK files older than 90 days...
Clean successful! ===
Files after the clean:
0
root@vc [ /tmp ]# ls /var/log/vmware/analytics/prod | wc -l
102

Зачем сломали интерфейс?

Интерфейс в 7-ке были вылизан и привычен. В 8-ке решили, что FULL HD мониторы – это прошлый век, и исправили иконки, всплывающие длинные поля поменяли на полный вывод, а если название хоста не влезет, то не постеснялись в 2 этажа отобразить. Выбор нескольких строк тоже поломали.

Старое оборудование не поддерживается в ESXi 8

После эпопеи VMware ESXi 7.0 и неподдерживаемое оборудование отказ от оборудования в 8-ке продолжился. По процессорам у нас вышли из поддержки Intel Xeon 26xx v2 – хорошо, отправим на списание. Для любителей хлама – неофициально ESXi8 на старых процессорах работает Heads Up – ESXi 8.0 Update 2 requires XSAVE CPU instruction even with allowLegacyCPU=true.
Актуальной остаётся проблема Отвал FC HBA Emulex 8/16-Gb/s после обновления VMware ESXi 7.0 update 3. Драйвер нужно интегрировать старый.

Загрузка ESXi и TPM 2.0

8-ка стала требовать включения TPM 2.0 на серверах (с TPM 1.2 грузится, но ругается):
TPM 1.2 device detected. Support for TPM version 1.2 is discontinued. Installation may proceed, but may cause the system to behave unexpectedly.Make sure the host is upgraded to TPM 2.0.
Как оказалось, на всех старых серверах необходимо на уровне UEFI, а местами и джамперов, переключаться на TPM 2.0.
Как включить TPM 2.0 на серверах Lenovo:

• How to set TPM and enable secure boot on a Lenovo ThinkSystem
• 3550 M5 System-board switches, jumpers, and buttons
• 3650 M5 TPM 2.0

QuickBoot и TPM 2.0, а ещё TXT и IPMI

С 8-ки поддерживается QuickBoot на серверах с TPM 2.0, но встаём на целый набор граблей: современный сервер пишет, что поддержки нет. Запускаем утилиту проверки для определения причин:

/usr/lib/vmware/loadesx/bin/loadESXCheckCompat.py
BmcInfo: ipmi returned invalid data length: 1 ccode 255
BmcInfoImpl: Retrieve Version information failed
This system is not QuickBoot compatible: violating one or more strict requirements (Quick Boot is not supported on this machine)
The host does not fulfill the following hard dependencies:
- Intel TXT is enabled

Ищем где выключить TXT на серверах Lenovo  – находим нужный пункт в этой КБ:

/usr/lib/vmware/loadesx/bin/loadESXCheckCompat.py
BmcInfo: ipmi returned invalid data length: 1 ccode 255
BmcInfoImpl: Retrieve Version information failed
This system is compatible with Quick Boot.

По второй ошибке – “BMC Firmware Version” missing in System information of VMware DCUI, проверяем, что поля заполнены или нет:

esxcli hardware ipmi bmc get
BMCFirmware Version: 0.00
Hostname Reported:
IPMIVersion: 0.0
IPv4Address:
IPv4Gateway:
IPv4Subnet:
IPv6Addresses:
LANif Admin Status: false
MACAddress:
Manufacturer: Unknown
OSName Reported:

Ошибка спустя несколько минут исправилась после перезагрузки контроллера.
В итоге получаем:

/usr/lib/vmware/loadesx/bin/loadESXCheckCompat.py
This system is compatible with Quick Boot.

Проблема с плагином Veeam BR

Также отвалился плагин для Veeam BR – порешалось переустановкой? Нет…

• Неизменные резервные копии – хранение резервных копий виртуальных машин Proxmox VE в локальной сети или облаке в безопасности и защищенности от шифрования программами-вымогателями, случайного удаления или злонамеренного уничтожения во время кибератак благодаря неизменяемости на базе хранилища. Или используйте встроенную поддержку ленты и жёсткие дисков для достижения реальной воздушной прослойки при минимальных затратах.
• Бескомпромиссная производительность резервного копирования – благодаря расширенному отслеживанию измененных блоков (CBT) и режиму резервного копирования HotAdd, пользователи Proxmox VE теперь могут быстро и эффективно выполнять резервное копирование виртуальных машин, минимизируя перебои в работе из-за длительного резервного копирования и обеспечивая бесперебойную повседневную работу. Veeam первым на рынке предлагает поддержку CBT-резервного копирования даже выключенных виртуальных машин.
• Veeam BitLooker – автоматически исключаются неиспользуемые блоки диска, например, принадлежащие удаленным файлам гостевой ОС, эта интеллектуальная функция значительно повышает производительность резервного копирования, сохраняя при этом ценное пространство для хранения данных.
• Гибкость хранилищ – поддержка всех типов хранилищ резервных копий Veeam Backup & Replication, включая защищенные хранилища и объектные хранилища, позволяет предприятиям легко создавать хранилища резервных копий из любых хранилищ, которые соответствуют их требованиям к RTO/RPO и бюджету.
• Свобода полного восстановления ВМ – ВМ с ведущих платформ виртуализации (VMware vSphere, Microsoft Hyper-V, Nutanix AHV, Red Hat Virtualization, Oracle Linux Virtualization Manager) или публичных облаков (AWS, Azure и Google Cloud) могут быть оперативно восстановлены на Proxmox VE и наоборот, что позволяет сократить время простоя и максимально повысить производительность. Также можно восстанавливать резервные копии физических серверов на виртуальные машины Proxmox, что упрощает аварийное восстановление и миграцию P2V.
• Расширенные возможности гранулярного восстановления – быстрое восстановление всех измененных и удаленных файлов, например, в результате атаки вымогателей, что обеспечивает непрерывность бизнеса и спокойствие перед лицом неожиданной потери данных или незапланированного сбоя.

Также расширена либо добавлена поддержка следующего функционала:

• Большое расширение функционала СРК  и ВД Nutanix AHV
• Расширение функционала СРК  и ВД oVirt
• Поддержка СУБД MongoDB, включая наличие Veeam Explorer for MongoDB
• Расширение поддержки СУБД IBM DB2, SAP HANA, Oracle DB
• Поддержка новых версий VMware vSphere/Cloud Director, Linux, Microsoft Windows, IBM AIX, Apple Mac, Solaris
• Улучшения компонентов безопасности Malware Detection, RBAC, Security&Compliance Analyzer
• Улучшена поддержка ленточек, облаков, систем хранения.
• Обновлены консоли

Обо всём этом подробно читаем в:

• What’s New VBR 12.2.
• Veeam Backup & Replication 12.2 Release Notes
• Veeam ONE 12.2 Release Notes
• Veeam Agent for Microsoft Windows 6.2 Release Notes

Данный инструмент сравнивает текущие настройки операционной системы и системы резервного копирования и восстановления данных с рекомендованными.
Типичная картина до закручивания настроек безопасности может выглядеть так:

Подробное описание всех проверок, включая ключи реестра, можно прочитать в статье Security & Compliance Analyzer.

Для игнорирования проверки жмёте “Suppress”, а вот если хотите исправить, то идёте в статью базы знаний “Script to Automate Implementation of Security & Compliance Analyzer Recommendations” где размещен powershell-скрипт исправляющий часть настроек. Сначала заново валидируете конфигурацию, а потом выбираете исправления, которые вас устраивают:

The Power of Veeam Intelligent Diagnostics

Многие пользователи, использующие Veeam ONE, не догадываются, что в этом продукте есть обновляемые сигнатуры для диагностики.

Список изменений в сигнатурах можно прочитать на форуме:

• Veeam Intelligent Diagnostics updates
• Veeam Intelligent Diagnostics updates (archive)

Установка производится через Интернет либо вручную через скачанный файл с этого ресурса.

Чтобы обновить нужно открыть Veeam ONE Client -> выбрать панель Veeam Backup & Replication -> Veeam ONE Agents -> Update Signatures (с Интернета) либо Import Signatures (из файла).

После этого могут появится новые уведомления.

Veeam Backup & Replication 12 Release notes What’s New Product Overview

Veeam ONE 12  Release notes What’s New Product overview

Veeam Recovery Orchestrator 6.0 What’s new Product overview

Veeam Backup for Google Cloud 4.0 Release Notes

Veeam Agent for Microsoft Windows 6 Release notes Product overview

Veeam Agent for Mac Release notes

Veeam Agent for Linux 6 Release notes

Veeam Backup for Nutanix AHV 4 Release notes

Veeam Backup for Red Hat Virtualization 3 Release notes

V12 New Capabilities for Service Providers

All Guides for All Products

Copying data from deduplicated volumes requires that the console is installed on Windows Server 2012 R2 or later with the data duplication feature enabled.
Restoring files from  deduplicated volumes requires that the mount server associated with the source backup repository uses Windows Server 2012 R2 or later with data deduplication feature enabled.

Это связано с отсутствием компонентов дедупликатора. Добавляем их вручную на сервер Veeam BR:

Import-Module ServerManager
Add-WindowsFeature -name FS-Data-Deduplication

Повторно восстанавливаем файлы.

Но мало кто знает, что у Veeam запущена похожая программа для квалификации партнерских решений для обеспечения стандартов высокой производительности, функциональности и совместимости.

Имеет 4 категории Veeam Ready для участников Veeam Alliance Program (VAP)

1. Veeam Ready – Repository (репозиторий)
   Партнеры VAP с первичными решениями для хранения резервных копий проходят квалификацию, выполнив или превысив функциональные тесты и тесты производительности для операций резервного копирования и восстановления.
2. Veeam Ready – Object (объектное хранение)
   VAP-партнеры с S3-совместимыми решениями для хранения объектов проходят квалификацию, подтвердив совместимость с возможностями хранения объектов Veeam Backup & Replication.
3. Veeam Ready – Object Immutability (неизменность объекта)
   VAP-партнеры с S3-совместимыми решениями для хранения объектов проходят квалификацию, подтвердив совместимость с использованием Veeam Backup & Replication возможностей S3 Object Lock в хранилищах объектов.
4. Veeam Ready – Tape (хранение на лентах)
   Партнеры VAP с автономными решениями для хранения данных проходят квалификацию, проверив совместимость с функциями и операциями с лентой Veeam Backup & Replication.

Также имеется 4 программы для интеграционных решений:

1. Veeam Integrated – “with Veeam”
   VAP-партнеры, которые разрабатывают решение для хранения данных для DR-нагрузок с использованием Veeam.
2. Veeam Integrated – Object
   Партнеры VAP, предлагающие объектные системы хранения данных, для улучшения совместной работы с клиентами требуются определенные протоколы или настройки.
3. Veeam Integrated – Deduplicating Storage
   VAP-партнеры с дедуплицирующими хранилищами для повышения эффективности совместной работы с клиентами необходимы определенные протоколы или настройки.
4. Veeam Integrated – Universal Storage API
   Партнеры VAP с предложениями первичных систем хранения данных для виртуализации, физических серверов и рабочих нагрузок NAS  для совместной разработки интеграции моментальных снимков с Veeam.

Конечные заказчики легко и быстро могут узнать результат проверок на странице Veeam Alliance Technical Programs (переключайтесь между Veeam Ready и Veeam Integrated, пролистывайте примерно один экран до таблицы с фильтрами).

• Veeam Backup & Replication 11a
• Veeam Agent for Microsoft Windows 5.0.1
• Veeam Agent for Microsoft Windows v5
• Veeam Backup for Nutanix AHV 3.0
• Veeam Backup for AWS v4
• Veeam Backup for Microsoft Azure v3
• Veeam ONE v11a
• Veeam Service Provider Console v6
• Veeam Service Provider Console v5 Patch 4
• Veeam Management Pack 9.0 Patch 1 for Microsoft Hyper-V monitoring
• Veeam Backup for Microsoft Office 365 5d
• Kasten K10 v4.5, Extending Kubernetes Application Backup and Mobility to the Edge with Kasten K10 V4.5
• Новинки от Veeam: что нас ждёт в сезоне “осень — зима 21/22”

Всё о новинках уже 13-14 октября 2021 года на VeeamON.

P.S.  Будет презентация Veeam Backup for Red Hat Virtualization!

• Veeam Backup for Red Hat Virtualization 1.0

И на совете #10 залип – оказывается, что при восстановлении тонких дисков ВМ из резервных копий через транспорт DirectSAN получаем толстые диски. А мы после полноценной поддержки vSphere’ой команды UNMAP перешли на тонкие диски.

Админы СРК и ВД знали про этот нюанс и фигачили толстые диски, так как не знали как заменить транспорт и на какой (cиняя ссылка “Pick proxy to use”). Проведя консилиум и тесты, решили при восстановление выбирать прокси с транспортом hot-add (vSphere 7,  350+52+40 ГБ):

Время восстановления получилось сопоставимо с DirectSAN, при этом диски остаются тонкими.

P.S. Чё-то NBD на 10 GbE у нас медленноват…

Приглашаем Вас 16 июня 2021 года на онлайн-конференцию #VeeamONTour “Эффективная стратегия защиты данных” по этой ссылке.

Я и другие блогеры записали для вас видео-приглашение: