95% нагрузок перемещаются без каких-либо последствий, но 5% могут иметь занимательные проблемы – я бы назвал это похмельным синдромом перемещения.

В чём он выражается? Во время миграции вы ощущаете лёгкое отупление как от употребления алкоголя в чуть повышенной дозе, а потом жесточайшие тормоза, длящиеся от пары до пары десятков минут.

vMotion имеет длительную историю, но для меня ключевыми вехами стали версии 5 и 7 (новый функционал релизнули в 7u1). Например, в 5-ке появился целый набор технологий – Mirror [Copy] Driver, Stun During Page Send и Multi-NIC vMotion.

Лучшее доступное описание по архитектуре и настройке читайте в блоге Frank Denneman:

Part 1 – Designing your vMotion network
Part 2 – Multi-NIC vMotion failover order configuration
Part 3 – Multi-NIC vMotion and NetIOC
Part 4 – Choose link aggregation over Multi-NIC vMotion?
Part 5 – 3 reasons why I use a distributed switch for vMotion networks

В 7-ке разработчики озадачились миграцией виртуальных машин с большой нагрузкой и выкатили Monster VM vMotion, о чём подробно можно почитать в документе:

vMotion Innovations in VMware vSphere7.0 U1 .

Теперь вернёмся к причине похмельного синдрома после перемещения – приведу короткую цитату из Sensitive Virtual Machines become impacted by vMotion stun time:

some highly sensitive applications like Database or Banking applications have been known to encounter crash’s or persistent performance impact due to the stun or suspend resume time they experienced as part of the vMotion.

Что же вредного делает этот stun? А он при перемещении ВМ понижает частоту виртуальных процессоров до уровня, когда миграция начинает успевать передавать изменённые страницы памяти с хоста на хост и чем интенсивнее приложение меняет содержимое памяти, тем сильнее приходится прижимать ресурсы процессора. В итоге, мы видим резкий рост очередей на процессор. Пример проблемы на графике: на 20 процессоров две очереди во время миграции составляют по 600 сессий, а потом ~15 минут в районе 300 сессий из-за накопительного эффекта + наложилась борьба за 101% памяти на хосте.

Как сократить время миграции и нивелировать действия stun? Я выбрал старый метод – расширить канал с использованием Multi-NIC vMotion!

У меня есть два сегмента с проблемной миграцией – обычные машины плохо едут по 1 Гбит/с, тяжёлые машины плохо едут по 10 Гбит/с.

Открываем вышеуказанные ссылки плюс статью Multiple-NIC vMotion in vSphere и настраиваем отдельные VMkernel-интерфейсы с сетевыми картами в режиме Active-Standby первый, в режиме Standby-Active второй в политике Teaming and Failover.

У меня ситуация с 10-ками получилась не очень – сетевухи уже 25 Гбит/с, а свитчи всё ещё 10 Гбит/с. Но тяжелые ВМ-ки у меня в 2-узловом кластере, соответственно, интерфейсы под vMotion переключаем на DAC и получаем 2 по 25 Гбит/с.

Результаты

Примечание. Тюнинг vMotion не использовался. Конфигурация железа разная в vSphere 6.7 и в 8.0.

Переход с 6.7 на 7.0 – один канал vMotion на 10 Гбит/с, проверяем улучшения в 7-ке. Миграция ВМ с работающей под высокой нагрузкой системой управления базами данных Oracle DB (20 виртуальных процессоров и 242 гигабайта оперативной памяти) была перемещена за 3 минуты 47 секунд по сравнению с 4 минутами 8 секундами в версии 6.7 – ускорение составило порядка 10%.

Меняем 7-ку на 8-ку, постепенно изменяем конфигурацию сети vMotion:

ВМ СУБД Oracle DB, низкая нагрузка (64 ГБ, 4 vCPU)
Скорость сети, Гбит/с	Время миграции, сек	Пиковая скорость
10	51	1,2 ГБ/с
25	23	1,8 ГБ/с
2*25	14	2,7 ГБ/с
ВМ СУБД Oracle DB, низкая нагрузка (320 ГБ, 20 vCPU)
Скорость сети, Гбит/с	Время миграции, сек	Пиковая скорость
2*25	76	5,3ГБ/с
ВМ СУБД Oracle DB, высокая нагрузка (320 ГБ, 20 vCPU)
Скорость сети, Гбит/с	Время миграции, сек	Пиковая скорость
10	~51 минута	~1,2 ГБ/с
2*25	61	6,2 ГБ/с

В результате тестов стало ясно, что скорость vMotion растёт практически линейно, если есть что перемещать, – мы получили ускорение до 5 раз при переходе с 10 на 2*25. Для не слишком тяжёлых виртуальных машин не хватает разгона, так как основное время занимают сервисные операции. Если широкого канала хватает для покрытия скорости изменения памяти, то stun не используется и не влияет на время миграции, также мы не видим каких-то особо выраженных пиков по очередям процессора во время начала и конца миграции, да и похмелья у ВМ-ки нет.

И там написана кайфовая фраза: “Я не вижу в российском ИТ (сообществе) уже года три – запроса на публичное обсуждение чего-то и публичную экспертизу. Русские блоги, которых было штук сто в 2010 – прекратили обновление, кроме единичных сайтов. Те, что обновляются, например сайт по виртуализации в Перди-Закаменной, хорошо если раз в квартал что-то новое повесит.
Тот, средний подкласс из среднего ИТ класса – умер или уехал.”

Ржал до упаду – 100% попадание.

Хочу пояснить ситуацию. Я интенсивно тестирую российские продукты – БРЕСТ/ZVirt/ECP Veil/SpaceVM, КиберБэкап, РедОС/АстраЛинукс, Р7 Офис/Мой Офис и прочая-прочая. Пишутся простыни отчётов, делаются здоровенные сравнительные таблицы. А где же статьи? Косяк в том, что всё взаимодействие с интреграторами и производителями идёт в рамках соглашений о неразглашении, поэтому возможности вываливать результатты тестов в бложик у меня нет – руки скованы.

Дана трапеция abcd. Ее угол dab = 65 градусов, угол bcd = 130 градусов, Длина стороны
bc равна 5 сантиметров, длина стороны cd = 4 сантиметра.
Надо найти длину основания ab.

Для решения задачи, мы можем воспользоваться теоремой косинусов, которая гласит:

a^2 = b^2 + c^2 - 2bc * cos(alpha)

где a, b, c - длины сторон треугольника, а alpha - угол между сторонами b и c.

Применим эту теорему к треугольнику bcd, чтобы найти длину стороны bd:

bd^2 = bc^2 + cd^2 - 2bc * cd * cos(bcd)

Угол bcd равен 130 градусов, поэтому мы можем перевести его в радианы:

bcd = 130 * pi / 180

Теперь мы можем подставить значения и вычислить длину стороны bd:

bd^2 = 5^2 + 4^2 - 2 * 5 * 4 * cos(bcd)
bd^2 = 41 - 40 * cos(bcd)
bd^2 = 41 - 40 * cos(130 * pi / 180)
bd^2 = 41 + 20 * sqrt(3)

bd ≈ 8.61 см

Теперь мы можем рассмотреть треугольник abd и воспользоваться теоремой косинусов, чтобы найти длину основания ab:

ab^2 = ad^2 + bd^2 - 2ad * bd * cos(dab)

Угол dab равен 65 градусов, поэтому мы можем перевести его в радианы:

dab = 65 * pi / 180

!!!Мы знаем, что ad = bc, поэтому ad = 5 см!!!

Теперь мы можем подставить значения и вычислить длину основания ab:

ab^2 = 5^2 + (41 + 20 * sqrt(3)) - 2 * 5 * (41 + 20 * sqrt(3)) * cos(dab)
ab^2 ≈ 450.94
ab ≈ 21.23 см

Ответ: длина основания ab равна примерно 21.23 см.

Нуууу ооок, хотя…
Шестой класс и ответ вида “примерно 21,23см”?

Разве там уже были синусы и косинусы наперевес с квадратным корнем? Не верю

Какое будет решение, если ad не равно bc? В условии этого не дано!

Если длина стороны ad не равна длине стороны bc, то в общем случае трапеция abcd 
не будет прямоугольной. В этом случае мы не можем просто использовать теорему косинусов 
для нахождения длины основания ab, как мы делали ранее.

Однако, мы всё же можем решить эту задачу с использованием некоторых дополнительных 
данных. Давайте рассмотрим несколько случаев.

Если известна высота трапеции:
Если мы знаем высоту h, то можем воспользоваться формулой для площади трапеции:
S = (a+b) * h / 2
где a и b - основания трапеции.
Решив эту формулу относительно основания ab, получим:
ab = 2S / h - ad
где S - площадь трапеции.
Для нахождения площади трапеции, можно воспользоваться формулой:
S = (a+b) * h / 2 = (ad + bc) * h / 2
где h - высота трапеции.

Таким образом, если известна высота трапеции, то мы можем найти длину основания ab.

Если известны углы трапеции:
Мы можем воспользоваться законами синусов и косинусов для решения этой задачи. Например, 
мы можем рассмотреть треугольники abc и abd:
В треугольнике abc мы можем найти угол acb:
acb = 180 - bcd - abc = 180 - 130 - dab
acb = 50 градусов

Теперь мы можем найти угол bac:
bac = 180 - 2 * acb
bac = 80 градусов

В треугольнике abd мы можем найти угол bad:
bad = 180 - dab - bac
bad = 35 градусов

Теперь мы можем воспользоваться законом синусов для нахождения отношения длин сторон 
ab и ad в треугольнике abd:
ab / sin(bad) = ad / sin(dab)

Таким образом, если известны углы трапеции, то мы можем найти отношение длин сторон 
ab и ad. Если мы знаем длину стороны ad, то можем найти длину стороны ab.

Если известны другие дополнительные данные:
Если известны другие данные о трапеции, например, длина диагонали, то мы можем 
воспользоваться соответствующими формулами для решения задачи. Например, если известна 
длина диагонали ac, то мы можем воспользоваться теоремой косинусов для нахождения длины 
основания ab:

cos(bac) = (ac^2 + bc^2 - ab^2) / (2 * ac * bc)

Отсюда можно выразить ab:

ab = ac * cos(bac) - bc

Если известна длина диагонали bd, то мы также можем воспользоваться теоремой косинусов 
для нахождения длины основания ab:

cos(bad) = (bd^2 + ad^2 - ab^2) / (2 * bd * ad)

Отсюда можно выразить ab:

ab = bd * cos(bad) - ad

Таким образом, если мы знаем длину одной из диагоналей трапеции, то мы можем 
использовать теорему косинусов для нахождения длины основания ab.

В любом случае, чтобы решить задачу, нам нужно иметь дополнительные данные о трапеции, 
помимо углов и длин двух сторон. Если такие данные известны, мы можем использовать 
соответствующие формулы для нахождения длины основания ab.

Попробуй предложить другое решение, учитывая что это задача для шестого класса.

Хорошо, в этом случае мы можем воспользоваться свойством трапеции, что основания 
параллельны, чтобы решить задачу.

Если мы проведем высоту из вершины b на основание dc, то получится два прямоугольных 
треугольника: bcd и bad. Мы знаем углы этих треугольников: угол bcd равен 130 градусов, 
а угол bad равен 180 градусов минус 65 градусов, то есть 115 градусов.

Для нахождения длины основания ab нам нужно знать длины сторон треугольников bcd и 
bad. Мы знаем, что сторона bc равна 5 сантиметров, а сторона cd равна 4 сантиметра. 
Нам осталось найти длину стороны bd.

Для этого мы можем воспользоваться теоремой Пифагора в треугольнике bcd:

bd^2 = bc^2 + cd^2
bd^2 = 5^2 + 4^2
bd^2 = 41
bd = √41

Теперь мы можем найти длину стороны ad в треугольнике bad, воспользовавшись теоремой 
Пифагора:

ad^2 = ab^2 + bd^2
ad^2 = ab^2 + 41
ad = √(ab^2 + 41)

Таким образом, мы можем записать равенство высоты треугольника bad:

h = ad * sin(dab) = √(ab^2 + 41) * sin(65)

Из свойства трапеции мы также знаем, что высота h равна:

h = dc * sin(bcd) = 4 * sin(130)

Теперь мы можем приравнять два значения высоты и найти длину основания ab:

√(ab^2 + 41) * sin(65) = 4 * sin(130)
ab^2 + 41 = (4 * sin(130) / sin(65))^2
ab^2 = (4 * sin(130) / sin(65))^2 - 41
ab = √((4 * sin(130) / sin(65))^2 - 41)

Вычислив это выражение, мы получим длину основания ab.

В шестом классе еще не проходили ни тригонометрию, ни теорему Пифагора. Предложи другое решение.

Понятно. В таком случае мы можем использовать свойства равнобокой трапеции для решения задачи.

Так как трапеция abcd является равнобокой, то ее диагонали ac и bd равны между собо

СТОП!

Трапеция abcd не является равнобокой!

Извините, моя ошибка. Действительно, трапеция abcd не является равнобокой.

Тогда мы можем воспользоваться свойством трапеции, что сумма оснований равна сумме 
длин боковых сторон. Из условия задачи известно, что длина боковой стороны bc равна 5 см, 
а длина боковой стороны cd равна 4 см.

Также мы можем использовать свойство трапеции, что средняя линия параллельна основаниям и 
равна полусумме оснований. Обозначим среднюю линию между основаниями ab и cd как m.

Таким образом, мы можем записать два уравнения:

ab + cd = bc + ad
ab + cd = 2m

Выразим из первого уравнения длину основания ab:

ab = bc + ad - cd

Из второго уравнения найдем среднюю линию m:

m = (ab + cd) / 2

Теперь мы можем подставить первое уравнение во второе и получить:

m = (bc + ad) / 2

Так как трапеция abcd не является равнобедренной, то мы не можем выразить длину 
основания ab только через известные длины боковых сторон и углы. Нам нужно знать еще 
одну длину или угол, чтобы решить задачу.

Например, если бы нам была известна длина диагонали ac, мы могли бы воспользоваться 
теоремой косинусов в треугольнике abc:

cos(dab) = (ac^2 + bc^2 - ab^2) / (2 * ac * bc)

Из этого уравнения мы могли бы выразить длину основания ab. Однако, без дополнительных 
данных, задачу решить нельзя.

На этом я бросил попытки мучить ИИ и решил подумать еще сам. Если мы построим в трапеции параллелограмм, то сможем вычислить длину основания, так как она будет складываться из суммы верхней и боковой (равнобедренный треугольник) стороны.

Что можно резюмировать из этого общения?

1. ChatGPT с легкостью пройдет тест Тьюринга
2. ИИ отлично понимает русский язык (хотя я слышал, что на английском результаты лучше).
3. Очень круто, что ИИ может работать с абстракцией, раскладывая трапецию на треугольники, и оперирует Пифагором с учебником тригонометрии подмышкой.
4. С достоверностью все плохо. Мне было лень перепроверять по шагам его математические выкладки с корнями и синусами/косинусами. Но при решении задачи ИИ неоднократно придумывал условия, да и ответ отличался от моего. Особенно эпичным было решение на две страницы с выводом “решить без дополнительной информации это невозможно”

Штука классная, но пока ощущения у меня от нее двойственные. А вы что думаете?

В разгар локдауна от ковида была написана статья о возможности использования прямого подключения к ПК по протоколу Blast (Blast Extreme) без использования серверной инфраструктуры VMware Horizon:

Удаленное подключение к ПК через VMware Horizon Direct Connection

В последние годы Linux приобретает всё большую популярность, как и потребность в удаленном подключении к нему.

В свою очередь, и компания VMware наращивает функциональность агента и клиента Horizon под операционные системы семейства Linux.

12 января 2023 года вышел релиз VMware Horizon 2212 (8.8). В этом релизе в агент для Linux добавили поддержку Debian 11.5, в котором мы и проведём наш эксперимент.

Для установки нам потребуется следующая документация:

• System Requirements for Horizon Agent for Linux
• Install Horizon Agent on a Linux Virtual Machine
• Command-line Options for Installing Horizon Agent for Linux
• Authorizing Horizon Client to Access Desktops and Applications

и два дистрибутива агента и плагина:

1. VMware-horizonagent-linux-x86_64-2212-8.8.0-21071111.tar.gz
2. VMware-horizonagent-linux-vadc-x86_64-2212-8.8.0-21071111.tar.gz

В соответствии с системными требования проверяем версию Linux:

• Ubuntu 18.04, 20.04, and 22.04
• Debian 10.13 and 11.5
• Red Hat Enterprise Linux (RHEL) Workstation 7.9, 8.4, 8.6, 8.7, 9.0, and 9.1
• Red Hat Enterprise Linux (RHEL) Server 7.9, 8.4, 8.6, 8.7, 9.0, and 9.1
• CentOS 7.9
• SUSE Linux Enterprise Desktop (SLED) 15 SP3 and 15 SP4
• SUSE Linux Enterprise Server (SLES) 15 SP3 and 15 SP4

и тип окружения рабочего стола:

Примечание:  Проверка Cinnamon показала, что на нашем стенде он криво работает и утилизирует процессор на 100% (предположительно, программный рендер используется).

В домашнем каталоге создается директория VMwareHorizonAgent для распаковки туда дистрибутивов агента и плагина vadc (View Agent Direct-Connection)

mkdir ./VMwareHorizonAgent

меняется каталог и распаковывается дистрибутив:

cd ./VMwareHorizonAgent/
 tar -xvzf ~/Downloads/VMware-horizonagent-linux-x86_64-2212-8.8.0-21071111.tar.g

Устанавливаются дополнительные пакеты, в том числе для прямого подключения нужен пакет nginx:

sudo apt-get install -y gnome-shell-extension-appindicator liburiparser1 nginx

В файле /etc/hosts для 127.0.0.1 добавляется FQDN рабочей станции и её hostname.

Так как официально физические Linux не поддерживаются в соответствии со статьей Considerations with Physical Machines Deployment via Horizon (78400), то в установщике есть нюанс. Для unmanaged установок требуется регистрацию в VMware Horizon Connection Server. Впоследствии она не нужна и после установки плагина vadc регистрация пропадёт.
При запуске установщика в ключе -u указывается логин администратора Connection Server:

sudo ./install_viewagent.sh -A yes -M no -b <VDI connection server> -d <домен учётной записи администратора Horizon> -u <логин администратора>

Примечание:  если вы укажете ключ -M yes, то будет считаться, что Linux работает в виртуальной среде и запросит установку VMware Tools. Если у вас отсутствует Connection Server, то необходимо отредактировать строки проверки регистрации в скрипте.

Затем распаковывается плагин, выбирается каталог и выполняется его установка. Плагин сам прописывается в файерволе.

tar -xvzf ~/Downloads/VMware-horizonagent-linux-vadc-x86_64-2212-8.8.0-21071111.tar.gz
cd ../VMware-horizonagent-linux-vadc-x86_64-2212-8.8.0-21071111/
sudo ./install_vadc.sh

Для разрешения подключения учётная запись пользователя либо его группа должна быть в локальной группе vwmvadc.

Для начала я сменил работу в Перми на удаленку из Москвы инженером по развитию сред виртуализации. Это дало мне примерно x2, а вместо решения проблем работы Skype4B через VPN я начал изучать Python и Ansible.

Тут можно было остановиться, но Остапа несло

Для начала я вписался в трек Devops Upgrade от Слёрм. В сжатые сроки (за 3.5 месяца) я впихнул себе в мозг основы Docker, Kubernetes, Gitlab CI/CD, Prometheus, ELK, Terraform и Ansible.

Я не только стал понимать весь этот девопсовый жаргон, но и смог самостоятельно задеплоить в самодельном кластере Kubernetes на базе GCP 4х-уровневое приложение (кэш, веб, апп, бд), используя Gitlab CI/CD. Кстати, кластер тоже развертывался через CI/CD с использованием Terraform и Ansible. Был и заключительный шаг пайплайна – удаление кластера.

Было очень тяжело: когда в Слёрм советовали выделять на обучение по 1-2 часа в день – они нисколько не лукавили…

В общем-то, мне и этого показалось мало )))

Где-то с середины августа я подписался на обучение от работы по треку AWS Solutions Architect Associate и вчера успешно получил этот сертификат.

Что хочется сказать: несмотря на звание “помощника архитектора” сертификация достаточно тяжелая, она сильно отличается от того, с чем я раньше сталкивался у Microsoft или VMware (MCP/MCTS/MCSA_win2k3/VCP).

С одной стороны, экзамен изобилует вопросами на знание названия конкретной технологии. Например, S3 в VPC без интернета должен подключаться через gateway endpoint, а не через interface endpoint или Private Link.

С другой – щедро осыпает вопросами на выбор НАИБОЛЕЕ оптимального ответа. Допустим, у вас 80ТБ, которые вы хотите отправить в S3. Что позволит решить эту задачу за 2 недели: Direct Connect, Site2Site VPN, Snowball Egde или Amazon S3 Transfer Acceleration? Как изменится ответ, если вы хотите решить эту задачу наиболее дешевым образом?

Было сложно? Более чем – я сказал много матерных слов в адрес кубернетис, контейнеров, гугл клауда и амазона с его вопросами заодно.

Но были и очень крутые ощущения – когда твой Ansible playbook лохматит 40 серверов в кластере VMware, настраивая на хостах VMK-интерфейсы и IP-адреса, основываясь на внешней базе адресов. Когда создает поверх них кластер vSphere DRS и vSphere Storage DRS, закидывая туда 100500 VMFS-хранилищ…

А ты сидишь такой и смотришь за изменениями в консольке Web Client да пробегающими событиями…

Пожалуй, единственный минус в том, что придется закопать не только VMware, но и весь Microsoft заодно…

Сегодня я подобрал несколько актуальных ссылок на статьи, описывающие как работает на уровне процессора вложенная виртуализация, как самому написать гипервизор, зачем нужны инструкции процессора для аппаратной реализации функций виртуализации.

Virtualization Internals

1. Virtualization Internals Part 1 – Intro to Virtualization
2. Virtualization Internals Part 2 – VMWare and Full Virtualization using Binary Translation
3. Virtualization Internals Part 3 – Xen and Paravirtualization
4. Virtualization Internals Part 4 – QEMU

Как написать гипервизор самому:

1. Hypervisor From Scratch – Part 1: Basic Concepts & Configure Testing Environment
2. Hypervisor From Scratch – Part 2: Entering VMX Operation
3. Hypervisor From Scratch – Part 3: Setting up Our First Virtual Machine
4. Hypervisor From Scratch – Part 4: Address Translation Using Extended Page Table (EPT)
5. Hypervisor From Scratch – Part 5: Setting up VMCS & Running Guest Code
6. Hypervisor From Scratch – Part 6: Virtualizing An Already Running System
7. Hypervisor From Scratch – Part 7: Using EPT & Page-Level Monitoring Features
8. Hypervisor From Scratch – Part 8: How To Do Magic With Hypervisor!

Вложенная виртуализация:

• Out of Hypervisor (OoH): When Nested Virtualization Becomes Practical
• Using SMT to Accelerate Nested Virtualization
• The Turtles Project: Design and Implementation of Nested Virtualization – с чего начиналось
• Improving KVM x86 Nested Virtualization

Для понимая поддержки аппаратной виртуализации в VMware ESXi есть довольно полезная, хоть и давно не обновлявшаяся таблица ESX(i) Support of Intel VT-x and AMD-V Features. Вроде, все функции были реализованы в 6.5/6.7:

Чтобы понять какие функции используют ваши виртуальные машины, достаточно открыть vmware.log после старта и найти раздел Host VT-x Capabilities:

2022-10-09T04:47:55.933Z In(05) vmx - Log for VMware ESX pid=2177955 version=7.0.3 build=build-20036589 option=Release
...
2022-10-09T04:47:55.941Z In(05) vmx - FeatureCompat: No EVC masks.
2022-10-09T04:47:55.941Z In(05) vmx - hostCPUID vendor: GenuineIntel
2022-10-09T04:47:55.941Z In(05) vmx - hostCPUID family: 0x6 model: 0x6a stepping: 0x6
2022-10-09T04:47:55.941Z In(05) vmx - hostCPUID codename: Ice Lake SP
2022-10-09T04:47:55.941Z In(05) vmx - hostCPUID name: Intel(R) Xeon(R) Gold 6354 CPU @ 3.00GHz
...
virtualHW.version = "19"
...
2022-10-09T04:47:56.046Z In(05) vmx - Host VT-x Capabilities:
2022-10-09T04:47:56.046Z In(05) vmx - Basic VMX Information (0x00da050000000013)
2022-10-09T04:47:56.046Z In(05) vmx - VMCS revision ID 19
2022-10-09T04:47:56.046Z In(05) vmx - VMCS region length 1280
2022-10-09T04:47:56.046Z In(05) vmx - VMX physical-address width natural
2022-10-09T04:47:56.046Z In(05) vmx - SMM dual-monitor mode yes
2022-10-09T04:47:56.046Z In(05) vmx - VMCS memory type WB
2022-10-09T04:47:56.046Z In(05) vmx - Advanced INS/OUTS info yes
2022-10-09T04:47:56.046Z In(05) vmx - True VMX MSRs yes
2022-10-09T04:47:56.046Z In(05) vmx - Exception Injection without error code no
2022-10-09T04:47:56.046Z In(05) vmx - True Pin-Based VM-Execution Controls (0x000000ff00000016)
2022-10-09T04:47:56.046Z In(05) vmx - External-interrupt exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - NMI exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Virtual NMIs {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Activate VMX-preemption timer {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Process posted interrupts {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - True Primary Processor-Based VM-Execution Controls (0xfff9fffe04006172)
2022-10-09T04:47:56.046Z In(05) vmx - Interrupt-window exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Use TSC offsetting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - HLT exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - INVLPG exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - MWAIT exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - RDPMC exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - RDTSC exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - CR3-load exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - CR3-store exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Activate tertiary controls { 0 }
2022-10-09T04:47:56.046Z In(05) vmx - CR8-load exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - CR8-store exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Use TPR shadow {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - NMI-window exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - MOV-DR exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Unconditional I/O exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Use I/O bitmaps {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Monitor trap flag {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Use MSR bitmaps {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - MONITOR exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - PAUSE exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Activate secondary controls {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Secondary Processor-Based VM-Execution Controls (0x4bdfffff00000000)
2022-10-09T04:47:56.046Z In(05) vmx - Virtualize APIC accesses {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Enable EPT {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Descriptor-table exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Enable RDTSCP {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Virtualize x2APIC mode {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Enable VPID {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - WBINVD exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Unrestricted guest {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - APIC-register virtualization {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Virtual-interrupt delivery {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - PAUSE-loop exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - RDRAND exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Enable INVPCID {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Enable VM Functions {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Use VMCS shadowing {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - ENCLS exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - RDSEED exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Enable PML {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - EPT-violation #VE {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Conceal VMX from PT {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Enable XSAVES/XRSTORS {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - PASID translation { 0 }
2022-10-09T04:47:56.046Z In(05) vmx - Mode-based execute control for EPT {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Sub-page write permissions for EPT {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - PT uses guest physical addresses {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Use TSC scaling {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Enable UMWAIT and TPAUSE { 0 }
2022-10-09T04:47:56.046Z In(05) vmx - Enable ENCLV in VMX non-root mode { 0 }
2022-10-09T04:47:56.046Z In(05) vmx - Enable EPC Virtualization Extensions { 0 }
2022-10-09T04:47:56.046Z In(05) vmx - Bus lock exiting {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Notification VM exits { 0 }
2022-10-09T04:47:56.046Z In(05) vmx - Tertiary Processor-Based VM-Execution Controls (0x0000000000000000)
2022-10-09T04:47:56.046Z In(05) vmx - LOADIWKEY exiting no
2022-10-09T04:47:56.046Z In(05) vmx - Enable HLAT no
2022-10-09T04:47:56.046Z In(05) vmx - Enable Paging-Write no
2022-10-09T04:47:56.046Z In(05) vmx - Enable Guest Paging Verification no
2022-10-09T04:47:56.046Z In(05) vmx - Enable IPI Virtualization no
2022-10-09T04:47:56.046Z In(05) vmx - True VM-Exit Controls (0x037fffff00036dfb)
2022-10-09T04:47:56.046Z In(05) vmx - Save debug controls {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Host address-space size {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Load IA32_PERF_GLOBAL_CTRL {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Acknowledge interrupt on exit {0,1}
2022-10-09T04:47:56.046Z In(05) vmx - Save IA32_PAT {0,1}
2022-10-09T04:47:56.047Z In(05) vmx - Load IA32_PAT {0,1}
2022-10-09T04:47:56.047Z In(05) vmx - Save IA32_EFER {0,1}
2022-10-09T04:47:56.047Z In(05) vmx - Load IA32_EFER {0,1}
2022-10-09T04:47:56.047Z In(05) vmx - Save VMX-preemption timer {0,1}
2022-10-09T04:47:56.047Z In(05) vmx - Clear IA32_BNDCFGS { 0 }
2022-10-09T04:47:56.047Z In(05) vmx - Conceal VMX from processor trace {0,1}
2022-10-09T04:47:56.047Z In(05) vmx - Clear IA32_RTIT MSR {0,1}
2022-10-09T04:47:56.047Z In(05) vmx - Clear IA32_LBR_CTL MSR { 0 }
2022-10-09T04:47:56.047Z In(05) vmx - Clear user-interrupt notification vector { 0 }
2022-10-09T04:47:56.047Z In(05) vmx - Load CET state { 0 }
2022-10-09T04:47:56.047Z In(05) vmx - Load PKRS { 0 }
2022-10-09T04:47:56.047Z In(05) vmx - True VM-Entry Controls (0x0006ffff000011fb)
2022-10-09T04:47:56.047Z In(05) vmx - Load debug controls {0,1}
2022-10-09T04:47:56.047Z In(05) vmx - IA-32e mode guest {0,1}
2022-10-09T04:47:56.047Z In(05) vmx - Entry to SMM {0,1}
2022-10-09T04:47:56.047Z In(05) vmx - Deactivate dual-monitor mode {0,1}
2022-10-09T04:47:56.047Z In(05) vmx - Load IA32_PERF_GLOBAL_CTRL {0,1}
2022-10-09T04:47:56.047Z In(05) vmx - Load IA32_PAT {0,1}
2022-10-09T04:47:56.047Z In(05) vmx - Load IA32_EFER {0,1}
2022-10-09T04:47:56.047Z In(05) vmx - Load IA32_BNDCFGS { 0 }
2022-10-09T04:47:56.047Z In(05) vmx - Conceal VMX from processor trace {0,1}
2022-10-09T04:47:56.047Z In(05) vmx - Load IA32_RTIT MSR {0,1}
2022-10-09T04:47:56.047Z In(05) vmx - Load user-interrupt notification vector { 0 }
2022-10-09T04:47:56.047Z In(05) vmx - Load CET state { 0 }
2022-10-09T04:47:56.047Z In(05) vmx - Load IA32_LBR_CTL MSR { 0 }
2022-10-09T04:47:56.047Z In(05) vmx - Load PKRS { 0 }
2022-10-09T04:47:56.047Z In(05) vmx - VPID and EPT Capabilities (0x00000f01067341c1)
2022-10-09T04:47:56.047Z In(05) vmx - R=0/W=0/X=1 yes
2022-10-09T04:47:56.047Z In(05) vmx - Page-walk length 3 yes
2022-10-09T04:47:56.047Z In(05) vmx - EPT memory type WB yes
2022-10-09T04:47:56.047Z In(05) vmx - 2MB super-page yes
2022-10-09T04:47:56.047Z In(05) vmx - 1GB super-page yes
2022-10-09T04:47:56.047Z In(05) vmx - INVEPT support yes
2022-10-09T04:47:56.047Z In(05) vmx - Access & Dirty Bits yes
2022-10-09T04:47:56.047Z In(05) vmx - Advanced VM exit information for EPT violations yes
2022-10-09T04:47:56.047Z In(05) vmx - Supervisor shadow-stack control no
2022-10-09T04:47:56.047Z In(05) vmx - Type 1 INVEPT yes
2022-10-09T04:47:56.047Z In(05) vmx - Type 2 INVEPT yes
2022-10-09T04:47:56.047Z In(05) vmx - INVVPID support yes
2022-10-09T04:47:56.047Z In(05) vmx - Type 0 INVVPID yes
2022-10-09T04:47:56.047Z In(05) vmx - Type 1 INVVPID yes
2022-10-09T04:47:56.047Z In(05) vmx - Type 2 INVVPID yes
2022-10-09T04:47:56.047Z In(05) vmx - Type 3 INVVPID yes
2022-10-09T04:47:56.047Z In(05) vmx - Miscellaneous VMX Data (0x000000007004c1e7)
2022-10-09T04:47:56.047Z In(05) vmx - TSC to preemption timer ratio 7
2022-10-09T04:47:56.047Z In(05) vmx - VM-Exit saves EFER.LMA yes
2022-10-09T04:47:56.047Z In(05) vmx - Activity State HLT yes
2022-10-09T04:47:56.047Z In(05) vmx - Activity State shutdown yes
2022-10-09T04:47:56.047Z In(05) vmx - Activity State wait-for-SIPI yes
2022-10-09T04:47:56.047Z In(05) vmx - Processor trace in VMX yes
2022-10-09T04:47:56.047Z In(05) vmx - RDMSR SMBASE MSR in SMM yes
2022-10-09T04:47:56.047Z In(05) vmx - CR3 targets supported 4
2022-10-09T04:47:56.047Z In(05) vmx - Maximum MSR list size 512
2022-10-09T04:47:56.047Z In(05) vmx - VMXOFF holdoff of SMIs yes
2022-10-09T04:47:56.047Z In(05) vmx - Allow all VMWRITEs yes
2022-10-09T04:47:56.047Z In(05) vmx - Allow zero instruction length yes
2022-10-09T04:47:56.047Z In(05) vmx - MSEG revision ID 0
2022-10-09T04:47:56.047Z In(05) vmx - VMX-Fixed Bits in CR0 (0x0000000080000021/0x00000000ffffffff)
2022-10-09T04:47:56.047Z In(05) vmx - Fixed to 0 0xffffffff00000000
2022-10-09T04:47:56.047Z In(05) vmx - Fixed to 1 0x0000000080000021
2022-10-09T04:47:56.047Z In(05) vmx - Variable 0x000000007fffffde
2022-10-09T04:47:56.047Z In(05) vmx - VMX-Fixed Bits in CR4 (0x0000000000002000/0x0000000000777fff)
2022-10-09T04:47:56.047Z In(05) vmx - Fixed to 0 0xffffffffff888000
2022-10-09T04:47:56.047Z In(05) vmx - Fixed to 1 0x0000000000002000
2022-10-09T04:47:56.047Z In(05) vmx - Variable 0x0000000000775fff
2022-10-09T04:47:56.047Z In(05) vmx - VMCS Enumeration (0x000000000000002e)
2022-10-09T04:47:56.047Z In(05) vmx - Highest index 0x17
2022-10-09T04:47:56.047Z In(05) vmx - VM Functions (0x0000000000000001)
2022-10-09T04:47:56.047Z In(05) vmx - Function 0 (EPTP-switching) supported.

После анонса vSphere 8, который состоялся несколько недель назад, появилось множество отличных технических материалов как от VMware, так и от более широкого сообщества. Многим не терпится получить в свои руки vSphere 8 и vSAN 8 – в этой статье представлены некоторые соображения для тех, кто заинтересован в запуске vSphere 8 в своей домашней лаборатории.

Как и при выпуске любого релиза vSphere, вы всегда должны внимательно изучать примечания к релизу, когда они становятся доступными, и проверять, что все ваше оборудование и базовые компоненты официально включены в список VMware HCL, который будет обновлен после выпуска vSphere 8 и vSAN 8 GA. Только так можно гарантировать, что у вас будет наилучший опыт и поддерживаемая конфигурация от VMware.

Disclaimer: приведенные ниже соображения основаны на ранних наблюдениях за использованием предварительных сборок vSphere 8 и не отражают никаких официальных рекомендаций или поддержки со стороны VMware.

Поддержка ЦПУ

Следующие поколения ЦП, перечисленные ниже для Intel и AMD, НЕ будут поддерживаться в vSphere 8:

• Intel
  • SandyBridge-DT, SandyBridge-EP/EN
  • IvyBridge-DT, IvyBridge-EP/EN, IvyBridge-EX
  • Haswell-DT, Haswell-EP, Haswell-EX
  • Broadwell-DT/H
  • Avoton
• AMD
  • Bulldozer – Interlagos, Valencia, Zurich
  • PileDriver – Abu Dhabi, Seoul, Delhi
  • Steamroller – Berlin
  • Kyoto

Если вы загрузите программу установки ESXi 8.0 и она обнаружит, что у вас неподдерживаемый процессор, вы увидите следующее сообщение об ошибке:

По умолчанию программа установки ESXi 8.0 не позволяет пользователям устанавливать ESXi на систему с процессором, который официально не поддерживается.

Совет: Учитывая это, существует обходной путь для тех, кто хочет отказаться от официальной поддержки VMware или для домашних лабораторных и тестовых целей, вы можете добавить следующий параметр ядра ESXi (SHIFT+O):

allowLegacyCPU=true

который превратит сообщение об ошибке в предупреждение и позволит установить ESXi, зная, что процессор официально не поддерживается, и принять на себя все риски, связанные с этим.

Поддержка устройств ввода/вывода

Аналогично для устройств ввода/вывода, таких как сетевые устройства, устройства хранения данных и т.д., которые не поддерживаются в vSphere 8, программа установки ESXi 8.0 также укажет тип устройства и его соответствующий Vendor & Device ID (см. скриншот выше для примера).

Для просмотра полного списка неподдерживаемых устройств ввода/вывода для vSphere 8 обратитесь к следующей статье VMware KB 88172 для получения дополнительной информации. Многие в сообществе VMware Homelab используют Mellanox ConnectX-3 для организации сети, поэтому обратите на это внимание, поскольку это устройство больше не поддерживается, и людям следует использовать ConnectX-4 или ConnectX-5 в качестве альтернативы.

Совет: Очень простой и не требующий значительных усилий способ проверить, будут ли существующие процессоры и устройства ввода-вывода работать с ESXi 8.0, – это просто загрузить программу установки ESXi 8.0 с помощью USB и проверить, обнаруживает ли она все устройства. Вам НЕ обязательно выполнять установку для проверки совместимости, и вы также можете войти в оболочку ESXi Shell (Alt+F1), используя root и без пароля, чтобы выполнить дополнительную проверку. Если вы не уверены, что ESXi 8.0 будет работать на вашей платформе, это самый простой способ проверить совместимость, не затрагивая существующую установку и рабочие нагрузки.

Те, кому требуется использование Community Networking Driver for ESXi Fling для обнаружения встроенной сети, как в некоторых последних платформах Intel NUC, должны быть рады узнать, что этот Fling был официально представлен как часть vSphere 8, и внедрять  его в custom ISO-образ ESXi больше не потребуется. Для тех, кому требуется драйвер USB Network Native Driver для ESXi Fling, потребуется новая версия Fling, совместимая с vSphere 8, поэтому перед установкой и/или обновлением до vSphere 8 следует дождаться ее появления.

Поддержка установки/обновления с помощью USB

В прошлом году компания VMware опубликовала пересмотренное руководство в VMware KB 85685, касающееся установочных носителей для ESXi, включая ESXi 8.0, в частности, при использовании SD или USB-устройств. Хотя ESXi 8.0 будет продолжать поддерживать установку и обновление с помощью SD/USB-устройства, настоятельно рекомендуется использовать более надежные установочные носители, например SSD, особенно для раздела ESXi OSData. После выхода ESXi 8.0 установка и обновление с помощью SD/USB-устройств больше не будет поддерживаться, и лучше иметь решение сейчас, чем ждать, пока это произойдет.

Если вы решите установить и/или обновить ESXi 8.0 с помощью устройства SD/USB, то перед тем, как продолжить установку или обновление, будет выдано следующее предупреждение:

Поддержка аппаратных платформ

Хотя это не исчерпывающий список аппаратных платформ, на которых может успешно работать ESXi 8.0, хочется поделиться списком систем, которые William лично тестировал.

На следующих аппаратных платформах может успешно работать ESXi 8.0:

• Intel NUC 9 Extreme (Ghost Canyon)
• Intel NUC 9 Pro (Quartz Canyon)
• Intel NUC 10 Performance (Frost Canyon)
• Intel NUC 11 Performance (Panther Canyon)
• Intel NUC 11 Pro (Tiger Canyon)
• Intel NUC 11 Extreme (Beast Canyon)
• Intel NUC 12 (Dragon Canyon)
• Intel NUC 12 Pro (Wall Street Canyon)
• Supermicro E200-8D
• Supermicro E302-12D

Требования к ресурсам VCSA

Учитывая все новые возможности vSphere 8, неудивительно, что для vCenter Server Appliance (VCSA) требуются дополнительные ресурсы. По сравнению с vSphere 7 единственным изменением является объем памяти для каждого размера развертывания VCSA, который увеличился на дополнительные 2 ГБ памяти. Например, в vSphere 7 для конфигурации “Tiny” требовалось 12 ГБ памяти, а в vSphere 8 теперь потребуется 14 ГБ памяти.

Совет: Можно изменить конфигурацию памяти после первоначального развертывания, и, исходя из опыта ограниченного использования, William смог настроить конфигурацию “Tiny” с 10 ГБ памяти, не заметив никакого влияния или проблем. В зависимости от вашего использования и потребления функций, вам может понадобиться больше памяти, но до сих пор она отлично работала для небольшого 3-узлового кластера vSAN.

Требования к ресурсам вложенного (nested) ESXi

Использование вложенного ESXi по-прежнему является самым простым и эффективным способом опробовать все новые возможности vSphere 8. Если вы планируете опробовать новую архитектуру vSAN 8 Express Storage Architecture (ESA), по крайней мере, с точки зрения рабочего процесса, убедитесь, что вы можете выделить не менее 16 ГБ памяти (на каждую виртуальную машину ESXi), что является минимальным требованием для включения этой функции.

Примечание: Если вы планируете использовать только vSAN 8 Original Storage Architecture (OSA), то минимальное значение 16 ГБ можно проигнорировать, так как это относится только к включению vSAN ESA. Для базового использования vSAN OSA достаточно 8 ГБ (на одну виртуальную машину ESXi), а если вы планируете выполнять рабочие нагрузки, то, возможно, потребуется выделить больше памяти, но поведение должно быть таким же, как в vSphere 7.x.

MAC Learning на Distributed Virtual Portgroup

Дополнительной возможностью является то, что настройка MAC Learning на Distributed Virtual Portgroup теперь возможна через vSphere UI как часть vSphere 8. Функция MAC Learning была представлена еще в vSphere 6.7, но была доступна только с помощью vSphere API,  а теперь она доступна в vSphere UI для тех, кто хочет использовать вложенную виртуализацию!

• What’s New with vSphere 8 Core Storage

NVMeoF vVols

Виртуальные тома vVols были основным направлением в разработке систем хранения VMware в течение последних нескольких релизов, и в vSphere 8.0 это не изменилось. Самым крупным анонсом в подсистеме хранения vSphere 8.0 (core storage) является добавление поддержки vVols в NVMeoF. Первоначально будет поддерживаться только FC, но в дальнейшем будут проверять и поддерживать другие протоколы, поддерживаемые vSphere NVMeoF. Это новая спецификация vVols Spec, фреймворк VASA/VC – VASA 4.0/vVols 3.0.

Причина добавления поддержки vVols в NVMeoF заключается в том, что многие поставщики массивов и вся отрасль переходят к использованию или, по крайней мере, добавлению поддержки NVMeoF для повышения производительности и пропускной способности. Таким образом, VMware следит за тем, чтобы технология vVols оставалась актуальной для новейших технологий хранения данных.

Еще одним преимуществом NVMeoF vVols является настройка. При развертывании, после регистрации VASA, базовая настройка выполняется в фоновом режиме, необходимо только создать хранилище данных. Виртуальные конечные точки протокола (vPE) и соединения обрабатываются VASA, что упрощает настройку.

Группа ANA (асимметричный доступ к пространству имен)

В NVMeoF реализация vVols немного отличается. В традиционных vVols на базе SCSI контейнер хранения (Storage Container) представляет собой логическую группировку самих объектов vVol. В NVMeoF это будет зависеть от того, как это реализует производитель массива. Но в целом, в массиве группа ANA – это группировка пространств имен vVol. Массив определяет количество групп ANA, каждая из которых имеет уникальный ANAGRPID в подсистеме NVM. Пространства имен выделяются и становятся активными только по BIND-запросу к поставщику VASA (VP,  VASA Provider). Пространства имен также добавляются в группу ANA по BIND-запросу к VP. Пространство имен остается выделенным/активным до тех пор, пока последний хост не разблокирует vVol.

vPE (virtual Protocol Endpoint, виртуальная конечная точка протокола)

В традиционных vVol, основанных на SCSI, конечная точка протокола (Protocol Endpoint, PE) представляет собой физический LUN или том на массиве и отображается на устройствах хранения на хостах. С NVMEoF vVols физического представления PE не существует, PE теперь является логическим объектным представлением группы ANA, в которой находятся vVols. Фактически, пока ВМ не включена, vPE не существует. Массив принимает решение о количестве групп ANA, каждая из которых имеет уникальный ANAGRPID в подсистеме NVM. После включения ВМ создается vPE, чтобы хост мог получить доступ к vVol в группе ANA. На схеме видно, что vPE указывает на группу ANA на массиве.

NS (namespace, пространство имен, эквивалент LUN для NVMe)

Каждый тип vVol (Config, Swap, Data, Mem), созданный и используемый ВМ, создает NS, который находится в группе ANA. Соотношение vVol и NS составляет 1:1. Это позволяет производителям легко масштабировать объекты vVol. Обычно производители поддерживают тысячи и даже сотни тысяч NS. Пределы NS зависят от производителя массива.

Здесь на диаграмме видно, что сама виртуальная машина является NS, это Config vVol, а диск – это другой NS, vVol с данными.

Усовершенствования NVMeoF

Поддержка 256 пространств имен и 2K путей с NVMe-TCP и NVMe-FC

NVMe over Fabrics (NVMeoF, NVMe поверх фабрики) продолжает набирать популярность по очевидным причинам. Более высокая производительность и пропускная способность по сравнению с традиционным подключением SCSI или NFS. Многие партнеры по хранению данных также переходят на массивы NVMe, а использование SCSI для доступа к флэш-памяти NVMe является узким местом для потенциального выигрыша.

• Постоянно добавляя функции и улучшения, VMware увеличила количество поддерживаемых пространств имен и путей для NVMe-FC и TCP.

Расширение поддержки резервирования для устройств NVMe

Поддержка команд резервирования NVMe для таких решений, как WSFC. Это позволит клиентам использовать возможности Clustered VMDK для использования в Microsoft WSFC с хранилищами NVMeoF Datastores. В релизе vSphere 8 поддерживается только FC-фабрика.

Поддержка службы автоматического обнаружения NVMe Discovery Service в ESXi

• Расширенная поддержка NVMe-oF Discovery Service в ESXi обеспечивает динамическое обнаружение совместимой со стандартами NVMe Discovery Service.
• ESXi использует службу mDNS/DNS-SD для получения информации, такой как IP-адрес и номер порта активных служб обнаружения NVMe-oF в сети.

ESXi отправляет многоадресный запрос DNS (multicast mDNS), запрашивая информацию у сущностей, предоставляющих (NVMe) службу обнаружения  (DNS-SD). Если такая сущность активна в сети (на которой был отправлен запрос), она отправит (одноадресный, unicast) ответ хосту с запрашиваемой информацией – IP-адресом и номером порта, на котором запущена служба.

vVols

Улучшения в системе VM Swap

• Улучшена производительность включения/выключения питания
• Улучшена производительность vMotion

Изменения в способе предоставления/уничтожения свопа vVols помогли улучшить включение/выключение питания, а также производительность vMotion и svMotion.

Настройка vVol для сохранения привязки

• Помогает сократить время запроса при поиске информации о ВМ.
• Кэширование различных атрибутов vVol размер, имя и т.д.

Конфигурационный vVol (config-vvol)- это место, где хранятся домашние данные ВМ (vmx, nvrams, журналы и т.д.) и обычно к нему обращаются только при загрузке или изменении. Ранее мы делали так называемое “ленивое отвязывание” и отвязывали config-vvol, когда он не использовался. В некоторых случаях некоторые приложения периодически обращались к config-vvol, и требовалась новая операция привязки. Сохранение привязки config-vvol уменьшает задержки при доступе к домашним данным ВМ.

Улучшение рекультивации пространства Unmap

Снижение минимальной скорости рекультивации(Reclamation) до 10MBPS

Начиная с vSphere 6.7 мы добавили функцию, позволяющую настраивать скорость операции unmap (возвращение удалённых блоков данных в тонкий диск/LUN)  на уровне хранилища данных. Благодаря этому усовершенствованию клиенты могут изменять скорость операции unmap, наиболее подходящую для возможностей их массива и рекомендаций производителя. Повышение скорости операции unmap помогло многим поставщикам массивов быстро освободить пространство. Но мы слышали от некоторых клиентов, что даже при самой низкой скорости рекультивации 25 МБ/с эта скорость может нарушить работу массива, когда несколько узлов одновременно отправляют команды unmap. Сбои могут увеличиваться при увеличении количества хостов на одно хранилище данных.

Пример потенциальной перегрузки: 25 МБ/с * 100 хранилищ данных * 40 хостов ~ 104 ГБ/с.

Чтобы помочь клиентам в ситуациях, когда скорость рекультивации 25 МБ/с может привести к сбоям, мы снизили минимальную скорость до 10 МБ/с, настраиваемую для каждого хранилища данных.

Это позволяет клиентам уменьшить потенциальное воздействие многочисленных команд unmap, отправляемых на одно хранилище данных. При необходимости вы также можете полностью отключить рекультивацию пространства для данного хранилища данных.

Выделенная очередь рекультивации по расписанию

Выделенная очередь рекультивации по расписанию позволяет отделить высокоприоритетные запросы метаданных VMFS и обслуживать их из отдельных schedQueues, чтобы предотвратить их истощение после команд UNMAP.

Контейнерное хранилище CNS/CSI

VMFS и vSANDirect Disk Provisioning Storage Policy

Доступен выбор EZT, LZT или Thin provisioning через SPBM-политику для CNS/Tanzu.

Цель – добавить возможность SPBM для поддержки создания/изменения правил политики хранения для указания вариантов распределения томов. Это также облегчит проверку соответствия в SPBM правил распределения томов в политике хранения.

• Для виртуальных дисков поддерживаются следующие операции: создание, изменение конфигурации, клонирование и перемещение.
• Для FCD поддерживаются следующие операции: создание, обновление политики хранения, клонирование и перемещение.

Использование правил инициализации SPBM для создания томов и поддержка проверок соответствия.

Усовершенствования NFS

Инженеры VMware постоянно работают над повышением отказоустойчивости хранилищ. В vSphere 8 добавили усовершенствования NFS, повышающие отказоустойчивость с помощью служб, проверок и подтверждения разрешений.

• Повторное монтирование NFS при сбое
• Проверка монтирования NFS

В гугле меня не забанили, поэтому быстренько была найдена ссылка по запуску  контейнера за пару минут.

Я взял оттуда команду для запуска контейнера:

docker run -d --name sonarqube -e SONAR_ES_BOOTSTRAP_CHECKS_DISABLE=true -p 9000:9000 sonarqube:latest

Запустил контейнер, сменил пароль пользователя admin, зарегистрировал Gitlab и добавил репозиторий с кодом в качестве проекта.

Затем я остановил контейнер:

docker stop sonarqube

Когда мне снова потребовался контейнер SonarQube, я запустил его командой

docker start sonarqube

Каково же было мое удивление, когда контейнер запустился со всеми изменениями (пароль администратора и прочее).

Хочу воспользоваться подсказкой “Помощь зала”: как вы считаете, уважаемые читатели – почему контейнер после перезапуска сохранил свое состояние?

Disclaimer:  статья основана на следующих источниках:

• VMware vSAN 8 – What’s New? Technical Deep Dive
  
• vSAN 8 – What’s New
• Announcing vSAN 8
• Deconstructing vSAN – A Deep Dive into the Internals of vSAN
• Get to Know the Next-Generation of vSAN Architecture
• vSAN Frequently Asked Questions (FAQ) Express Storage Architecture (ESA)
• Comparing the Original Storage Architecture to the vSAN 8 Express Storage Architecture

Архитектура vSAN Express Storage Architecture (ESA)

Это опциональная альтернативная архитектура, которая фактически доступна параллельно с традиционной архитектурой хранения vSAN 8, которую мы все знали по предыдущим версиям vSAN. Она раскрывает возможности современного оборудования. Используя современное оборудование и аппаратные архитектуры, основанные на готовых конфигурациях узлов vSAN, vSAN 8 ESA обеспечивает превосходный уровень производительности, масштабируемости, отказоустойчивости и возможностей сервисов данных. При выполнении всех этих задач производительность не снижается ни на йоту.Новая архитектура хранения vSAN 8 Express

Сравнение архитектуры vSAN Express Storage Architecture (ESA) в vSAN 8 с традиционной архитектурой vSAN

Давайте сравним традиционную архитектуру vSAN с новой vSAN Express Storage Architecture.

Обратите внимание на следующие характеристики:

Архитектура традиционного хранилища vSAN

• Выделенные устройства кэша и емкости
• Поддерживает широкий спектр устройств хранения данных, включая давно присутствующие на рынке
• Использует концепцию дисковых групп для обеспечения производительности с помощью кэширования и емкостных дисков

Расширенная vSAN ESA

• Гибкая архитектура с использованием одного уровня в vSAN 8.
• Это оптимизированное решение для высокопроизводительных флэш-устройств на базе NVMe с флэш-памятью TLC
• Отсутствие дисковых групп – в новой архитектуре vSAN все устройства вносят вклад в кэширование и емкость хранилища

Как организациям использовать новую экспресс-архитектуру?

• Использовать готовые узлы с поддерживаемым оборудованием (vSAN ESA Ready)
• Иметь лицензии vSAN Advanced или Enterprise
• Мигрировать виртуальные машины в новый кластер, поддерживающий vSAN ESA.

VMware рекомендует организациям переходить на vSAN 8 независимо от того, переходят ли они на vSAN ESA с самого начала. Несмотря на то, что vSAN ESA представляет максимальную производительность, которая может быть достигнута с помощью решения vSAN HCI и современного оборудования, клиенты, переходящие на vSAN 8, даже с традиционной архитектурой хранения vSAN, получат множество преимуществ для своей среды vSAN HCI.

Что собой представляет vSAN ESA?

Новая архитектура vSAN Express – это современный способ обработки и хранения данных, обеспечивающий новый быстрый и эффективный путь передачи данных в сочетании с эффективной структурой данных. Обратите внимание на следующие преимущества и особенности:

• она хорошо адаптируется к современному оборудованию
• она эффективно хранит данные и отвечает необходимым требованиям к производительности
• она обеспечивает большую отказоустойчивость
• он обеспечивает новые масштабируемые, высокопроизводительные моментальные снимки с помощью нового механизма
• упрощается администрирование и обслуживание.

Полностью ли VMware переписала vSAN для создания новой архитектуры vSAN  ESA? Нет, она была построена на той же платформе vSAN, которую мы знаем традиционно. Однако использование надежной архитектуры, которой уже является vSAN, позволило внести эти значительные усовершенствования.

Новая журналируемая файловая система vSAN LFS

Компания VMware представила запатентованную файловую систему, которую она называет  Log-structured file system (vSAN LFS). Это новая файловая система, специально разработанная для очень быстрого и эффективного ввода записей для использования на флэш-устройствах. Она позволяет сократить вычислительные и сетевые ресурсы, необходимые для реализации решения vSAN 8. Обратите внимание на особенности:

• уменьшает эффект усиления ввода-вывода (I/O amplification)
• обеспечивает низкие накладные расходы
• совместима с будущими типами устройств

Оптимизированная структура данных

Следующая часть архитектуры – оптимизированная структура данных и механизм ввода-вывода. Он позволяет хранить данные быстро и эффективно. В сочетании с новой журналируемой файловой системой LFS это позволяет vSAN хранить данные надежно и эффективно.

Опять же, это не переписывание vSAN, а скорее запатентованные усовершенствования, которые предлагают новые возможности, включая встроенные моментальные снимки.

vSAN LFS

LFS – это новый уровень, который быстро и эффективно принимает новые данные. Она подготавливает данные для сохранения оптимизированным, эффективным с точки зрения пространства способом, что приводит к снижению эффекта усиления ввода-вывода, минимизации износа устройств, сразу хранит сжатыми данные и т.д.

Она позволяет записывать множество небольших записей, объединять их и эффективно записывать большой блок. Он сжимается, комбинируется, упаковывается с метаданными, записывается в постоянный журнал и записывается в так называемую ногу производительности (performance leg, может, это “плечо” или “колено”?), немедленно возвращая подтверждение записи в виртуальную машину. Это позволяет поддерживать низкую задержку.

По мере накопления данных в постоянном журнале полезная нагрузка из предыдущих записей журнала записывается на ногу производительности с использованием избыточного кодирования RAID 6. Метаданные отправляются в журнал метаданных, сохраняя его доступным. Когда он заполняется, он сохраняется в структуре B-дерева на ноге емкости. Новая LFS позволяет обеспечить эффективность RAID6 при производительности RAID1.

Новый менеджер объектов журнала в vSAN ESA (LSOM)

Как вы можете себе представить, обеспечение высочайшего уровня производительности с помощью устройства NVMe потребовало нескольких усовершенствований. Они должны произойти на самом нижнем уровне стека – в Log Structured Object Manager (менеджер/диспетчер объектов журнала).

Он построен на базе высокопроизводительного блочного механизма и хранилища ключевых значений. Он обеспечивает большую полезную нагрузку при записи, минимизируя накладные расходы на запись метаданных. Это очень важно для того, чтобы позволить верхним уровням vSAN отправлять данные на устройства без конфликтов (contention).

Также убирается концепция дисковых групп. Это устраняет домен отказа и делает добавление, удаление и обслуживание хранилища после отказа намного проще и эффективнее.

Новый формат объектов для компонентов производительности и емкости

vSAN ESA хранит и распределяет данные несколько иначе, чем при использовании традиционной архитектуры vSAN. Она использует две “ноги” для хранения данных. Они содержатся в одном объекте и используют один и тот же базовый менеджер распределенных объектов.

Две ноги vSAN ESA

• Нога производительности
  • Быстро загружает записи
  • Подготавливает данные для эффективной записи полного страйпа (stripe)
  • Всегда является зеркальным RAID-1
  • FTT зеркала равен предписанной политике хранения
  • Находится на тех же хостах, что и компоненты ноги емкости
• Нога емкости
  • Объединенные данные записываются как эффективная запись полного страйпа
  • Отражает предписанную политику хранения (RAID-5, RAID-6 и т.д.)

Снова используется один и тот же уровень хранения без дисковых групп.

Новый формат объектов для компонентов емкости производительности в vSAN 8

Архитектура и возможности vSAN ESA с использованием современного оборудования

Архитектура vSAN ESA – это не просто набор усовершенствований, представленных в vSAN 8. Компания VMware сделала шаг назад и рассмотрела возможности более эффективной обработки данных в стеке в целом.

Службы данных были перенесены на самый верх стека vSAN, чтобы устранить часть переключения контекста и ресурсов, необходимых в предыдущих версиях vSAN. Теперь данные сжимаются и шифруются на самом верхнем уровне, чтобы минимизировать амплификацию процессов. Система использует преимущества новой журналируемой файловой системы, принимая небольшие операции ввода-вывода и записывая их как один большой ввод-вывод. Эта комбинация делает архитектуру хранения vSAN ESA действительно превосходной.

Одноуровневое хранилище вместо двух ранее существовавших уровней

Новая архитектура vSAN ESA оптимизирована для современного оборудования. Она была перепроектирована для современных устройств хранения данных, и это означает, что все используемые устройства будут вносить вклад как в емкость, так и в производительность (кэширование) кластера vSAN.

Новая одноуровневая система хранения вместо двухуровневой архитектуры в vSAN 8

Администратор просто заявляет устройства и создает единый пул хранения для каждого узла, выделяя его ресурсы на ресурсы хранения кластера. Это упрощает администрирование кластера vSAN и приводит к улучшению обслуживания, простоте работы пользователей и доступности устройств хранения.

Эффективное кодирование RAID-5/6 при производительности RAID-1

Администраторы теперь могут использовать RAID 6 для повышения уровня отказоустойчивости. Новая архитектура ESA обеспечивает наилучшую емкость и производительность.  Администраторы могут использовать RAID-6 для повышения отказоустойчивости и экономии места и при этом достигать производительности RAID-1.

Адаптивный RAID-5 для обеспечения условий кластера

VMware представила новый адаптивный RAID-5 с избыточным кодированием, который обеспечивает гораздо большую интеллектуальность и эффективность по сравнению с предыдущими версиями vSAN.

При выборе избыточного кодирования RAID-5 ESA смотрит на количество хостов. Она решает, какую из двух политик избыточного кодирования использовать для размещения данных в кластере vSAN 8. Новая схема размещения RAID-5 4+1 распределяет данные и четность по 5 хостам. Она используется в кластерах с 6 и более хостами.

Новое интеллектуальное избыточное кодирование RAID 5 в vSAN 8

Новая схема размещения данных 2+1 RAID-5 распределяет данные с четностью по 3 хостам. Если количество хостов в кластере на некоторое время уменьшится до 6, то ESA автоматически перестроится на новую схему 2+1, чтобы сохранить отказоустойчивость с одним запасным хостом в соответствии с количеством оставшихся хостов для защиты от последующих сбоев.

Поскольку эта схема обеспечивает такую же производительность при использовании избыточного кодирования, как и политика зеркалирования RAID-1, то клиенты могут по умолчанию выбрать эту настройку для более эффективного уровня с повышенной отказоустойчивостью, которая адаптируется к кластеру.

Улучшенная эффективность использования пространства в небольших кластерах:

• схема 4+1 использует 1,25-кратную емкость для отказоустойчивого хранения данных
• Схема 2+1 использует 1,5-кратную емкость для хранения отказоустойчивых данных.

Автоматически настраивает схему RAID-5 в соответствии с размером кластера:

• Схема 4+1 – используется с 6 и более хостами
• Схема 2+1 – используется с 3-5 хостами

Новые усовершенствования в сжатии данных на основе политик хранения

В vSAN 8 компания VMware изменила принцип работы сжатия vSAN в Express Storage Architecture. Применены новые технологии, позволяющие улучшить сокращение данных при использовании функции сжатия до коэффициента сжатия 8 к 1. Это происходит для каждого записанного блока размером 4K, что является улучшением в 4 раза.

Это происходит на верхних уровнях стека vSAN 8, когда он получает входящие записи, что снижает утилизацию ЦПУ на сжатие и уменьшает сетевой трафик. Трафик реплики всегда сжимается и это поведение включено по умолчанию. Однако его можно отключить для каждой ВМ или каждого VMDK с помощью политик хранения.

Улучшения в сжатии данных в vSAN 8

Шифрование на основе кластера с помощью vSAN ESA

В vSAN ESA используется новый подход к шифрованию. Оно по-прежнему является функцией для каждого кластера. Теперь оно происходит на верхних уровнях стека хранения в архитектуре vSAN 8, как и новая функция сжатия. Шифрование происходит после сжатия.

Усовершенствования шифрования в vSAN 8

Это означает, что весь трафик vSAN между хостами также будет шифроваться, что обеспечивает лучшую безопасность и меньшее влияние на производительность.

Улучшение доступности и обслуживаемости

Развертывание и эксплуатация vSAN 8 станет проще и гибче. Новые политики хранения станут более отказоустойчивыми, размещение данных будет более эффективном будет использовать место без ущерба для производительности. В ESA исключены дисковые группы, уменьшены домены отказов, что приводит к меньшим последствиям при возникновении сбоев. Это способствует повышению работоспособности решения.

Повышение доступности и удобства обслуживания в vSAN 8

Дополнительные проверки обеспечивают работу на сертифицированном оборудовании, что упрощает процесс администрирования vSAN 8.

Адаптивное формирование сетевого трафика для ресинхронизации

Благодаря эффективности использования ёмкости ESA, хранилище может обрабатываться с более высокой скоростью. Это может привести к тому, что сеть станет узким местом при выполнении высокопроизводительных рабочих нагрузок.

Адаптивное формирование сетевого трафика в vSAN 8

Архитектура Express Storage Architecture в vSAN 8 включает функцию адаптивного формирования трафика, помогающую гарантировать, что при возникновении сетевой нагрузки vSAN 8 будет отдавать приоритет трафику виртуальных машин, а не активности ресинхронизации, чтобы предотвратить насыщение сетевого канала.

Новые нативные снимки vSAN!

Уже довольно долгое время мы ждем более эффективных механизмов моментальных снимков для vSAN. Теперь это стало возможным  – VMware vSAN 8 может управлять базовыми данными новыми, более эффективными способами.

Новый встроенный механизм моментальных снимков отличается высокой масштабируемостью и эффективностью. Администраторы виртуальных машин теперь могут создавать состояния данных “точка-во-времени” (point-in-time) с минимальным снижением производительности виртуальной машины, независимо от того, сколько снимков существует на виртуальной машине.

Высокопроизводительные собственные моментальные снимки в vSAN 8

Продолжается поддержка традиционной функциональности резервного копирования VADP, которая позволит широкому сообществу партнеров по резервному копированию использовать новую функциональность резервного копирования vSAN 8 как часть резервного копирования.

Это основополагающая часть новой vSAN 8, которая позволит более оперативно работать с данными и, несомненно, представит новые сценарии использования.

vSAN Proactive Insights

Одной из сильных сторон решения VMware vSAN является проактивная информация о состоянии здоровья, которую оно предоставляет администраторам. Это позволяет vSAN стать бесшовным, проактивным и простым в использовании решением HCI, обеспечивающим множество преимуществ.

vSan Procative Insights

В прошлых версиях vSAN в рамках программы улучшения клиентского опыта проводились проверки здоровья с подключением к облаку. Не все среды могут участвовать в CEIP. Благодаря возможностям vSAN Proactive Insights клиенты, у которых vCenter Server подключен к Интернету, но которые не зарегистрированы в CEIP, получают самые последние проверки здоровья с подключением к облаку.

Увеличение максимальной емкости устройств в уровне кэша/буфера для оригинальной архитектуры

До сих пор мы концентрировались на новой архитектуре Express Storage Architecture. Однако в оригинальной архитектуре имеются значительные улучшения, включая увеличение максимальной емкости устройств в ярусе кэш-памяти/буфера.

Улучшения оригинальной архитектуры в vSAN 8

Обратите внимание на следующее:

• Ограничение емкости логического буфера увеличено с 600 ГБ до 1,6 ТБ на дисковую группу.
• Увеличение объема операций записи при серийном выполнении.
• Улучшает согласованность производительности для сред с большими рабочими наборами.
• Снижает нагрузку ввода-вывода на уровень емкости.
• Применимо к конфигурациям на только флеш-накопителях vSAN OSA (Original Storage Architecture) .

Подведение итогов

Новый выпуск VMware vSAN 8 представляет собой новый мощный релиз VMware vSAN, который превосходит даже ту высокую производительность, которую мы наблюдали в предыдущих выпусках vSAN, включая vSAN 7.0 Update 3. Новая современная архитектура Express Storage Architecture, отходящая от устаревшей технологии дисковых групп, станет отличной новой архитектурой, позволяющей предприятиям использовать преимущества современного оборудования и возможностей хранения данных. Она поможет упростить конфигурацию хранилища и предложит множество новых функций, о которых говорилось выше в vSAN 8. Однако VMware не обошла стороной и оригинальную архитектуру в плане улучшений. Даже для клиентов, которые будут придерживаться оригинальной архитектуры, будет улучшена производительность, емкость и эффективность использования пространства. Новая архитектура Express Storage Architecture – это, безусловно, путь вперед для систем хранения vSAN.