Русский
Русский
English
Статистика
Реклама

Amd epyc

Семь дней и один сервер как мы тестировали машины на базе AMD

26.11.2020 10:08:34 | Автор: admin

У нас был один сервер на базе нового процессора AMD, куча тестов, которые мы хотели прогнать, и неделя, чтобы проверить работу машины под реальной нагрузкой. Не то чтобы это был достаточный срок для близкого знакомства со свежей железкой, но когда постоянно тестируешь новинки и кастомизируешь сервисы, сложно остановиться.

Какие тесты мы все-таки успели прогнать, в каких задачах новичок переиграл нашу рабочую лошадку из флагманского пула, а где уступил рассказываем под катом.

Представляем испытуемых

Мы давно ждали возможности взять на тесты сервер с последним поколением процессоров AMD. Совсем недавно такая возможность нам представилась. Встречайте: Dell EMC PowerEdge R6515 на базе процессора AMD EPYC 7742.

Ключевые характеристики CPU:

  • 64 ядра;

  • 128 потоков;

  • базовая частота 2.25GHz;

  • максимальная частота на ядро (boost) до 3.4GHz;

  • L1 cache 4MiB;

  • L2 cache 32MiB;

  • L3 cache 256MiB.

Согласитесь, выглядит многообещающе. Недавно мы уже брали на тест серверы с процессорами от AMD прошлого поколения. Результат, увы, не впечатлил приблизительно на уровне Intel пятилетней давности.

А потом в интернете стали появляться восторженные статьи о новых CPU. Это разожгло в нас скепсис разговоров много, а объективных тестовых показателей ни у кого нет. Все писали, что стало больше производительности, сократилось энергопотребление. Что серверы Dell EMC PowerEdge на базе процессором AMD подойдут для работы с требовательными ресурсоемкими приложениями и облачными сервисами (они используют чипы AMD EPYC, имеющие от 8 до 64 ядер и поддерживают высокоскоростной интерфейс PCIe 4.0). Поэтому мы решили любой ценой заполучить свежие процессоры и прогнать на них хотя бы основной набор тестов. Поскольку мы занимаемся виртуализацией грубо говоря, отдаем заказчикам ядра нам было интересно, как CPU поведет себя под нагрузкой.

Сравнивать этот сервер мы будем с нашей текущей рабочей лошадкой Dell Poweredge R740 с двумя Intel Xeon Gold 6254 на борту. Мы активно используем эти серверы уже около года. Процессоры там отличные и подходят под любые задачи. Кроме, разве что, 1С. Здесь нужны более высокочастотные CPU. Для 1C используем Intel Xeon Gold 6244. Тут писали, как проводили на них тесты Гилёва.

Пул тестовых задач

Наша стандартная процедура тестирования проходит на двух уровнях:

  • серия тестов на самом сервере, глазами провайдера;

  • тестирование из виртуальных машин, размещенных на сервере глазами клиента.

К сожалению, процесс отладки сервера внутри нашей инфраструктуры отнял часть драгоценного времени, и мы успели осуществить только несколько sysbench-тестов. Тем не менее, результаты получились весьма любопытные.

Набор тестов

Тест

cmdline

sysbench, max prime, one core

taskset -c 0 sysbench --test=cpu --cpu-max-prime=20000 run

sysbench, max prime, all cores

sysbench --test=cpu --cpu-max-prime=100000 --num-threads=8 run

sysbench, oltp-mysql, i thread

sysbench --test=oltp --db-driver=mysql --mysql-db=test --mysql-user=root --mysql-socket=/var/lib/mysql/mysql.sock --mysql-table-engine=innodb --max-requests=0 --oltp-table-size=1000000 --max-time=300 --num-threads=$i run

Все тесты проводились на виртуальной машине с 8 vCPU и 32Gb RAM.

Результаты: стандартный пул КРОК

Для затравки посмотрим на цифры с референсного Dell EMC PowerEdge R740:

Тест

Результат

sysbench, max prime, one core

total time: 19.1545s

sysbench, max prime, all cores

total time: 22.1102s

sysbench, oltp-mysql, 1 thread

828.69 tr. per sec.

sysbench, oltp-mysql, 2 threads

1605.72 tr. per sec.

sysbench, oltp-mysql, 4 threads

2992.22 tr. per sec.

sysbench, oltp-mysql, 8 threads

5927.20 tr. per sec.

Результаты: сервер на базе AMD

Результаты тестируемого Dell R6515 c AMD EPYC 7742:

Тест

Результат

sysbench, max prime, one core

total time: 15.6657s

sysbench, max prime, all cores

total time: 18.9329s

sysbench, oltp-mysql, 1 thread

1023.46 tr. per sec.

sysbench, oltp-mysql, 2 threads

1709.39 tr. per sec.

sysbench, oltp-mysql, 4 threads

3231.34 tr. per sec.

sysbench, oltp-mysql, 8 threads

4533.65 tr. per sec.

Как видно из результатов, виртуальная машина на R6515 показала себя лучше, чем на R740, кроме OLTP теста на 8 тредов здесь преимущество осталось за референсной машиной. Именно OLTP тестирование открыло небольшой подводный камушек: в 1, 2 и 4 тредах производительность отличная, а в 8 потоках процессор уже зарывается.

Почему так происходит, сказать пока сложно. Чтобы понять процессор и научиться с ним работать, одной недели явно недостаточно. Хотелось бы провести дополнительные тесты в различных вариациях: например, погонять ВМ с 4 ядрами в четыре потока. Это позволило бы понять особенности работы CPU.

Было бы очень интересно прогнать любимый всеми тест Гилёва и сравнить полученные результаты. Увы, время у нас было ограничено, поэтому тестировали самое основное.

Выводы

Давайте обсудим особенности каждого из наших испытуемых и попробуем подвести итог.

Сервер Dell EMC R6515 c AMD EPYC 7742 однозначно интересен. У него высокая плотность ядер на юнит, хорошая производительность и несколько меньшая стоимость по сравнению с Dell из нашего флагманского пула: выгода около 40% в расчете на vCPU и 20% с учетом фактической производительности (price/performance).

К минусам можно отнести высокое тепловыделение, но здесь всё зависит от системы кондиционирования в вашем ЦОДе.

На выходе получился мощный комбайн для больших объемных задач, способный без проблем переваривать серьезные аналитические расчеты, CRM-системы, базы данных или множество виртуальных машин. Если говорить о стоимости один этот процессор стоит дешевле, чем два Intelа из нашего стандартного пула. Да и сам сервер стоит дешевле используемого сейчас R740. На выходе получается более высокая производительность за меньшие деньги.

Мы с коллегами пришли к выводу, что процессор у AMD получился действительно хороший . Он отлично подойдет для реализации типовых сценариев. Возможно, AMD EPYC 7742 появятся в нашем облаке мы постоянно кастомизируем сервисы, поэтому такой зверек может оказаться очень кстати.

Разумеется, однозначно рекомендовать их мы не можем. Выбор железа основывается на задачах. Тестируйте разные варианты и выбирайте то, что лучше всего подойдет именно вам.

По традиции, ждем ваших комментариев. Если у вас остались какие-то вопросы будем рады ответить на них.

Подробнее..

Самый мощный сервер Supermicro в Москве на основе AMD Epyc

11.08.2020 10:19:42 | Автор: admin


Многие годы на рынке серверных процессоров и чипсетов безоговорочно правил Intel с его ксеонами, но в 2017 году AMD наконец составили им конкуренцию, выпустив первую линейку своих новых серверных процессоров EPYC. С тех пор позиция их только укрепилась, а модельный ряд пополнился новой версией эпиков. AMD поставляет свои современные процессоры многим известным компаниям, среди них Dropbox, Hetzner, Linode, ЦЕРН, OVHcloud, Scaleway, несколько университетов и организаций поменьше, включая дата-центры. Все хвалят платформы на EPYC и рекомендуют их для организации и масштабирования кластера высокопроизводительных серверов.


Когда начали поступать новости, о том что AMD начал делать процессоры, которые обходят по
производительности и по соотношению цена/качество процессоры Intel, мы начали задумываться об отдельной услуге на этой платформе. Выбор пал на Supermicro A+ Server 2124BT-HNTR. Сервер состоит из 4-х нод, каждая нода имеет следующую спецификацию:

  • Процессоры: 2x AMD EPYC 7742 64-Core Processor 2.25GHz;
  • Память: 16x64GB RAM 3200 MT/s;
  • NVMe-диски для кластера: 4x INTEL SSDPE2KE076T8;
  • Системный диск: 1x INTEL SSDSC2KB240G8;
  • Сетевой контроллер: AOC-MH25G-m2S2T.



Все характеристики




Подобного сервера в Москве и России не нашлось, нам пришлось заказывать его напрямую у
производителя. После ожидания, которое дополнилось некоторыми логистическими проблемами, связанными с COVID-19, сервер оказался у нас в начале июня.

Сборка


На первый взгляд нам показалось, что ничего особенно эпичного в сервере нет, поскольку мы имеем опыт работы с платформами по 12 нод для услуги Hi-CPU серверов. Эта же платформа представляет всего четыре независимых ноды, но мы ещё не понимали, какую мощь они дают в совокупности.



Тесты


После сборки нам, разумеется, захотелось нагрузить сервер, мы ведь имеем дело с монстром, в
сумме, у которого на 4-х нодах: 1024 ядра, 4TB ОЗУ:


Картинка кликабельная

Результаты тестов производительности произвели на нас впечатление. Качество сборки от инженеров Supermicro тоже порадовало.



Монтаж


Смонтировали в стойку и начали собирать кластер:



Кластер собран на этих 4-х нодах. В дальнейшем кластер может масштабироваться на подобном
оборудовании или на аналогичном от других вендоров. Публичная сеть кластера находится на
интерфейсах 25Gbps (SFP28), приватная сеть также 25Gbps (SFP28).

Доработка ПО


Основы и принципы, заложенные в программное обеспечение по управлению клиентскими услугами, позволили в короткие сроки доработать код для новой архитектуры, в середине июня услуга Эпичные серверы была запущена.

Преимущества для нас и клиентов


AMD EPYC позволяет создавать тарифы вплоть до ЭПИЧНХ 128 x 3.4 GHz CPU / 512 GB RAM / 4000 GB NVMe, чего никто не может предложить на платформе с процессорами от Intel. Кроме того мы используем Only NVMe сетевое хранилище с тройной репликацией данных.

За 2 месяца работы с данной платформой мы прочувствовали все её прелести клиентам можно предоставлять те же ресурсы, что и в случае с Intel, но за меньшие деньги. Одна нода с 2-мя CPU от AMD заменяет 10 нод с 2-мя CPU Intel Scalable Silver.



Ложка дегтя


Такой сервер очень дорогой стоимость около $ 150 000 и, естественно, покупался по полной предоплате, по сути мы покупали кота в мешке так как ранее не работали с серверами на AMD.

Второй момент, QEMU-KVM не позволяет на лету мигрировать виртуальные машины с AMD на Intel и обратно, но используя наш функционал резервных копий можно без потерь данных перейти из одного типа серверов на другой в любой момент.

Кластер показал для нас неведомые до этого показатели производительности, что естественно
стало влиять на температуру процессоров. Даже при нагрузке процессоров 30% на ноде, температура подбиралась к отметке 95 градусов. Мы несколько оптимизировали охлаждение в
стойке, но какого-то либо значительного результата это не дало. Тогда в виде теста сняли крышку на корпусе сервера:



Скачок температуры вниз составил более 10 градусов и не превышает 80 градусов, даже при
нагрузке более 70%, что более чем нас удовлетворяет. Также в планах поставить дополнительное охлаждение в стойку.

Итог


В результате, сервер более чем оправдал наши ожидания, процессор AMD EPYC 7742 кажется
нам неубиваемым в нагрузке. Схема, построенная на подобных решениях, будет дальше
масштабироваться, со временем планируем запустить эту услугу в Нидерландах. Нам понравилось работать с EPYC и надеемся, что и вам тоже понравится!



Подробнее..

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru