Компания HYPERPC проанализировала опыт российских компаний, связанный с интеграцией высокопроизводительных серверов в корпоративную ИТ-инфраструктуру и выявила четыре основные ошибки, совершаемые организациями. По мнению экспертов HYPERPC, в ТОП-4 наиболее распространенных ошибок входят: дисбаланс дисковой подсистемы и вычислителей, избыточная плотность ядер процессора при низкой частоте, недокомплект каналов памяти и ошибки при проектировании VRAM-памяти.

Ошибка, связанная с дисбалансом дисковой подсистемы и вычислителей, встречается довольно часто. При развертывании серверов под задачи машинного обучения и работы больших языковых моделей упор делается на массив дорогостоящих графических ускорителей. При этом, дисковую подсистему часто проектируют по остаточному принципу, комплектуя сервер стандартными накопителями устаревшего интерфейса SATA или накопителями потребительского класса. Такие действия приводят к негативным последствиям.

Вычислительная мощность современных графических чипов позволяет обрабатывать блоки данных за миллисекунды. Если дисковой массив не способен обеспечить адекватный уровень количества операций ввода-вывода, на операциях случайного чтения мелких блоков, графические процессоры уходят в глубокий простой ожидания данных.В реальных сценариях обучения моделей из-за медленного чтения дорогие ускорители простаивают до 70% времени. Инфраструктура стоимостью в десятки миллионов рублей фактически работает с эффективностью бюджетной рабочей станции.

Еще одна распространенная ошибка — «ядерная ловушка», которая характеризуется избыточной плотностью ядер при низкой частоте. Механический перенос потребительского опыта на серверный класс приводит к ложному выводу: «чем больше ядер на процессорном разъеме, тем выше общая производительность». Компании приобретают процессоры максимальной емкости (64, 96 или 128 ядер) с низкой базовой тактовой частотой в диапазоне 2.0-2.4 ГГц.

Технические последствия «ядерной ловушки» могут проявляться, в первую очередь, в реляционных базах данных и учетных системах. Данные архитектуры критически завязаны на производительность одного конкретного потока. Бизнес-логика выполнения транзакций не масштабируется параллельно по слабочастотным ядрам. В результате тяжелые базы данных работают медленнее, чем на старых платформах. Более того, коммерческое программное обеспечение лицензируется по количеству ядер. Компания не только получает деградацию производительности, но и сталкивается с кратными переплатами за лицензирование неиспользуемой мощности.

Помимо этого, последствия могут коснуться инфраструктуры искусственного интеллекта. Непосредственные математические вычисления выполняет графический чип, однако задачи предварительной подготовки, разбиения текста на элементы и изменения объема данных лежат на центральном процессоре. Низкочастотные ядра центрального процессора не успевают формировать и передавать потоки данных через системную шину. Для сбалансированной работы платформ искусственного интеллекта целесообразно использовать процессоры с умеренным количеством ядер (16-32 на разъем), но с высокой базовой частотой (от 3,5 ГГц).

Третья ошибка — недокомплект каналов памяти, вызывающая ограничение пропускной способности шины процессора — также совершается многими организациями. Приобретая современные процессоры с 8- или 12-канальными контроллерами памяти, системные интеграторы или сами компании заполняют лишь 2 или 4 слота модулями большого объема. Мотивацией обычно служит экономия бюджета на этапе закупки или создание абстрактного задела под модернизацию в будущем.

В результате подобных действий процессор физически лишается возможности использовать проектную ширину шины обмена данными. При работе в двух- или четырехканальном режиме вместо штатного многоканального режима реальная пропускная способность оперативной памяти падает в 3-6 раз. Флагманский вычислительный узел искусственно переводится на скорость работы офисного компьютера, сводя на нет инвестиции в дорогой процессор.

Особое внимание при проектировании ИИ-серверов следует уделять расчету объема видеопамяти (VRAM) ускорителей. Распространенной ошибкой становится установка GPU «впритык» под базовый вес выбираемой модели. В реальных сценариях модель не находится в памяти изолированно: при инференсе, генерации текста и обработке контекста критическую часть объема VRAM занимает KV-кэш, хранящий состояния предыдущих токенов. При работе с большими контекстными окнами или при высоком параллелизме запросов KV-кэш может разрастаться и легко забирать на себя от 20% до 30%+ от общего объема видеопамяти. Игнорирование этого фактора приводит к ошибкам нехватки памяти и переносу вычислений в медленную системную ОЗУ. Чтобы избежать катастрофического падения производительности, к физическому размеру модели необходимо всегда закладывать минимум 30% запаса VRAM на динамические нужды кэширования.

Эксперты HYPERPC выяснили, что 65-70% компаний сталкиваются с ограничением дискового ввода-вывода и простоем вычислителей при первом развертывании локальных систем искусственного интеллекта. 50-55% организаций допускают ошибки при расчете ядер под транзакционные нагрузки баз данных, что приводит к необоснованным затратам на программное обеспечение. 40-45% серверов вводятся в эксплуатацию с незаполненной архитектурной канальностью оперативной памяти.

С целью предотвращения подобных ошибок при внедрении высокопроизводительных серверов, эксперты HYPERPC рекомендуют компаниям обеспечить баланс дискового тракта, провести профилирование процессоров под конкретный тип нагрузки, а также соблюдать правила канальности оперативной памяти.

Источник: