NVIDIA A100 80Gb Tensor Core GPU – это флагманский серверный графический ускоритель, созданный на основе новой архитектуры NVIDIA Ampere – которая, в свою очередь, использует тензорные ядра нового поколения.
В первую очередь ускоритель предназначен для акселерации задач, связанных с глубинным машинным обучением, работы обученных моделей глубинного машинного обучения (DL) в продуктивном режиме (инференс), высокопроизводительных научных вычислений (HPC) и виртуализированных корпоративных нагрузок широкого спектра.
Акселератор гарантирует повышение производительности инференса ИИ до 249 раз в соотношении с вычислениями, производимыми на серверном процессоре.
При анализе данных рост производительности по сравнению с процессорными вычислениями оценивается в 83 раза.
Подобный рост производительности фиксируется и для других типов нагрузки.
Карта оснащена 6912 потоковыми (CUDA) процессорами и 432 тензорными ядрами. Объем памяти составляет 80 Гб при рекордной пропускной способности памяти 1935 Гбит/сек.
Nvidia A100 поддерживает фреймворки OpenCL и CUDA.
Характеристики:
- Специализация: Серверные приложения требующие высочайшей производительности
- Процессор: GA 100
- Количество потоковых(CUDA) процессоров (shading units): 6912
- Количество блоков текстурирования (TMU): 432
- Количество блоков растеризации (ROP): 160
- Количество тензорных ядер: 432
- Потоковые мультипроцессоры (SM count): 108
Ядра аппаратной трассировки лучей (RT)
- Размер памяти, Гб: 80
- Тип памяти: HBM2e
- ECC: Да
- Пропускная способность памяти, Гбит/c: 1935
Производительность
- FP64, TFLOPS: 9,7
- Тензорные ядра для FP64, TFLOPS: 19,5
- FP32, TFLOPS: 19,5
- Тензорные ядра для FP32, TFLOPS: 156
- Тензорные ядра для FP32 при использовании h structural sparsity, TFLOPS: 312
- Тензорные ядра для BFLOAT16, TFLOPS: 312
- Тензорные ядра для BFLOAT16 при использовании h structural sparsity, TFLOPS: 624
- Тензорные ядра для FP16, TFLOPS: 312
- Тензорные ядра для FP16 при использовании h structural sparsity, TFLOPS: 624
- Тензорные ядра для INT8, TOPS: 624
- Тензорные ядра для INT8 при использовании h structural sparsity, TOPS: 1248
- Тензорные ядра для INT4, TOPS: 1248
- Тензорные ядра для INT4 при использовании h structural sparsity, TOPS: 2496
RT ядра, TFLOPS
- Поддержка NVIDIA NVLink™: Да/объединяются две карты
- Multi-Instance GPU (MIG): Да/До 7-и инстансов
Аппаратные декодеры
NEBS Ready
- Поддержка CUDA Toolkit: Да
- Поддержка OpenCL: Да
- Поддержка DirectX: Нет
- Поддержка OpenGL: Нет
- Поддержка Vulkan: Нет
- Поддержка виртуализации: NVIDIA AI Enterprise для Vmware/NVIDIA Virtual Compute Server
- Тип PCI: PCIe Gen 4, x16
- Форм-фактор: Карта полной высоты/полной длинны, двойной ширины (FHFL)
- Максимальная потребляемая мощность, Вт: 400
- Разъем питания: 8-pin CPU
- Охлаждение: Пассивное
- Внешние порты: нет