Какой GPU лучше всего подходит для обучения ИИ в 2020 году?

NVIDIA специально разработала ядра смешанной точности, такие как Tensor Core, в новых микроархитектурах для оптимизации матричных операций при глубоком обучении, поэтому GPU с Tensor Core - лучший выбор для обучения ИИ.

Хорошо известно, что современные модели глубокого обучения занимают огромный объем видеопамяти, и многие GPU, которые раньше считались мощными с точки зрения производительности, теперь могут испытывать нехватку памяти. В статье рассматривается, какие GPU могут обучать модели без ошибок в памяти и какие видеокарты лучше подходят для ПК и небольших рабочих станций. Основной вывод статьи заключается в том, что объем видеопамяти имеет значение. Да, объем видеопамяти сдерживает обучение многих моделей глубокого обучения.

Из-за стремительного развития технологий глубокого обучения старые времена 12 Гбайт оперативной памяти ушли в прошлое, и в феврале 2020 года для обучения лучших в отрасли моделей вам придется потратить не менее 2500 долларов на одну из новейших Titan RTX от NVIDIA, а к концу этого года даже невозможно представить, как это будет выглядеть.

Потребительский
Для индивидуального пользователя предпочтительным выбором является серия GeForce от NVIDIA потребительского уровня. Более экономичными вариантами являются:

GeForce RTX 2080 Ti: 1200 долларов, 11 Гбайт видеопамяти, микроархитектура Turing (поддержка Tensor Core)
Titan RTX: 2500 долл., 24 Гбайт видеопамяти, микроархитектура Turing (поддержка Tensor Core).
Важно отметить, что эти потребительские видеокарты не очень хорошо поддерживают мультикарточный параллелизм, по умолчанию они не поддерживают прямую связь между несколькими картами, если мы хотим, чтобы карта 1 и карта 2 общались друг с другом, данные будут копироваться из видеопамяти карты 1 обратно в основную память через шину PIC-E, а затем из основной памяти в память карты 2 через PCI-E, что, очевидно, является очень большой потерей времени и не способствует связи между несколькими картами. 2080 Ti и Titan RTX не обладают хорошей поддержкой P2P (Peer-to-Peer) связи по линиям PCI-E между несколькими картами, но это не означает, что они не поддерживают NVLink, который доступен пользователям, приобретающим мост NVLink для создания линии связи между несколькими картами. Некоторые утверждают, что данная проблема является конструктивным недостатком обоих GPU, в то время как другие считают, что NVIDIA намеренно пошла на это, чтобы заставить людей с потребностями в параллельных вычислениях на нескольких картах покупать GPU серии Telsa.

Enterprise
Графические процессоры для центров обработки данных стоят дороже и подходят для корпоративных пользователей, они обладают более высокой видеопамятью и лучше поддерживают многокарточный параллелизм.

Quadro RTX 6000: 4000 долл., 24 Гбайт видеопамяти, микроархитектура Turing (поддерживает Tensor Core)
Quadro RTX 8000: 5500 долл. США, 48 Гбайт видеопамяти, микроархитектура Тьюринга (поддержка Tensor Core).
Telsa V100: 16 или 32 ГБ видеопамяти в двух вариантах, PCI-E и NVLink, микроархитектура Volta (поддержка Tensor Core)
Telsa V100S: 32 Гбайт видеопамяти, шина PCI-E, микроархитектура Volta (поддержка Tensor Core)
Корпоративные графические процессоры обычно подключаются к серверам или рабочим станциям, которые сами по себе недешевы, особенно если учесть, что стоимость серверов с поддержкой платформы Telsa составляет 100 тыс. долл. Конечно, здесь не учитываются такие затраты, как строительство серверных комнат и электроэнергия.

В мае 2020 года на GTC 2020 NVIDIA выпустила новое поколение микроархитектуры Ampere, а также видеокарту Telsa A100. Способность видеокарты A100 к обучению и рассуждениям в области искусственного интеллекта стала сильнее, а один A100 может быть разделен на семь независимых GPU для решения различных вычислительных задач.

Тем, кто имеет несколько карт для решения задач параллельного обучения, рекомендуется выбирать видеокарты серии Telsa с поддержкой NVLink.

Резюме
Для исследований в области глубокого обучения GeForce RTX 2080 Ti (11 ГБ), вероятно, является стартовым стандартом; Titan RTX (24 ГБ) - хороший вариант, обеспечивающий баланс между ценой, видеопамятью и вычислительной производительностью. Для корпоративных пользователей подойдут такие карты, как Quadro RTX 8000 (48 ГБ) и Telsa V100 (32 ГБ), для передовых исследователей в области глубокого обучения. Во второй половине 2020 года начнутся поставки новых вычислительных платформ NVIDIA, которые, с одной стороны, обеспечат повышение производительности, а с другой - снижение цен на существующие продукты.

Сейчас, когда физическое оборудование дорого, возможно, стоит обратить внимание на облачные GPU.