Какой компьютер нужен для data science

Обновлено: 24.01.2025

В сфере Data Science мощное железо с серверным уровнем производительности – необходимый инструмент. Да и в перспективе собственные мощности обходятся куда дешевле, особенно учитывая необходимость постоянного хранения датасетов.

Выбор комплектующих

Большая часть фреймворков адаптируется под карты NVIDIA с их замечательными ядрами CUDA, которые пока никто заменить не смог. Что касается процессора, то выбор тут очевиден – Intel с максимальным количеством ядер и возможностью разгона. Так можно получить хорошую производительность в однопоточных и многопоточных вычислениях. К материнской плате также есть особые требования – это, желательно, 4 канала памяти (чтобы раскрыть потенциал процессора) и хорошее охлаждение на главных узлах питания.

Излишняя мощность не будет вам обузой. Вы всегда сможете предоставлять услуги для облачных вычислений другим специалистам, которые работают с машинным обучением. Все свободное время и даже в ваш отпуск компьютер будет приносить деньги. Хорошая система водяного охлаждения сделает работу бесшумной и позволит не прерывать процесс обучения 24/7.

Видеокарта

Производительность карты при машинном обучении напрямую зависит от скорости и объема памяти, а также от количества ядер CUDA. Такие платформы, как PyTorch, MXNet, TensorFlow, а также основанные на их принципах гибриды используют библиотеки для GPU ускорения, например, cuDNN, DALI и NCCL. Это помогает ускорить обучение с использованием одного или нескольких GPU.
В таблице – характеристики всех топовых решений от NVIDIA.

Quadro GV100

Это самый мощный графический ускоритель на данный момент, она разработана именно для обслуживания и обучения нейронных сетей. Главным преимуществом является память, ее объем и скорость доступа. Из недостатков можно выделить цену и отсутствие RT ядер.

Quadro RTX 8000

Топовое решение для инженеров, огромное количество памяти и прекрасная производительность. Недостаток – цена, не совсем оправданная для Data Science, так как вы переплатите за целый мешок технологий, созданных специально для работы с трехмерной графикой и инженерными программами.

Quadro RTX 6000, 5000, 4000

Три инженерных видеокарты с относительно высоким уровнем производительности. Цена все так же высокая. По сравнению с игровыми решениями, конечно.

TITAN RTX

Плавно подходим к оптимальным решениям для машинного обучения не инженерной направленности. По производительности эта карта сравнима с Quadro RTX 6000, но стоит в несколько раз дешевле. Причем использование двух и более TITAN RTX даст вам больше производительности, чем одна Quadro RTX 6000. Недостаток – отсутствие полноценной поддержки профессиональных драйверов и ПО от NVIDIA для инженерии и работы в трехмерной среде.

RTX 2080 Ti и 2080 SUPER

Топовые игровые видеокарты, которые оборудованы теми же аппаратными решениями, что и их профессиональные «коллеги», но драйвера больше заточены под игры. Хотя их совместимость с фреймворками не ставится под сомнение. Вывод: две RTX 2080 Ti мощнее, чем одна TITAN RTX, хотя стоимость такого решения также будет выше примерно на 1000$.

Процессор

Для машинного обучения необходимо много оперативной памяти. Чтобы ускорить доступ к ней, необходим процессор, который поддерживает четыре канала, а не 2, как в обычных пользовательских решениях. На данный момент среди не серверных решений на рынке есть прекрасный вариант – Intel Core i9. Много ядер, многопоточность, поддержка 4 каналов памяти, хорошая частота и возможность разгона.

Выбор конкретной модели – вопрос бюджета, чем больше ядер и частоты – тем лучше. Также стоит отметить, что желательно иметь возможность разгона для кратковременного увеличения мощности.

Оперативная память

Лучше всего использовать высокочастотную память DDR4, она не такая дорогая и даст вам хороший прирост мощности. 4 канала на процессоре – значит, 8 слотов на материнской плате. Минимум, который стоит ставить на компьютер для машинного обучения, – это 32 Gb, но чем больше – тем лучше. Лучше занять все слоты, чтобы обеспечить каждому ядру процессора максимально быстрый доступ к памяти. Максимально возможный объем памяти для i9 – 256 Gb.

SSD

Быстрый доступ к датасетам нужно обеспечить, чтобы работа накопителя не замедляла остальные элементы компьютера. Новые SSD m.2 дают возможность доступа к данным на скорости до 3,5 Gb в секунду. Не обязательно хранить на них всю информацию, можно поставить один SSD и расширить объем памяти дополнительным HDD. Причем необязательно ставить HDD в систему, можно подключить его к локальной сети, снабдив статичным IP адресом, и вы сможете получить к нему доступ с любого устройства, подключенного к интернету.

РЕШЕНИЯ ОТ HYPERPC

HYPERPC PRO T

HYPERPC PRO T – это серия рабочих станций, основанная на картах NVIDIA TITIAN RTX.

HYPERPC PRO T5 STUDIO – базовая модель линейки. Она работает на базе процессора Intel Core i9-10900X, это 10 ядер и 20 потоков на частоте 3700 МГц в штатном режиме и до 4700 МГц с функцией Turbo Boost. Материнская плата ASUS WS X299 PRO SE имеет 8 слотов памяти, которая работает в четырехканальном режиме. Стандартная сборка оборудована 64 Gb памяти (4х16Gb HyperX Predator RGB DDR4-3200), что позволяет оставить свободным 4 слота под будущий апгрейд. Тут установлено два накопителя – 1TB Samsung 970 EVO Plus и 4TB Seagate BarraCuda, а это быстрый доступ к данным и неограниченное пространство для хранения результатов вашей работы.

Выбор комплектующих

Видеокарта

Ядра CUDA	Ядра NVIDIA Tensor	Ядра NVIDIA RT	Количество памяти	Ширина шины памяти	Пропускная способность памяти	Производительность FP32
Quadro GV100	5120	640	нет	32GB HBM2	4096 бит	870,4 ГБ/с	14.8 TFLOPS
Quadro RTX 8000	4608	576	72	48GB GDDR6 с ECC	384 бит	624 ГБ/с	16.3 TFLOPS
Quadro RTX 6000	4608	576	72	24GB GDDR6	384 бит	624 ГБ/с	16.3 TFLOPS
Quadro RTX 5000	3072	384	48	16GB GDDR6	256 бит	448 ГБ/с	11.2 TFLOPS
Quadro RTX 4000	2304	288	36	8GB GDDR6	256 бит	416 ГБ/с	7.1 TFLOPS
NVIDIA TITAN RTX	4608	576	72	24GB GDDR6	384 бит	672 ГБ/с	16.3 TFLOPS
RTX 2080 Ti	4352	544	68	11GB GDDR6	352 бит	616 ГБ/с	13.5 TFLOPS
RTX 2080 SUPER	3072	384	48	8GB GDDR6	256 бит	496 ГБ/с	11.2 TFLOPS

Quadro GV100

Quadro RTX 8000

Quadro RTX 6000, 5000, 4000

TITAN RTX

RTX 2080 Ti и 2080 SUPER

Процессор

Оперативная память

Наши друзья из «Цеха» опубликовали пошаговую инструкцию для начинающих в сфере Data Science от Елены Герасимовой, руководителя направления «Аналитика и Data Science» в Нетологии. Делимся с вами.

О чём речь

Data Science — деятельность, связанная с анализом данных и поиском лучших решений на их основе. Раньше подобными задачами занимались специалисты по математике и статистике. Затем на помощь пришел искусственный интеллект, что позволило включить в методы анализа оптимизацию и информатику. Этот новый подход оказался намного эффективнее.

Как строится процесс? Всё начинается со сбора больших массивов структурированных и неструктурированных данных и их преобразования в удобный для восприятия формат. Дальше используется визуализация, работа со статистикой и аналитические методы — машинного и глубокого обучения, вероятностный анализ и прогнозные модели, нейронные сети и их применение для решения актуальных задач.

Пять главных терминов, которые нужно запомнить

Искусственный интеллект, машинное обучение, глубокое обучение и наука о данных — основные и самые популярные термины. Они близки, но не эквивалентны друг другу. На старте важно разобраться, чем они отличаются.

Искусственный интеллект (Artificial Intelligence) — область, посвящённая созданию интеллектуальных систем, работающих и действующих как люди. Её возникновение связано с появлением машин Алана Тьюринга в 1936 году. Несмотря на долгую историю развития, искусственный интеллект пока не способен полностью заменить человека в большинстве областей. А конкуренция ИИ с людьми в шахматах и шифрование данных — две стороны одной медали.

Машинное обучение (Machine learning) — создание инструмента для извлечения знаний из данных. Модели ML обучаются на данных самостоятельно или поэтапно: обучение с учителем на подготовленных человеком данных и без учителя — работа со стихийными, зашумленными данными.

Глубокое обучение (Deep learning) — создание многослойных нейронных сетей в областях, где требуется более продвинутый или быстрый анализ и традиционное машинное обучение не справляется. «Глубина» обеспечивается некоторым количеством скрытых слоев нейронов в сети, которые проводят математические вычисления.

Большие данные (Big Data) — работа с большим объёмом часто неструктурированных данных. Специфика сферы — это инструменты и системы, способные выдерживать высокие нагрузки.

Наука об анализе данных (Data Science) — в основе области лежит наделение смыслом массивов данных, визуализация, сбор идей и принятие решений на основе этих данных. Специалисты по анализу данных используют некоторые методы машинного обучения и Big Data: облачные вычисления, инструменты для создания виртуальной среды разработки и многое другое.

Где применяется Data Science

обнаружение аномалий, например, ненормальное поведение клиента, мошенничества;
персонализированный маркетинг — электронные рассылки, ретаргетинг, системы рекомендаций;
количественные прогнозы — показатели эффективности, качество рекламных кампаний и других мероприятий;
скоринговые системы — обработка больших объёмов данных, помощь в принятии решений, например, о предоставлении кредита;
базовое взаимодействие с клиентом — стандартные ответы в чатах, голосовые помощники, сортировка писем по папкам.

Пять основных этапов в работе с данными

Сбор. Поиск каналов, где можно собирать данные, и выбор методов их получения.

Проверка. Валидация, нивелирование аномалий, которые не влияют на результат и мешают дальнейшему анализу.

Анализ. Изучение данных, подтверждение предположений.

Визуализация. Представление информации в понятном для восприятия виде: графики, диаграммы.

Реакция. Принятие решений на основе данных. Например, изменение маркетинговой стратегии, увеличение бюджета компании.

Елена герасимова

Руководитель направления «Аналитика и Data Science» в Нетологии

Профессия

Data
Scientist

Узнать больше

Научитесь строить и обучать предиктивные модели с помощью алгоритмов машинного обучения и нейросетей
Сможете находить скрытые закономерности, прогнозировать развитие событий и оптимизировать ключевые бизнес-процессы

Образование. Шесть шагов на пути к Data Scientist

Путь к этой профессии труден: невозможно овладеть всеми инструментами за месяц или даже год. Придётся постоянно учиться, делать маленькие шаги каждый день, ошибаться и пытаться вновь.

Шаг 1. Статистика, математика, линейная алгебра

Для серьезного понимания Data Science понадобится фундаментальный курс по теории вероятностей (математический анализ как необходимый инструмент в теории вероятностей), линейной алгебре и математической статистике.

Фундаментальные математические знания важны, чтобы анализировать результаты применения алгоритмов обработки данных. Сильные инженеры в машинном обучении без такого образования есть, но это скорее исключение.

Что почитать

«Элементы статистического обучения», Тревор Хасти, Роберт Тибширани и Джером Фридман — если после учебы в университете осталось много пробелов. Классические разделы машинного обучения представлены в терминах математической статистики со строгими математическими вычислениями.

«Глубокое обучение», Ян Гудфеллоу. Лучшая книга о математических принципах, лежащих в основе нейронных сетей.

«Нейронные сети и глубокое обучение», Майкл Нильсен. Для знакомства с основными принципами.

Полное руководство по математике и статистике для Data Science. Крутое и нескучное пошаговое руководство, которое поможет сориентироваться в математике и статистике.

Введение в статистику для Data Science поможет понять центральную предельную теорему. Оно охватывает генеральные совокупности, выборки и их распределение, содержит полезные видеоматериалы.

Полное руководство для начинающих по линейной алгебре для специалистов по анализу данных. Всё, что необходимо знать о линейной алгебре.

Линейная алгебра для Data Scientists. Интересная статья, знакомящая с основами линейной алгебры.

Шаг 2. Программирование

Большим преимуществом будет знакомство с основами программирования. Вы можете немного упростить себе задачу: начните изучать один язык и сосредоточьтесь на всех нюансах его синтаксиса.

При выборе языка обратите внимание на Python. Во-первых, он идеален для новичков, его синтаксис относительно прост. Во-вторых, Python многофункционален и востребован на рынке труда.

Что почитать

«Автоматизация рутинных задач с помощью Python: практическое руководство для начинающих». Практическое руководство для тех, кто учится с нуля. Достаточно прочесть главу «Манипулирование строками» и выполнить практические задания из нее.

Codecademy — здесь вы научитесь хорошему общему синтаксису.

Легкий способ выучить Python 3 — блестящий мануал, в котором объясняются основы.

Dataquest поможет освоить синтаксис.

После того, как изучите основы Python, познакомьтесь с основными библиотеками:

Numpy : документация — руководство
Scipy : документация — руководство
Pandas : документация — руководство

Визуализация:

Машинное обучение и глубокое обучение:

SciKit-Learn: документация — руководство
TensorFlow : документация — руководство
Theano : документация — руководство
Keras: документация — руководство

Обработка естественного языка:

Web scraping (Работа с web):

Читать также

курс

Python
для анализа данных

Узнать больше

Автоматизируете свою рутинную работу с помощью Python
Научитесь обрабатывать большие объёмы информации без администрирования и баз данных
Освоите ключевой инструмент в мире аналитики и машинного обучения

Шаг 3. Машинное обучение

Компьютеры обучаются действовать самостоятельно, нам больше не нужно писать подробные инструкции для выполнения определённых задач. Поэтому машинное обучение имеет большое значение для практически любой области, но прежде всего будет хорошо работать там, где есть Data Science.

Первый шаг в изучении машинного обучения — знакомство с тремя его основными формами.

1) Обучение с учителем — наиболее развитая форма машинного обучения. Идея в том, чтобы на основе исторических данных, для которых нам известны «правильные» значения (целевые метки), построить функцию, предсказывающую целевые метки для новых данных. Исторические данные промаркированы. Маркировка (отнесение к какому-либо классу) означает, что у вас есть особое выходное значение для каждой строки данных. В этом и заключается суть алгоритма.

2) Обучение без учителя. У нас нет промаркированных переменных, а есть много необработанных данных. Это позволяет идентифицировать то, что называется закономерностями в исторических входных данных, а также сделать интересные выводы из общей перспективы. Итак, выходные данные здесь отсутствуют, есть только шаблон, видимый в неконтролируемом наборе входных данных. Прелесть обучения без учителя в том, что оно поддается многочисленным комбинациям шаблонов, поэтому такие алгоритмы сложнее.

3) Обучение с подкреплением применяется, когда у вас есть алгоритм с примерами, в которых отсутствует маркировка, как при неконтролируемом обучении. Однако вы можете дополнить пример положительными или отрицательными откликами в соответствии с решениями, предлагаемыми алгоритмом. Обучение с подкреплением связано с приложениями, для которых алгоритм должен принимать решения, имеющие последствия. Это похоже на обучение методом проб и ошибок. Интересный пример обучения с подкреплением — когда компьютеры учатся самостоятельно играть в видеоигры.

Что почитать

Визуализация в машинном обучении. Отличная визуализация, которая поможет понять, как используется машинное обучение.

Шаг 4. Data Mining (анализ данных) и визуализация данных

Data Mining — важный исследовательский процесс. Он включает анализ скрытых моделей данных в соответствии с различными вариантами перевода в полезную информацию, которая собирается и формируется в хранилищах данных для облегчения принятия деловых решений, призванных сократить расходы и увеличить доход.

Что почитать и посмотреть

Как работает анализ данных. Отличное видео с доходчивым объяснением анализа данных.

«Работа уборщика данных — главное препятствие для анализа» — интересная статья, в которой подробно рассматривается важность анализа данных в области Data Science.

Шаг 5. Практический опыт

Заниматься исключительно теорией не очень интересно, важно попробовать свои силы на практике. Вот несколько хороших вариантов для этого.

Используйте Kaggle. Здесь проходят соревнования по анализу данных. Существует большое количество открытых массивов данных, которые можно анализировать и публиковать свои результаты. Кроме того, вы можете смотреть скрипты, опубликованные другими участниками и учиться на успешном опыте.

Шаг 6. Подтверждение квалификации

После того, как вы изучите всё, что необходимо для анализа данных, и попробуете свои силы в открытых соревнованиях, начинайте искать работу. Преимуществом станет независимое подтверждение вашей квалификации.

расширенный профиль на Kaggle, где есть система рангов. Вы можете пройти путь от новичка до гроссмейстера. За успешное участие в конкурсах, публикацию скриптов и обсуждения вы получаете баллы, которые увеличивают ваш рейтинг. Кроме того, на сайте отмечено, в каких соревнованиях вы участвовали и каковы ваши результаты.
программы анализа данных можно публиковать на GitHub или других открытых репозиториях, тогда все желающие могут ознакомиться с ними. В том числе и работодатель, который проводит с вами собеседование.

Последний совет: не будьте копией копий, найдите свой путь. Любой может стать Data Scientist. В том числе самостоятельно. В свободном доступе есть всё необходимое: онлайн-курсы, книги, соревнования для практики.

Но не стоит приходить в сферу только из-за моды. Что мы слышим о Data Science: это круто, это самая привлекательная работа XXI века. Если это основной стимул для вас, его вряд ли хватит надолго. Чтобы добиться успеха, важно получать удовольствие от процесса.

курс

Несколько лет назад Harvard Business Review назвал Data Scientist наиболее сексуальной профессией века. С тех пор её «сексуальность» только росла, а потребность в специалистах увеличивается по экспоненте. В 2016 году Data Scientist вошла в топ-25 лучших вакансий на территории Соединённых Штатов по версии Glassdoor. На Россию тенденция тоже распространяется, хоть и не в таких больших масштабах. Однако, потребность в квалифицированных кадрах всё же растёт.

Чтобы понять, кто такой Data Scientist, нужно сначала дать определение самой профессии. Называется она Data Science. В последнее время термин стал очень популярным, и вы часто можете встречать его, бороздя просторы всемирной паутины.

Так вот, Data Science – работа с большими данными. Отметим, что термин «большие данные» уже прочно укоренился, хотя изначально использовался английский вариант – Big Data. Большие данные представляют собой огромные объёмы неструктурированной информации, для обработки которой требуется математическая статистика и машинное обучение.

Специалист, который занимается этим, называется Data Scientist. Его задачей является анализ больших данных, на основе которых можно сделать прогноз в зависимости от поставленной задачи. В конченом счёте финальным продуктом Data Scientist’a является создание прогнозной модели – алгоритма для оперативного поиска наиболее подходящего решения поставленной задачи.

Вы могли не знать, но с результатами работы специалистов в сфере Data Science вы встречаетесь по несколько раз в день. Например, когда слушаете музыку в YouTube Music, Spotify или Deezer. В этих стриминговых сервисах алгоритмы, написанные дата сайентистами, подбирают композиции, наиболее соответствующие вашим вкусовым предпочтениям. Так же само рекомендуются видеоролики в соответствующих сервисах и списки пользователей, с которыми вы можете быть знакомы, в социальных сетях.

Где работает Data Scientist

Если вы не хотите применять свои умения только для того, чтобы помогать людям быстрее находить одноклассников и учить программное обеспечение рекомендовать к прослушиванию Eisbrecher после Rammstein – не переживайте. Есть ещё немало областей, в которых можно применить свои таланты.

Например, в транспортной компании Data Scientist позволяет найти оптимальный маршрут передвижения, а на производстве созданные модели могут помочь спрогнозировать сбои в работе. Страховым компаниям дата сайентисты помогают рассчитать вероятность страхового случая, а в сельском хозяйстве делают прогноз по урожаю и ищут способы наиболее эффективного использования с/х угодий. Кроме того, на базе алгоритмов в медицине оборудование может автоматически ставить диагнозы пациентам.

Несмотря на то, что специалистов в Data Science становится всё больше, количество высококвалифицированных кадров всё ещё не соответствует спросу на них. Это приводит к росту оплаты труда. Заработная плата зависит от опыта работы. Например, специалисты, которые уже имели дело с большими массивами данными, а в их арсенале есть глубокие знания и навыки построения математических моделей, могут получать в Москве свыше 100 000 рублей ежемесячно. Для дата сайентистов без опыта зарплата стартует примерно 70 000 рублей в столице Российской Федерации.

Само собой, российские зарплаты ни в какое сравнение не идут с американскими. Например, хороший специалист с опытом в Соединённых Штата может получать свыше 130 000 долларов в год, т.е. порядка 11 000 долларов в месяц.

Пройти курс обучения Data Science с нуля

На сегодняшний день при наличии большого желания расти в области анализа больших данных не составляет никакого труда пройти курсы по Data Science. В России есть масса возможностей на любой кошелёк и вкус. Например, программа GeekBrains, разработанная совместно с NVIDIA и «МегаФон», обучает Data Science с нуля.

Для прохождения курса студентам будет достаточно школьных знаний, а онлайн-университет обеспечит всеми необходимыми ресурсами и инструментарием. В рамках программы обучающиеся будут ознакомлены с нейронными сетями и технологиями машинного обучения.

Программа в GeekBrains подойдёт как начинающим аналитикам, предоставив толчок для карьерного роста, так и для практикующих специалистов, желающих перейти в более востребованное направление. Курс состоит из 262 часов обучающего контента, 534 часов практики, 2-4 еженедельных семинаров и гарантирует трудоустройство.

Обучение разделено на четверти. С октября по декабрь студенты занимаются изучением основ языка Python, осваивают операционную систему Linux, создают сервера в облачных сервисах AWS. Также в список целей входит обучение SQL.

Во второй четверти студенты продолжают изучать библиотеки Python для Data Science, а также начинают решать задачи по комбинаторике, изучают методы проверки статистических гипотез и знакомятся с особенностями открытых данных. В третьей четверти придётся уделить внимание математике. В течение трёх месяцев нужно детально изучить математические аспекты алгоритмов, которым находится применения в Data Science.

Последний этап первого года уделён машинному обучению, а его программа разработана совместно с «МегаФон». Студентам даётся три месяца, в течение которых нужно научиться решать бизнес задачи, применяя машинное обучение. Также в рамках четвёртой четверти обучения удастся изучить реализацию рекомендательных систем.

Второй год обучения начинается с изучения нейронных сетей. Студенты решают задачи ML с данными из социальных сетей и др., а также на практике знакомятся с Tensorflow, Keras и PyTorch. Наконец, во второй четверти второго года изучаются продвинутые архитектуры нейронных сетей, компьютерное зрение и нейролингвистическое программирование.

Заключение

В целом, Data Scientist – профессия, которая требует как теоретических знаний, так и практических навыков. Причём вряд ли вам удастся обойтись опытом лишь одной профессии. Чтобы освоить Data Scientist, придётся приложить немало усилий и времени, но в конечном счёте это должно будет окупиться сполна.

Первые полтора года опыта в профессии вы можете получить на курсе "Data Science с нуля". После прохождения которого вы также получите полную поддержку при трудоустройстве, начиная от помощи в составлении резюме до подготовки к собеседованию.

Читайте также: