Главная Профессия ETL разработчик
Профессия ETL разработчик
Александр Лавский
12 лет создаю
и продвигаю интернет-проекты
Какие задачи решает ETL разработчик

Разные типы данных крупные организации собирают, хранят и обрабатывают из множества источников. Сведения извлекаются, преобразуется и переносятся в хранилища данных за счет ЕTL-систем. Работу с данными системами ведет ETL- разработчик. Этот специалист отвечает за консолидацию, федерализацию и обмен данными. ЕTL- разработчик извлекает данные из внешних источников, преобразовывает данные на основе имеющейся бизнес-модели, а затем загружает преобразованные данные в хранилище данных.

Уровень зарплаты ETL разработчика
Средняя годовая зарплата ETL разработчика в разных странах и городах мира в 2021 году
Место:
Оплата:
Москва
от 6 500 $
Санкт-Петербург
от 5 400 $
Казань
от 4 534 $
Екатеринбург
от 660 $
Новосибирск
от 660 $
Киев
от 367 $
Минск
от 1 450 $
Германия
от 3 500 $
Англия
от 3 500 $
Эстония
от 1 500 $
Сан-Франциско
от 3 500 $
Нью-Йорк
от 5 500 $
Сколько может получать ETL разработчик, в зависимости от своего уровня
5000$
в месяц
Junior
0-2 года
6500$
в месяц
Middle
2-4 года
10000$
в месяц
Senior
4-8 лет
Junior
  • Высшее IT/техническое образование либо последние курсы государственного технического ВУЗа
  • Базовое понимание физической модели данных одной из промышленных БД
  • Владение SQL на базовом уровне (навыки в написании простых запросов)
Middle
  • Опыт работы в роли разработчика DWH не менее 1 года
  • Уверенные знания SQL
  • Не менее 1.5 лет опыта разработки, как минимум, на одном из следующих ETL инструментов: SAS DI, Informatica PC, ODI
Senior
  • Высшее техническое\математическое образование
  • Опыт работы на проектах построения Хранилищ данных в качестве ETL-разработчика или архитектора
  • Опыт работ с DWH, либо детальный слой/витрины
Как стать ETL разработчиком
Дмитрий Аношин

Дмитрий Аношин: инженер данных Amazon, автор канала «Инжиниринг Данных», основатель проекта «Datalearn». Сначала кажется все достаточно просто: есть данные и инструменты для работы с ними. Однако, с другой стороны, очень просто потеряться в огромном количестве информации. Лучший способ начать обучение – это начать с простого, и продвигаться к более сложным вещам. Есть возможность учиться и развиваться бесплатно. Существует много ресурсов, таких как Coursera, Edx, на которых есть курсы по аналитике, визуализации, машинному обучению и другим областям. Западные ресурсы обычно на английском языке. Однако есть отечественный ресурс - DataLearn, с помощью которого возможно разобраться с иностранной терминологией.

Антон Мордвинов

Антон Мордвинов: аналитик данных в банке. В этой профессии можно найти себя даже если нет знаний по высшей математике. Важно только концентрироваться на решении прикладных задач и умелом применении инструментов. Стоит начать обучение с книг. А затем перейти к технической базе знаний. Для этого необходимо изучить языки Python и R, базу данных SQL, машинное обучение. После того как будет изучена теория, необходимо пробовать свои навыки на реальных задачах. Портал Kaggle содержит много данных в открытом доступе, свободные к анализу. Здесь часто происходят соревнования по анализу.

Наталья Мордвинова

Наталья Мордвинова: профессиональный маркетолог. Чтобы стать специалистом ETL-разработки необходимо получить знания в разных областях. Каждую сферу можно осваивать постепенно. Для изучения стоит проходить онлайн курсы и самостоятельно изучать теорию и решать задачи с помощью ментора. Еще поддержку возможно получить в Slack, где предусмотрен чат под каждый проект. Также будущему ETL-разработчику очень важно обладать такими качествами, как самоорганизация и целеустремленность. Необходимо ориентироваться в больших объёмах информации и находить самые актуальные методы и принципы.

Сайты где можно увеличить навыки разработки ETL
Аналитическая платформа Visiology

Платформа бизнес-аналитики обеспечивает подключение к различным источникам данных. Также здесь предоставляются инструменты анализа, и обеспечивается визуализация результатов на любом устройстве. Платформа обеспечит моментальный доступ к информации и актуальным отчетам. Все это позволит принимать правильные управленческие решения. Каждый модуль отвечает за решение определенной задачи: загрузка данных из существующих информационных систем, автоматизированный ввод данных, анализ и обогащение данных.

Отзывов: 435
Vixtract

Vixtract – это сборка на основе популярных открытых инструментов обработки информации. Она позволяет аналитикам BI самостоятельно выгружать, очищать и преобразовывать данные, подключиться к любым источникам, автоматизировать созданные задания ETL. Основными достоинствами ViXtract являются удобство работы аналитика и большие возможности развития. В основе платформы лежат три компонента:
-Jupyter – интерактивная среда для работы с Python;
-PETL – библиотека преобразования данных;
-Cronicle – надежный планировщик с удобным интерфейсом.

Отзывов: 398
Лучшие книги по разработке ETL
«Python Tricks: The Book»
Dan Bader
4 / 5

Эта книга посвящена разным советам, которые помогут стать продуктивнее и более качественно программировать. Здесь приведены основные типы данных языка Python и подходы к написанию кода. Книга рекомендуется к прочтению как новичкам, так и опытным специалистам. Преимущества издания: множество интересных решений задач и хороший язык повествования.

«Storytelling with Data: A Data Visualization Guide for Business Professionals»
Сole Nussbaumer Knaflic
5 / 5

Книга о том, как визуализировать результаты более качественно. Здесь детально описаны все этапы создания правильных графиков, а также приведены контрпримеры. В книге нет формул, хитрых и необычных графиков, сложных кейсов. Уроки в ней основаны на базовой теории, но при этом просты и понятны благодаря множеству примеров из реальной жизни; их можно с легкостью применить в вашей презентации.

«Глубокое обучение. Погружение в мир нейронных сетей»
С. Николенко, А. Кадурин, Е. Архангельская
5 / 5

Практически вся литература, посвященная сфере IT, написана на английском языке. Deep Learning и Neural Networks - это первая книга о глубоком обучении, написанная на русском языке российскими авторами. В ней приведено огромное количество примеров, различных историй из науки и ссылок на источники. Дано max объяснений и min минимум кода, серьезный материал о машинном обучении сочетается с увлекательным изложением.

«Advanced Data Analytics Using Python. With Machine Learning»
Deep Learning and NLP Examples
5 / 5

В этой книге обсуждается, как реализовать методы ETL. Рассмотрен тематический обход, который применяется в таких областях, как высокочастотная алгоритмическая торговля и целенаправленные диалоговые системы. Здесь также есть примеры концепций машинного обучения, таких как обучение под наблюдением, глубокое обучение и НЛП.

Лучшие курсы по разработке ETL
1
Geekbrain
Наш рейтинг: 5 / 5
Отзывов: 789

«BI-аналитика» от Geekbrain. Курс позволит научиться анализировать данные, создавать понятные отчёты, с помощью которых возможно принять правильные управленческие решения. Предлагаются разные формы обучения: занятия в группе с преподавателем, онлайн-лекции и вебинары, видеозаписи занятий. По итогам обучения выдается диплом, а также гарантируется трудоустройство. Курс подойдет для аналитиков и специалистов из смежных сфер (возможно оптимизировать работу и использовать BI-инструменты для обработки информации).

$$$$$
от 192 500 руб.
2
Нетология
Наш рейтинг: 4 / 5
Отзывов: 659

«ETL-разработчик» от Нетологии. Курс от нетологии – кратчайший путь до уровня Middle. Обучение предназначено для новичков, аналитиков, инженеров данных или разработчиков. Основная цель – помочь повысить эффективность проекта. Курс подойдет для новичков в data science, аналитиков и программистов Python, JS, Java, C++. Программа курса:

-SQL и работа с базами данных.
-Data Warehouse.
-BI-решения.
-Выпускной проект.

$$$$$
от 36 500 руб.
3
Skillbox
Наш рейтинг: 5 / 5
Отзывов: 819

«Профессия Веб-разработчик» от Skillbox. Курсы позволят с нуля научиться создавать полноценные сайты и веб-приложения. Здесь знакомят с НTML, CSS, JavaScript и PHP. По итогам выдается диплом, а также предоставляется помощь в трудоустройстве. Курс подойдет для:

-Новичков в веб-разработке: с нуля изучаются основы программирования на JavaScript и PHP, учат верстать сайты на HTML и CSS.
-Начинающим разработчикам: работа с самыми популярными языками программирования, изучаются фреймворки Vue, React или Angular.
-IT-специалистам: здесь учат рограммировать на JavaScript и PHP, даются знания в ТypeScript.

$$$$$
от 104 900 руб.