Как я начал работать аналитиком данных и какие знания мне для этого понадобились

35

Этот текст написан в Сообществе, в нем сохранены авторский стиль и орфография

Сейчас появилось много различных курсов, где обещают обучить этой невероятно интересной и финансово прибыльной профессии (если так можно выразиться) всего за несколько месяцев, а затем легко устроиться на работу, закинуть ноги на стол и планировать, на что же теперь это всё тратить. Но так ли это на самом деле? Я пять лет проработал аналитиком данных, потом стал системным аналитиком. Сейчас, в зависимости от проекта, наверное, можно назвать меня системным аналитиком/программистом, так как приходится в определенных проектах брать часть разработки на себя.

Реальности рабочих будней

Целенаправленно я не пытался стать аналитиком данных, у меня была должность, можно сказать, рядом с этой. Я занимался автоматизацией процессов в крупной компании и сильно этим увлекся. После завершения проекта решил искать что-то аналогичное. Мне предложили вакансию аналитика данных, функционал которой показался в принципе схожим и знакомым. На тот момент я хорошо знал Excel, VBA, мог писать несложные SQL-запросы, а также неплохо писал на Python и C#.

Изначально всё выглядело очень хорошо: прекрасный офис с панорамным видом, удобное рабочее место, можно работать и на диванчике в комнате отдыха с ноутбуком, если удобно. Меня даже не смутило, что во многих местах стоят доски с какими-то жуткими схемами и формулами, я думал, что это всё к аналитику данных не относится.

Когда дали первое задание, необходимо было выгрузить данные, обработать и получить определённый результат, звучало просто. Но даже имея значительный опыт с разными инструментами для обработки данных, я не мог представить, как можно это сделать. Только чтобы написать SQL-запрос, ушло несколько часов, и я был совсем не уверен, что это именно те данные, что мне нужны, так как данные необходимо выгрузить из нескольких таблиц, плюс подзапросы и сразу обработать, чтобы их было меньше.

Но выгрузить, это только начало, нужно было данные очистить и привести в более удобный для обработки формат. Сначала были какие-то немыслимые макросы и формулы, потом понимание, что всё не так, опять переписка запросов к базе и так далее.

Начиная со следующего дня, ты не видишь панорамного вида и комнаты отдыха, как бы погружаешься в другой мир и приходишь в себя к вечеру, когда понимаешь, что в голове уже не можешь даже 2+2 сложить.

Конечно, со временем всё упрощается, большинство задач выполняется просто, часть задач автоматизируется, но периодически, были моменты, когда приходилось сидеть, в прямом смысле, днями и ночами, чтобы решить какую-то задачу. Наступает момент, когда ты понимаешь, что теперь легко можешь выгрузить необходимые данные, так как знаешь все таблицы и базы, написать любой макрос или скрипт для обработки этих данных. Перестаешь понимать, что значит простые или сложные запросы SQL, ведь уже даже не думаешь над ними, а просто пишешь почти не глядя, при этом думая о чем-то ещё.

Приходит понимание, что аналитик данных, это только старт в этой области, и зарплаты там не такие большие, как многие думают. Но можно двигаться дальше, в основном, это системный или бизнес-аналитик. И там, помимо того, что вы знаете, нужно будет узнать очень много всего, это не быстро и не просто, не один год занимает, чтобы разобраться, научиться и получить опыт.

Да, сейчас много вакансий, в которых действительно указаны высокие зарплаты, и это потому, что не всё так просто, как кажется. Я много видел рекламы курсов, где обещают за несколько месяцев сделать из вас крутого спеца, но как-то в это не верится. Многие из тех, кто приходят, быстро решают сменить деятельность, осознав, что это на самом деле. Уверены, что хотите этим заниматься?

Аналитик данных

Тогда давайте рассмотрим, кто такой аналитик данных.

Аналитик данных (Data Analyst) — это специалист, который собирает, обрабатывает и анализирует данные для выявления тенденций и закономерностей, которые помогают бизнесу принимать информированные решения. Работа аналитика данных включает в себя обработку больших объемов информации, проведение статистического анализа и создание различных отчетов, которые представляют результаты анализа в доступной форме для менеджеров компании.

Что нужно знать?

Чтобы стать успешным аналитиком данных, необходимо обладать рядом навыков и знаний:

Знание языков программирования, таких как Python, VBA, язык запросов SQL, отличное знание Excel, это все является базой и основным требованием, используемым для обработки и анализа данных.

Статистика и математика: Понимание основ статистики и математических методов анализа данных. Не нужно быть математиком, но в этом нужно хорошо разбираться.

Визуализация данных: Умение использовать инструменты визуализации, такие как Tableau, Power BI. Также есть более простые варианты для создания графиков и диаграмм, такие как Power Point, так как ваши заключения часто необходимо будет визуализировать.

Машинное обучение: Основы машинного обучения и применение алгоритмов для анализа данных. Это можно для начала пропустить, но понемногу начать изучать для дальнейшего развития важно.

Коммуникационные навыки: Способность ясно и точно представлять результаты анализа. Вы будете получать технические данные, то есть в основном цифры, а бизнесу нужно простыми словами объяснить, что это, почему так и как может быть по-другому. И лучше не просто объяснить, а наглядно показать и расписать другим языком. У вас сразу появился вопрос "что значит другим языком"? Да, вы как технический специалист и, например, менеджер по развитию разговариваете на разных языках. Например, у вас запросили какие-то данные, но обычно это всё очень размыто и нужен дополнительный опрос, что конкретно необходимо. Бывают ситуации, когда, опросив бизнес, он понимает, что таких данных не может быть. И наоборот, если выдать полное подробное заключение, вас могут не понять, так как слишком много очень детальной информации. Понять требования бизнеса на уровне ТЗ и дать ему ответ только тот, который нужен, это тоже отдельный навык. Хотя по большей части это уже относится к бизнес-аналитику, но этим часто приходится заниматься аналитику данных.

Различия между аналитиком данных, бизнес-аналитиком и системным аналитиком

Аналитик данных: Основное внимание уделяется сбору, обработке и анализу данных для принятия решений.

Бизнес-аналитик: Концентрируется на выявлении бизнес-потребностей и разработке решений для бизнес-проблем. Бизнес-аналитики взаимодействуют с заинтересованными сторонами, чтобы определить требования и предложить оптимальные решения.

Системный аналитик: Фокусируется на проектировании и улучшении информационных систем. Анализирует требования, разрабатывает технические спецификации и работает с разработчиками для внедрения системных решений.

Насколько сложная эта профессия?

Как я уже писал, профессия аналитика данных совсем не простая, так как она требует как технических, так и аналитических навыков. Чтобы "войти" в неё, необходимы знания программирования, статистики и методов анализа данных. Также важно быть способным интерпретировать результаты анализа и представлять их в понятной форме. Однако, несмотря на сложности, это достаточно востребованная профессия, которая предоставляет возможности для дальнейшего роста. При этом нужно понимать, что в этой работе вам не придётся спокойно сидеть, даже когда у вас не будет сильной загрузки. Необходимо дальше развиваться, изучая новые методы и инструменты для анализа и обработки данных. И так будет постоянно, технологии не стоят на месте, отвлечетесь и что-то пропустите.

Если вы считаете, что ваши знания достаточны для такой работы, можете проверить себя. Существуют различные онлайн-сервисы и мобильные приложения, где можно попробовать ответить на вопросы, которые задают аналитикам данных на собеседованиях, и возможно понять, что нужно изучить.

Плюсы и минусы

Плюсы:

Высокий спрос на специалистов: Аналитики данных востребованы во многих отраслях.

Зарплата: В зависимости от уровня опыта и региона, зарплаты могут быть очень конкурентоспособными.

Возможности для роста: Возможность карьерного роста, в основном это "Бизнес-аналитик" или "Системный аналитик", реже другие смежные области.

Разнообразие задач: Работа с данными предполагает решение различных задач и постоянное развитие навыков. Это как плюс, так и минус, так как учиться придётся постоянно.

Минусы:

Высокие требования: Необходимо постоянно обучаться и совершенствовать свои навыки.

Сложность задач: Работа с большими объёмами данных может быть сложной и утомительной, особенно первое время.

Ответственность: Принятые на основе анализа данных решения могут сильно влиять на бизнес-процессы компании.

Стоит ли стремиться стать аналитиком данных?

Стоит стремиться, если вам интересна работа с данными и вы готовы постоянно учиться. Перспективы профессии хорошие, так как количество данных, которые нужно анализировать, растёт с каждым годом. Кроме того, аналитики данных могут работать в различных отраслях, что делает эту профессию очень гибкой.

Заключение

Аналитик данных — это отличная возможность для тех, кто любит работать с цифрами и хочет развиваться в этой области. Если вы готовы вложить много усилий в обучение и развитие своих навыков, вы сможете добиться успеха и стать востребованным специалистом. Но не думайте, что это будет быстро. Поверьте, уйдёт не один год, пока вы почувствуете себя уверенно, и даже не сомневайтесь в том, что у вас не раз будут мысли о том, что вы сделали неверный выбор. Но если справитесь, дальше будет значительно проще, и вы увидите много перспектив и возможностей.

  • Владислав СорокинЕсли знаете Табло и M-Language, то зачем ещё VBA? Макросы в Экселе писать? А зачем они в этом контексте? Тот же вопрос про Питон.2
  • АнастасияСогласна с предыдущим оратором. В каждой компании есть своя специфика, конечно, но всё зависит от самих задач. Я работаю 2 года аналитиком - начинала в ритейле, сейчас работаю в IT-компании. В ритейле кроме экселя ничего не было, поэтому и ушла. Но за время работы я смогла лучше понять специфику профессии и выбрать для себя понравившееся направление: BI-аналитика. Так я стала присматривать вакансии на hh и попала в IT компанию. Вкратце, работа аналитика BI выглядит так: поступает запрос от бизнеса, что нужен такой-то отчёт. Проводятся встречи, согласуются требования и тд. Аналитик взяз в работу. Нужно достать данные из БД с помощью SQL запроса. Обычно это несколько запросов, которые формируют несколько таблиц. Эти таблицы заливаются в PowerBI, между ними настраиваются связи. И делаем отчёт. Всё. То есть для работы я использую MSSQL и PowerBI (внутри него также надо знать Power query и язык DAX). Никакого питона и всего остального тут в помине нет. Ну, иногда бывает нужен эксель, чтобы какую-то сверку данных провести, но тут никаких даже макросов не надо.2
  • DmitriВладислав, Табло используется исключительно для визуализации, это хороший навык, но многие его не используют, используют например Power BI, просто Power Point или другие программы, зависит от компании. M-Language не предназначен для создания сложных автоматизаций, в нем не сделаешь пользовательский интерфейс, в нем много чего не сделаешь что можно реализовать используя VBA, поэтому знание M-Language это безусловно плюс, но преимущество отдается знанию VBA или R. В тех случаях когда данных действительно много (с помощью VBA лучше не обрабатывать более 200 000 строк и ~15 столбцов) то используют Python он значительно быстрее и более гибкий чем VBA, многие используют в основном именно Python, так же используют R, но реже.5
  • DmitriАнастасия, Компании и задачи бывают разные. То, что вы описали, относится именно к работе бизнес-аналитика. Но представьте ситуацию, когда необходимо, например, выгрузить из базы данных определенное количество строк. В каждой строке есть ячейка с текстом, в котором могут находиться серийные номера. Количество этих серийных номеров заранее неизвестно: их может быть 0, а может быть и 10. Если серийные номера присутствуют, нужно скопировать всю строку и вставить её ниже столько раз, сколько серийных номеров, при этом в каждой новой строке должен остаться только один серийный номер. Таких условий может быть много, и в этом случае данные необходимо именно обрабатывать. Однако, как правило, бизнес-аналитик обычно этим не занимается.5
  • Владислав СорокинDmitri, по-моему, это элементарное преобразование на стороне Query, нет? Серийные номера в список, список в строки0
  • Владислав СорокинDmitri, я немного запутался, в каком случае Вы апеллирует к интерфейсу, а в каком - к обработке данных... M-Language, действительно, не предназначен для создания интерфейсов, он для обработки данных. Power Query - это синоним M-Language... VBA довольно убог в части обработки данных, я когда-то по необходимости использовал его для этой цели, умаялся. Одно отсутствие именованных списков уже делает работу мучением1
  • DmitriВладислав, Нет, запросом так данные не преобразовать, грубо говоря есть текст, например какое то сообщение и среди этого текста, где то есть серийный номер, а может и несколько, текст не шаблонный и может быть что угодно. Это просто как пример, но это я описываю именно работу аналитика данных, согласен что у бизнес аналитика задачи в этом плане отличаются и возможно именно сложная очистка и преобразование не требуется4
  • LisaDmitri, как меняются условия работы с развитием AI?2
  • DmitriLisa, с AI стало проще в плане разработки кода. Раньше, при создании методов или функций приходилось долго придумывать, писать, тестировать, и часто переделывать код. Теперь можно описать задачу, указать язык разработки, вставить часть своего кода и получить несколько вариантов решения от AI. Конечно, копировать и вставлять код напрямую плохое решение. Несмотря на то, что AI может генерировать работающий код, он часто бывает сложно читаемым, содержит ошибки и не учитывает всех важных моментов. Но можно посмотреть, как AI предлагает реализовать задачу, и на основе этого сделать аналог или переписать его код, добавляя все необходимое. Использование AI значительно ускоряет процесс разработки, но чтобы правильно его использовать, нужно хорошо понимать код и его функционал. Иначе, AI может сгенерировать рабочий код, который будет как-то работать, но последствия этого могут быть непредсказуемыми. Мне уже приходилось сталкиваться с ситуациями, когда код был просто сгенерирован, вставлен и запущен. Вроде бы все работало, но при незначительных изменениях в данных возникали проблемы. Я рассчитывал, что корректировка займет 30 минут, но в итоге потратил полдня, так как код был сложно читаемым и обрабатывал данные слишком сложно. В результате я сначала сделал заплатку, чтобы данные были в нормальном виде, а потом полностью переписал код. В целом, AI очень удобен, особенно при написании кода, но с ним нужно быть осторожным. Если бы я только начинал изучать системы и работать, с AI это было бы намного проще. Раньше можно было несколько дней обсуждать на форумах варианты решения какой-то проблемы, сейчас AI в большинстве случаев может очень помочь.6
  • Олег БаловDmitri, как будто бы этот ответ тоже сгенерировал AI.3
  • DmitriОлег, я думаю он написал бы что то более отстраненное, без примеров каких то ситуаций, некорректного кода и воспоминаний о поиске решений на форумах. Хотя так тоже возможно, но тогда сейчас так можно сказать о любом тексте.3
  • DmitriВладислав, наверное не достаточно много с ним работали, это очень хороший инструмент, да, именованных списков нет, но есть массивы, коллекции. Он достаточно удобен, когда нужно быстро обработать какие то данные и их не слишком много (и есть понимание что он для этого подходит), хотя бы как в том примере что привел. Во всем нужен опыт, тогда все становится очевидней где и что можно использовать чтобы максимально быстро получить результат. Я начал активно пользоваться vba лет ~10 назад, когда увидел в Великобритании достаточно большое количество вакансий, не помню уже точно как назывались по-моему просто разработчик VBA, в России таких вакансий практически не было, я спрашивал у знакомых с чем это связано и почему у них много таких вакансий, все оказалось просто. В Великобритании серьезный контроль за программным обеспечением, то есть использовать пиратский софт это крайне рискованно, лицензионный софт может стоить прилично, плюс если компания не большая только начала свою деятельность и средства ограничены, то брать себе разработчиков, заказывать создание и настройку под себя систем или написание приложения, которое нужно именно им, это не лучший выбор, и потом, при каких то изменениях, им нужно искать человека который в этом разбирается, он должен будет все посмотреть, рассказать как это можно переделать, ну и собственно выставить счет. Многие делали на начальном этапе все проще, база данных + Excel как основная связка, в Excel делались пользовательские формы для каждой позиции. Например, какой ни-будь сервисный центр, на работу пришел оператор который принимает заказы, открыл файл excel, там шаблон куда он вносит данные по заказу, отмечает какие то чек боксы и т.д, он все вносит, нажимает ок, заказ улетел в базу. Далее например старший мастер открыл свою форму файла, ему выгрузился этот заказ, который он или печатает или что то с ним еще делает для передачи мастеру, который уже им занимается. И вариантов масса таких использований даже сейчас. Все это делается просто, не требует существенных затрат а уже в будущем можно перейти к более серьезной схеме. Используют даже google таблицы для ведения бизнеса а там скрипты, формулы и т.д., но это мне кажется уже слишком, так как там более 10 000 строк и начинаются проблемы, хотя там достаточно удобные триггеры. Во всем есть свои плюсы и минусы, чем больше опыт в использовании того или иного инструмента, тем больше возможностей его применения начинаешь видеть, а vba мне кажется в России всегда был недооценен. Что же у меня такие ответы все большие получаются ).4
  • Johnny CashОлег, так нет ничего лучше примера, вот он и показал как ИИ использует😉2
  • Johnny CashАвтор спасибо, что поделились своими мыслями. Подскажите, а куда легче "войти" в профессию тестировщика или аналитика?1
  • Светлана Мехедова"... онлайн-сервисы и мобильные приложения, где можно попробовать ответить на вопросы, которые задают аналитикам данных на собеседованиях, и возможно понять, что нужно изучить." — Спасибо за статью👍, а может кто-нибудь накидать пару названий этих сервисов или приложений, пожалуйста?9
  • Владислав СорокинDmitri, достаточно много работал :) У гугл-шитов макро на джаваскрипте, и это в разы лучше чем vba Простите за короткий ответ0
  • БарсучокJohnny, на вашем месте думала бы не о том, куда проще и выгоднее вкатиться, а о том, что у вас лучше получается и что большемнравится4
  • БарсучокПопробовала все 3 направления, самое сложное - это системная аналитика. Там и с данными пригождается работать, и в БА разбираться. И не только.2
  • DmitriВладислав, интересное утверждение, можете аргументировать ? Есть много сторонников того или иного языка, кто то считает что в apps script более дружелюбный интерфейс, кто то обратного мнения, но в целом, сказать что какой то из этих языков лучше сложно, так как хоть они и могут выполнять схожий функционал, у каждого есть свои сильные и слабые стороны и в зависимости от ситуации, один может быть эффективнее другого0
  • DmitriJohnny, это достаточно разные области, тестировщиком думаю стать проще, нужно знать программирование на базовом уровне, чтобы писать автотесты, использовать баг трекеры, не могу сказать, все же я не тестировщик. Но думаю лучше сначала подумать насколько интересна та или иная область, первое место это интерес к такой работе, на второе доход который она может приносить и перспективы. Главное чтобы работа нравилась, поверьте, если ваша работа, даже хорошо оплачиваемая будет тяготить, и на работу как на пытку, то никакая з/п не поможет, будете терпеть и думать как ее сменить. Сейчас многие так стремятся стать программистами именно в погоне за з/п, в итоге по статистике, если не ошибаюсь только 20% заканчивают какие то курсы и становятся программистами.3
  • DmitriСветлана, хм.. несколько раз попадались, но честно говоря не запомнил названия, думаю просто в поиске если вбить найдется2
  • АнастасияDmitri, сейчас и бизнес-аналитик это не то же самое, что BI-аналитик) уже столько разновидностей существует. Но я согласна, что аналитик данных это более техническая, скажем так, работа. Подходит тем, кто не хочет постоянно общаться с бизнесом. Здесь нужно больше хард скиллов, а в BI можно меньше хардов, но больше софтов. Как-то так. В описаниях курсов об этом ни слова, им лишь бы продать что угодно и кому угодно.2
  • Vlad SorokinDmitri, мне казалось, я это уже сделал, нет? VBA - довольно старый язык, не удивительно, что в нем не реализованы некоторые фичи must have. Отсутствие именованных списков - это весьма яркий пример. Я несколько лет занимался обработкой данных именно на VBA, и это были большие массивы, извлеченные из Джиры. Позже компания решила перейти на гуглшиты, и это стало просто отдушиной: обработка на apps script в разы проще, даже на фоне не особо удачной системы отладки у Гугла (или, если угодно, шикарной отладки у VBA)0
  • DmitriVlad, вам большое количество данных было проще обработать в гугл таблице ? Наверное это была условная обработка ? или какое количество данных вы называете большим ? Могло показатся что я ярый защитник vba, но это не так, просто есть многолетний опыт работы с обоими инструментами и даже не помню серьёзных проблем что чего то не хватает в vba, в случае больших данных и сложной обработки используют Python, но большие объёмы данных в гугл таблицах это что то новое, возможно вы что то другое имели ввиду ?0
  • Анатолий ОвчинниковАналитик не должен собирать и очищать данные. Это задачи дата-инженеров0
  • DmitriАнатолий, дата инженер занимается в основном созданием баз, инфраструктуры и так далее, хотя во многих компаниях этот функционал не редко делегируют другим специалистам. А как раз обработка, интерпретация это аналитик данных. Но сейчас не редкость что функционал аналитика данных, системного аналитика, но при этом название должности может быть самым неожиданным, особенно в небольших компаниях, бывает просто спрашивают какую вам написать должность ).1
  • DmitriМаксим, честно говоря ничего не понял )4
  • DmitriОльга, в описании курсов много чего интересного пишут, в реальности это не входит в функционал данных специалистов. Тем не менее, многие работодатели стараются загрузить специалистов по максимуму, в том числе и тем, чем они не должны заниматься (от чего к слову потом и страдают) и многие, особенно с небольшим опытом или просто переходящие в другую сферу, ради опыта, готовы братся за все. К сожалению, многие работодатели не до конца понимают что такой "универсализм" часто не приводит к экономии, так как при ошибках в интерпретации данных бизнес может принять решения которые будут идти в разрез с реальностями.2
  • rukivbbrukiСпасибо за статью, познавательно!2
  • Виктор РупасовСпасибо, очень познавательно, тоже смотрю в сторону аналитики. Вот если я правильно понимаю нужно сначала хорошо изучить эксель, научится в нем делать аналитику, потом пивот и куэри, попробовать повер би ай, поработать с вба, а там потом и станет понятно, моё или не моё1
  • DmitriВиктор, да, excel это база которая используется практически везде. Cводные таблицы и power query очень нужные инструменты, их изучение обязательно, на самом деле с этим сложностей не должно быть. VBA посложнее, особенно если опыта в программировании нет, но если есть навыки, освоить его будет не сложно. А дальше думаю появится понимание в какую строну двигаться, ну конечно же нужно изучить SQL, без него сейчас не обойтись. Это позволит понять интересно ли работать с данными, если будет интерес, то постепенно начнете осваивать и другие инструменты. Удачи!1
  • Маргарита ЧернАясможет ли врач(естественно без математического образования) стать аналитиком данных?0
  • DmitriМаргарита, если есть желание, то конечно, только к сожалению предыдущий опыт и медицинские навыки, в этой сфере не пригодятся0