Кейсы по аналитике

 

Применение Python в аналитике и ML




1. Кейс по скоринговой аналитике:  Github



2. Анализ продаж интернет-магазина:  Github



3. Предсказание курса акций ТESLA с помощью fbprophet:  Github



4. Подключаемся к API Яндекс Метрики и выгружаем в Excel:  Github


5. Простой ETL (PostgreSQL to Google Sheets) на Python:  Github



6. Подключаем Jupyter Notebook к Google Bigquery:  Github



7. Пример когортного анализа средствами Python:  Github



8. От чистки данных до запуска ML-моделей:  Github



9. RFM-анализ покупателей онлайн-магазина:  Github



10. Работаем с картами с помощью Geopandas и Matplotlib:  Github


11. Geopandas ч2. Строим карты Таиланда и Бангкока:  Github



Комментарии

Отправить комментарий

Популярные сообщения из этого блога

Jupyter-фишки, которые облегчат жизнь аналитику

Изображение
Если ты работаешь аналитиком или пока еще изучаешь предмет, наверняка, твой основной рабочий инструмент - Jupyter Notebook. И все дело в том, что аналитики используют Python немного по-другому, в отличие от Python-программистов. Конечно, можно делать исследования и в какой-нибудь навороченной IDE, но работа в Jupyter уже давно стала стандартом для аналитиков. А сегодня посмотрим на фишки Jupyter, которые помогут сделать твою работу еще более продуктивной и интересной. Конечно ты знаешь такие pandas команды для обзора датафрейма, как info и describe . Но что, если можно было бы одной командой узнать гораздо больше информации и причем сразу вывести ее в интерактивном  чарте?  Pandas profiling Эта библиотека позволяет выводить расширенную информацию о датафрейме, которую , кстати, можно сохранить в HTML-файл.  Установка Устанавливать Pandas profiling советую не через pip, а через conda. Причем, лучше сразу указывать последнюю версию. Мне по умолчанию conda поставила версию ...
Далее...

Быстрый импорт в базу данных с помощью DBeaver

Изображение
 Сегодня расскажу про небольшой лайфхак о том, как можно быстро загрузить вашу дату в базу данных используя минимум кодинга. Но сначала опишем суть проблемы, которую данный лайфхак решает. Итак, у нас есть некая дата, которая хранится во внешних файлах (например, в csv). Нам нужно загрузить дату в базу данных (далее БД), причем в самой БД нет таблиц предназначенных для загрузки. Делаем по старинке Классическим решением будет провести анализ содержимого таблиц, выписать названия полей и их формат. Затем создать с помощью SQL запроса сами таблицы. Это будет выглядеть примерно вот так: А затем нужно будет сформировать INSERT запрос для каждой строки файла для вставки его в БД. Если в вашем файле 30 тысяч строк, то придется писать запрос для каждой строки. Здесь без Excel или Google Sheets не обойтись. Так как используется инструментарий таблиц для работы со строками можно ускорить процесс создания тела INSERT запроса. Итоговый запрос может выглядеть вот так: Остается только подключить...
Далее...

Разворачиваем среду для машинного обучения MLflow в облаке MAIL.RU

Изображение
Обещал, что буду понемногу публиковать посты про data engineering и machine learning, и вот как раз появилась возможность поделиться результатами кейса по разворачиванию среды для машинного обучения MLflow. Мой кейс повторяет оригинальную презентацию ребят из Mail.ru, однако я оптимизировал шаги прохождения, плюс обратил внимание на некоторые нюансы, которые могут возникнуть, когда пытаешься его пройти. Оригинальные материалы к кейсу можете найти по ссылке внизу поста. Облачный провайдер Mail.ru любезно предоставил 3000 бонусных рублей на тестирование их продукта, что является отличной возможностью познакомиться с их облаком. Source: https://res.infoq.com/presentations/mlflow-databricks/en/slides Итак, а зачем вообще нам нужен фреймворк для ML? Фреймворк представляет удобный интерфейс к моделям и их параметрам. Ведет историю и сохраняет результаты каждого запуска модели, хранит артефакты для моделей. Легко нужно найти информацию когда, какую модель запускал, какие были результаты, ...
Далее...

Анализ данных в Tableau. Часть 3.

Изображение
  Сегодня мы финализируем наши успехи в работе с Tableau и построим дашборд с визами, которые мы сделали на прошлых уроках. Теория разработки и построения дашборда - это отдельный, объемный предмет, по которому написано много толстых книг. Я не буду углубляться в него, а просто покажу некоторые  практические этапы исполнения. Для начала в панели вкладок создадим новый пустой дашборд. В панели слева у нас расположился список доступных чартов (Sheets), управление размером (Size), и здесь я предлагаю сразу поменять значение Range  на Automatic. Внизу блок с объектами и галочка отображения заголовка. Отметим ее и напишем заголовок нашего дашборда. Через контекстное меню заголовка можно вывести панель Formating и поменять стиль заголовка: центрировать расположение, задать цвет/фон/размер текста. Затем заполним пространство дашборда объектом Horizontal block и путем перетаскивания расположим наши чарты один под другим так, как на скриншоте. Наведем порядок в панели справа. Сейч...
Далее...

Подключаем Jupyter Notebook к Google Bigquery

Изображение
Сегодня рассмотрим такой интересный кейс, как работу с Bigquery прямо из оболочки Jupyter. Возможно, вы подумаете, а зачем козе баян? Ведь тот же код можно запускать и напрямую в веб-интерфейсе GBQ. Несомненно, веб-интерфейс позволяет отслеживать такие параметры запроса как его объем, скорость выполнения, а также правильность составления самого тела запроса, чего в Jupyter нет. Однако есть и плюсы от такого решения. Данные запроса можно мгновенно загнать в датафрейм Pandas и начать исследовать, в то время как работая в веб-интерфейсе, вам сначала придется выгрузить их в CSV/JSON, а только потом загрузить в Pandas. При этом результаты запроса не должны превышать 16000 строк. Что ж, достаточно для вступления, переходим к технической части. Нам нужен сервисный аккаунт в Google Cloud Подробно про создание сервисного аккаунта я рассказывал в этом посте . Процедура точно такая же, за исключением следующих моментов. Во-первых, на шаге выбора API, к которому мы будем подключаться, надо выбрат...
Далее...