Создаем простой ETL на Python часть 2.

-

 Продолжаем поднимать наш ETL. Напишем скрипт для импорта и поставим его на расписание.


Для работы скрипта необходима установка дополнительных библиотек. Нам понадобятся pandas, requests, psycopg2 (коннектор к Postgres) , gspread и oauth2client (для подключения к сервисному аккаунту). Установить можно через pip или менеджер пакетов conda.


После установки пакетов импортируем библиотеки.


Затем обращаемся к таблице-источнику в БД и собираем названия ее столбцов.


Вторая функция создает промежуточные csv-файлы с содержимым таблицы-источника и затем импортирует данные из них в Google Sheets. Здесь нам пригодится тот json-файлик, который мы скачивали в процессе создания сервисного аккаунта. Положите его в папку со скриптом или укажите полный путь.



В конце настроим расписание. Запускаем такой скрипт, который начнет работать сразу же и будет запускать наш ETL по расписанию. Подробнее про настройку времени можно прочитать в документации к модулю.


Поздравляю, теперь вы освоили еще один способ, как можно автоматизировать рутинные задачи с помощью Python.

Полный код скрипта можно посмотреть в моем репозитории на Githab. Ссылка.
















Комментарии

Отправить комментарий

Популярные сообщения из этого блога

Быстрый импорт в базу данных с помощью DBeaver

-
Изображение
 Сегодня расскажу про небольшой лайфхак о том, как можно быстро загрузить вашу дату в базу данных используя минимум кодинга. Но сначала опишем суть проблемы, которую данный лайфхак решает. Итак, у нас есть некая дата, которая хранится во внешних файлах (например, в csv). Нам нужно загрузить дату в базу данных (далее БД), причем в самой БД нет таблиц предназначенных для загрузки. Делаем по старинке Классическим решением будет провести анализ содержимого таблиц, выписать названия полей и их формат. Затем создать с помощью SQL запроса сами таблицы. Это будет выглядеть примерно вот так: А затем нужно будет сформировать INSERT запрос для каждой строки файла для вставки его в БД. Если в вашем файле 30 тысяч строк, то придется писать запрос для каждой строки. Здесь без Excel или Google Sheets не обойтись. Так как используется инструментарий таблиц для работы со строками можно ускорить процесс создания тела INSERT запроса. Итоговый запрос может выглядеть вот так: Остается только подключить...
Далее...

Jupyter-фишки, которые облегчат жизнь аналитику

-
Изображение
Если ты работаешь аналитиком или пока еще изучаешь предмет, наверняка, твой основной рабочий инструмент - Jupyter Notebook. И все дело в том, что аналитики используют Python немного по-другому, в отличие от Python-программистов. Конечно, можно делать исследования и в какой-нибудь навороченной IDE, но работа в Jupyter уже давно стала стандартом для аналитиков. А сегодня посмотрим на фишки Jupyter, которые помогут сделать твою работу еще более продуктивной и интересной. Конечно ты знаешь такие pandas команды для обзора датафрейма, как info и describe . Но что, если можно было бы одной командой узнать гораздо больше информации и причем сразу вывести ее в интерактивном  чарте?  Pandas profiling Эта библиотека позволяет выводить расширенную информацию о датафрейме, которую , кстати, можно сохранить в HTML-файл.  Установка Устанавливать Pandas profiling советую не через pip, а через conda. Причем, лучше сразу указывать последнюю версию. Мне по умолчанию conda поставила версию ...
Далее...

Два способа загрузить свой датасет в Python

-
Изображение
  Если вы только начинаете осваивать анализ данных, то наверняка задавались вопросом, как загрузить данные в Python, чтобы начать их анализ. В этой статье покажу 2 способа, как это можно сделать. Способ 1. Загружаем данные с помощью модуля csv Для примера возьмем датасет с рейтингом отзывов по производителям рамена. Рамен - это популярная еда в Азии, лапша быстрого приготовления с различными вкусами. В дальнейших постах мы будет работать именно с этим датасетом. Посмотрим как он выглядит с помощью редактора Notepad++ Используя следующий код мы получим данные из нашего датасета используя CSV модуль При таком способе загрузки CSV модуль загружает данные из датасета в список построчно. Каждый элемент списка будет представлять одну строку нашего датасета, которая в свою очередь тоже будет списком с элементами строки. Т.е это будет список списков. Такой способ выглядит довольно громоздко и является малоэффективным для обработки больших датасетов. Поэтому, мы воспользуемся вторым способо...
Далее...

5 приемов при работе с модулем datetime в Python

-
Изображение
Сегодня посмотрим на Python-библиотеку datetime - незаменимый набор инструментов для обработки данных с датой и временем. Я дам обзор пяти основных приемов этой библиотеки, которые закроют большинство ваших проблем при обработки дат и времени. Поехали! Понимание что такое объект datetime в Python. Прежде чем приступить к разбору самих приемов полезно посмотреть, как устроены дата и время в datetime. Основным строительным блоком является объект datetime. И вполне логично, что это комбинация объекта даты и объекта времени (привет, кэп Очевидность!) Объект даты - это просто набор значений года, месяца, дня плюс набор функций, которые умеют их обрабатывать. Аналогичным образом устроен объект времени. Он включает значения часа, минут, секунд, микросекунд и часового пояса. Любое время может быть представлено соответствующим выбором этих значений. 1. combine() import datetime # (часы, минуты) start_time = datetime.time(20, 0) # (год, месяц, день) # Создаем объект datetimet start_date...
Далее...

Чистка и препроцессинг данных. Готовим датасет для ML.

-
Изображение
В этом посте посмотрим на основные шаги в процессе чистки и подготовки данных для последующего ML-моделирования. В зависимости от структуры аналитического департамента и его размера, чисткой данных могут заниматься как аналитики, так и сами дата-сайентисты. В любом случае, на сырых данных не строится ни одно исследование. По заявлениям экспертов в индустрии, на процесс очистки данных может уходить до 70% рабочего времени аналитиков. Импорт библиотек Первое, что вам нужно сделать, это импортировать библиотеки для предварительной обработки данных. Доступно множество библиотек, но наиболее популярными и важными библиотеками Python для работы с данными являются Numpy, Matplotlib и Pandas. Numpy - это библиотека, используемая для всех математических вещей. Pandas - лучший инструмент для импорта и манипуляций с датасетами. Matplotlib (Matplotlib.pyplot) - это библиотека для создания диаграмм. Альтернативными решениями для Matplotlib могут выступать библиотеки Seaborn и Plotly. Как правило, ...
Далее...