Web-Scrapers


Здесь приведены ссылки на мои парсеры (скраперы) на Python


1. Парсер сайта kotelock.ru (e-com)


2. Парсер сайта bestceramic.ru (e-com)


3. Парсер сайта winstyle.ru (e-com)


4. Парcер сайта lamptest.ru (e-com)


5. Парсер вакансий hh.ru


6. Парсер сайта decor-of-today.com(e-com)


7. Парсер сайта citilink.ru(e-com)


8. Парсер блога baguzin.ru(blog)


9. Парсер сайта filmdoo.com (films)


10. Парсер сайта skifmusic.ru (ecom)


11. Парсер сайта dobrotcen.ru (ecom)


12. Парсер сайта decathlon.ru (ecom)

Комментарии

Отправить комментарий

Популярные сообщения из этого блога

Jupyter-фишки, которые облегчат жизнь аналитику

Изображение
Если ты работаешь аналитиком или пока еще изучаешь предмет, наверняка, твой основной рабочий инструмент - Jupyter Notebook. И все дело в том, что аналитики используют Python немного по-другому, в отличие от Python-программистов. Конечно, можно делать исследования и в какой-нибудь навороченной IDE, но работа в Jupyter уже давно стала стандартом для аналитиков. А сегодня посмотрим на фишки Jupyter, которые помогут сделать твою работу еще более продуктивной и интересной. Конечно ты знаешь такие pandas команды для обзора датафрейма, как info и describe . Но что, если можно было бы одной командой узнать гораздо больше информации и причем сразу вывести ее в интерактивном  чарте?  Pandas profiling Эта библиотека позволяет выводить расширенную информацию о датафрейме, которую , кстати, можно сохранить в HTML-файл.  Установка Устанавливать Pandas profiling советую не через pip, а через conda. Причем, лучше сразу указывать последнюю версию. Мне по умолчанию conda поставила версию ...
Далее...

Быстрый импорт в базу данных с помощью DBeaver

Изображение
 Сегодня расскажу про небольшой лайфхак о том, как можно быстро загрузить вашу дату в базу данных используя минимум кодинга. Но сначала опишем суть проблемы, которую данный лайфхак решает. Итак, у нас есть некая дата, которая хранится во внешних файлах (например, в csv). Нам нужно загрузить дату в базу данных (далее БД), причем в самой БД нет таблиц предназначенных для загрузки. Делаем по старинке Классическим решением будет провести анализ содержимого таблиц, выписать названия полей и их формат. Затем создать с помощью SQL запроса сами таблицы. Это будет выглядеть примерно вот так: А затем нужно будет сформировать INSERT запрос для каждой строки файла для вставки его в БД. Если в вашем файле 30 тысяч строк, то придется писать запрос для каждой строки. Здесь без Excel или Google Sheets не обойтись. Так как используется инструментарий таблиц для работы со строками можно ускорить процесс создания тела INSERT запроса. Итоговый запрос может выглядеть вот так: Остается только подключить...
Далее...

Подключаем Jupyter Notebook к Google Bigquery

Изображение
Сегодня рассмотрим такой интересный кейс, как работу с Bigquery прямо из оболочки Jupyter. Возможно, вы подумаете, а зачем козе баян? Ведь тот же код можно запускать и напрямую в веб-интерфейсе GBQ. Несомненно, веб-интерфейс позволяет отслеживать такие параметры запроса как его объем, скорость выполнения, а также правильность составления самого тела запроса, чего в Jupyter нет. Однако есть и плюсы от такого решения. Данные запроса можно мгновенно загнать в датафрейм Pandas и начать исследовать, в то время как работая в веб-интерфейсе, вам сначала придется выгрузить их в CSV/JSON, а только потом загрузить в Pandas. При этом результаты запроса не должны превышать 16000 строк. Что ж, достаточно для вступления, переходим к технической части. Нам нужен сервисный аккаунт в Google Cloud Подробно про создание сервисного аккаунта я рассказывал в этом посте . Процедура точно такая же, за исключением следующих моментов. Во-первых, на шаге выбора API, к которому мы будем подключаться, надо выбрат...
Далее...

Анализ данных в Tableau. Часть 3.

Изображение
  Сегодня мы финализируем наши успехи в работе с Tableau и построим дашборд с визами, которые мы сделали на прошлых уроках. Теория разработки и построения дашборда - это отдельный, объемный предмет, по которому написано много толстых книг. Я не буду углубляться в него, а просто покажу некоторые  практические этапы исполнения. Для начала в панели вкладок создадим новый пустой дашборд. В панели слева у нас расположился список доступных чартов (Sheets), управление размером (Size), и здесь я предлагаю сразу поменять значение Range  на Automatic. Внизу блок с объектами и галочка отображения заголовка. Отметим ее и напишем заголовок нашего дашборда. Через контекстное меню заголовка можно вывести панель Formating и поменять стиль заголовка: центрировать расположение, задать цвет/фон/размер текста. Затем заполним пространство дашборда объектом Horizontal block и путем перетаскивания расположим наши чарты один под другим так, как на скриншоте. Наведем порядок в панели справа. Сейч...
Далее...

Два способа загрузить свой датасет в Python

Изображение
  Если вы только начинаете осваивать анализ данных, то наверняка задавались вопросом, как загрузить данные в Python, чтобы начать их анализ. В этой статье покажу 2 способа, как это можно сделать. Способ 1. Загружаем данные с помощью модуля csv Для примера возьмем датасет с рейтингом отзывов по производителям рамена. Рамен - это популярная еда в Азии, лапша быстрого приготовления с различными вкусами. В дальнейших постах мы будет работать именно с этим датасетом. Посмотрим как он выглядит с помощью редактора Notepad++ Используя следующий код мы получим данные из нашего датасета используя CSV модуль При таком способе загрузки CSV модуль загружает данные из датасета в список построчно. Каждый элемент списка будет представлять одну строку нашего датасета, которая в свою очередь тоже будет списком с элементами строки. Т.е это будет список списков. Такой способ выглядит довольно громоздко и является малоэффективным для обработки больших датасетов. Поэтому, мы воспользуемся вторым способо...
Далее...