Web-Scrapers


Здесь приведены ссылки на мои парсеры (скраперы) на Python


1. Парсер сайта kotelock.ru (e-com)


2. Парсер сайта bestceramic.ru (e-com)


3. Парсер сайта winstyle.ru (e-com)


4. Парcер сайта lamptest.ru (e-com)


5. Парсер вакансий hh.ru


6. Парсер сайта decor-of-today.com(e-com)


7. Парсер сайта citilink.ru(e-com)


8. Парсер блога baguzin.ru(blog)


9. Парсер сайта filmdoo.com (films)


10. Парсер сайта skifmusic.ru (ecom)


11. Парсер сайта dobrotcen.ru (ecom)


12. Парсер сайта decathlon.ru (ecom)

Комментарии

Отправить комментарий

Популярные сообщения из этого блога

Быстрый импорт в базу данных с помощью DBeaver

Изображение
 Сегодня расскажу про небольшой лайфхак о том, как можно быстро загрузить вашу дату в базу данных используя минимум кодинга. Но сначала опишем суть проблемы, которую данный лайфхак решает. Итак, у нас есть некая дата, которая хранится во внешних файлах (например, в csv). Нам нужно загрузить дату в базу данных (далее БД), причем в самой БД нет таблиц предназначенных для загрузки. Делаем по старинке Классическим решением будет провести анализ содержимого таблиц, выписать названия полей и их формат. Затем создать с помощью SQL запроса сами таблицы. Это будет выглядеть примерно вот так: А затем нужно будет сформировать INSERT запрос для каждой строки файла для вставки его в БД. Если в вашем файле 30 тысяч строк, то придется писать запрос для каждой строки. Здесь без Excel или Google Sheets не обойтись. Так как используется инструментарий таблиц для работы со строками можно ускорить процесс создания тела INSERT запроса. Итоговый запрос может выглядеть вот так: Остается только подключить...
Далее...

Jupyter-фишки, которые облегчат жизнь аналитику

Изображение
Если ты работаешь аналитиком или пока еще изучаешь предмет, наверняка, твой основной рабочий инструмент - Jupyter Notebook. И все дело в том, что аналитики используют Python немного по-другому, в отличие от Python-программистов. Конечно, можно делать исследования и в какой-нибудь навороченной IDE, но работа в Jupyter уже давно стала стандартом для аналитиков. А сегодня посмотрим на фишки Jupyter, которые помогут сделать твою работу еще более продуктивной и интересной. Конечно ты знаешь такие pandas команды для обзора датафрейма, как info и describe . Но что, если можно было бы одной командой узнать гораздо больше информации и причем сразу вывести ее в интерактивном  чарте?  Pandas profiling Эта библиотека позволяет выводить расширенную информацию о датафрейме, которую , кстати, можно сохранить в HTML-файл.  Установка Устанавливать Pandas profiling советую не через pip, а через conda. Причем, лучше сразу указывать последнюю версию. Мне по умолчанию conda поставила версию ...
Далее...

Два способа загрузить свой датасет в Python

Изображение
  Если вы только начинаете осваивать анализ данных, то наверняка задавались вопросом, как загрузить данные в Python, чтобы начать их анализ. В этой статье покажу 2 способа, как это можно сделать. Способ 1. Загружаем данные с помощью модуля csv Для примера возьмем датасет с рейтингом отзывов по производителям рамена. Рамен - это популярная еда в Азии, лапша быстрого приготовления с различными вкусами. В дальнейших постах мы будет работать именно с этим датасетом. Посмотрим как он выглядит с помощью редактора Notepad++ Используя следующий код мы получим данные из нашего датасета используя CSV модуль При таком способе загрузки CSV модуль загружает данные из датасета в список построчно. Каждый элемент списка будет представлять одну строку нашего датасета, которая в свою очередь тоже будет списком с элементами строки. Т.е это будет список списков. Такой способ выглядит довольно громоздко и является малоэффективным для обработки больших датасетов. Поэтому, мы воспользуемся вторым способо...
Далее...

Подключаем Jupyter Notebook к Google Bigquery

Изображение
Сегодня рассмотрим такой интересный кейс, как работу с Bigquery прямо из оболочки Jupyter. Возможно, вы подумаете, а зачем козе баян? Ведь тот же код можно запускать и напрямую в веб-интерфейсе GBQ. Несомненно, веб-интерфейс позволяет отслеживать такие параметры запроса как его объем, скорость выполнения, а также правильность составления самого тела запроса, чего в Jupyter нет. Однако есть и плюсы от такого решения. Данные запроса можно мгновенно загнать в датафрейм Pandas и начать исследовать, в то время как работая в веб-интерфейсе, вам сначала придется выгрузить их в CSV/JSON, а только потом загрузить в Pandas. При этом результаты запроса не должны превышать 16000 строк. Что ж, достаточно для вступления, переходим к технической части. Нам нужен сервисный аккаунт в Google Cloud Подробно про создание сервисного аккаунта я рассказывал в этом посте . Процедура точно такая же, за исключением следующих моментов. Во-первых, на шаге выбора API, к которому мы будем подключаться, надо выбрат...
Далее...

5 приемов при работе с модулем datetime в Python

Изображение
Сегодня посмотрим на Python-библиотеку datetime - незаменимый набор инструментов для обработки данных с датой и временем. Я дам обзор пяти основных приемов этой библиотеки, которые закроют большинство ваших проблем при обработки дат и времени. Поехали! Понимание что такое объект datetime в Python. Прежде чем приступить к разбору самих приемов полезно посмотреть, как устроены дата и время в datetime. Основным строительным блоком является объект datetime. И вполне логично, что это комбинация объекта даты и объекта времени (привет, кэп Очевидность!) Объект даты - это просто набор значений года, месяца, дня плюс набор функций, которые умеют их обрабатывать. Аналогичным образом устроен объект времени. Он включает значения часа, минут, секунд, микросекунд и часового пояса. Любое время может быть представлено соответствующим выбором этих значений. 1. combine() import datetime # (часы, минуты) start_time = datetime.time(20, 0) # (год, месяц, день) # Создаем объект datetimet start_date...
Далее...