Lets Analyse it!

  Это будет небольшой пост про мое знакомство с облачной MPP-базой Snowflake, с которой мне удалось немного поработать, выполняя лабораторные работы курса DE-101 от сообщества DataLearn . Snowflake - это облачная mpp-база данных, реализованная по модели SaaS (Software as a Service), родом из США.  В России облачные технологии пока не нашли массового принятия в бизнесе, но в Штатах тренд на перенос процессов в облако продолжается уже несколько лет. Бизнес считает затраты и понял, что миграция в облако обходится в конечном счете дешевле он-премис решений. И способствовало этому появление облачных инструментов, в т.ч. баз данных нового поколения, таких как Redshift от Amazon. Redshift появился в 2012 году и по сути, его выпуск стал той точкой, когда началась облачная эра в обработке и хранении данных. Snowflake вышел в 2016 и на тот момент был темной лошадкой, про которую никто не знал, но сейчас многие бизнесы из сферы технологий выбирают эту базу данных. В чем же  преимуще...

В кейсе  Zero to Snowflake  нужно было реализовать end-to end решение от поставки исходных данных их CRM Salesforce до создания визуализации на основе этих данных. Оригинальный пайплайн поставки данных выглядел так: Salesforce data -> Fivetran replication -> Snowflake warehouse -> Tableau dashboards Я решил заменить последний шаг пайплайна на Apache Superset. И вот здесь все пошло не так гладко. В этом небольшом гайде решил описать, с какими трудностями пришлось столкнуться и как я их решал. Для того, чтобы подключить Superset нужно проделать следующие шаги На стороне Snowflake Зайти в раздел Admin/Security на боковой панели и создать сетевую политику (Network Policy) Я на стал заморачиваться с прописыванием своего ip, для тестовых целей просто задал allow для всех адресов.  Не делайте так для своего продакшн окружения! Затем создадим сервисную учетку для Superset. Идем в меню Admin/Users & Roles и добавляем юзера superset Из дополнительных параметров я рек...