Familiar dengan Google BigQuery?
Secara garis besar, Google BigQuery adalah salah satu service cloud yang digunakan oleh Tim Data, Warung Pintar. Google BigQuery sendiri merupakan multi-cloud dan serverless data warehouse yang didesain untuk kebutuhan analisa data.
Sudah setahun lebih Warung Pintar menggunakan service tersebut, di mana kami telah memiliki 2000+ tables dan viewsyang digunakan untuk melakukan analisa. Namun, dari sekian banyak tabel yang ada, tidak semuanya ter-update, bahkan ada pula yang sudah tidak terpakai.
Kali ini, saya akan membagikan pengalaman Tim Data Engineer, Warung Pintar, dalam melakukan housekeeping BigQuery untuk melakukan optimisasi cost service.
Membahas optimisasi cost service, hal utama…
Setiap pekerjaan tentu punya ceritanya masing-masing. Sama halnya seperti yang saya alami selama kurang lebih 1.5 tahun berkecimpung di dunia data, tepatnya sebagai Data Engineer.
Setelah waktu itu sempat menuliskan tentang apa itu Data Engineer dan apa yang dilakukan serta ingin dibangun oleh Tim Data Engineer, seperti yang bisa dibaca di sini, https://medium.com/warung-pintar/data-engineer-mari-mengenal-21119bb0fc1a, kali ini, saya akan kembali melanjutkan cerita saya mengenai keseruan lain menjadi seorang Data Engineer, salah satunya adalah isu terkait integrasi data yang sering saya temui sehari-hari.
Setelah kemarin saya menyinggung mengenai perbedaan kebutuhan suatu database A dan database B sehingga dibutuhkan proses ETL, sekarang, saya ingin…
In this story I will give my experience about ETL process on google spreadsheet and store it into bigquery. Let’s begin
First, of course we need to add some data into google spreadsheet. Here is my example data:
Ada pepatah yang berbunyi, “As much as you want to plan your life, it has a way of surprising you with unexpected things.” Kenapa tiba-tiba saya mengeluarkan pepatah itu? Pada awalnya, saya sudah berencana untuk menulis cara melakukan analisa kode dari sebuah platform git. Namun, COVID-19 muncul dan saya pun memutuskan untuk mengubah agenda penulisan saya.
Membahas sedikit mengenai COVID-19, sama seperti mayoritas karyawan pada umumnya, kami, AnWar, singkatan dari Anak Warung, sebutan untuk karyawan Warung Pintar, sedang menerapkan physical distancing, di mana kami dituntut untuk Work From Home atau WFH di tempat tinggal masing-masing sebagaimana yang dianjurkan pula oleh…
Actually I just finished this project 9 month ago. But I am too lazy to write it on medium haha. Now, I am just trying to make it more readable and easy to learn for everyone. Here we go :
Surabaya has a portal that collect all the complaint from the Surabayan People about the service of the city (especially government services). Kindly check this website https://mediacenter.surabaya.go.id to see more detail.
What we do now ? okay first I really curious about that data. You can see on the website that all the complaints is text based. So, can the…
Dalam cerita kali ini saya membagikan sebuah kisah unik sewaktu saya berhadapan dengan airflow. Ya kita sebagai tim Data Engineer di Warung Pintar menggunakan airflow melalui google cloud composer sebagai sarana untuk melakukan scheduling dan monitoring workflow khususnya terkait kebutuhan ETL. Untuk dokumentasi airflow lebih lengkap ada di sini .
Setelah mengetahui lebih tentang airflow, maka tibalah saatnya kisah unik itu terjadi. Airflow memiliki sebuah fungsi untuk dapat memberikan notifikasi ketika sebuah job pada DAG (Directed Acyclic Graph) error ataupun sukses. Notifikasi itu dikirim melalui email. Sehingga pada setting args secara umum untuk DAG adalah sebagai berikut :
default_args =…Beberapa waktu yang lalu saya mendapatkan sebuah task yang tidak biasa. Kenapa tidak biasa ? karena problem pada task ini tidak biasa, saya harus mengirim lewat email melalui google sheet. Mana bisa ? Mana mungkin ? itu lah yang terpikir pada benak saya. Sebelumnya saya ucapkan terima kasih kepada co-workers saya yang benar-benar memberikan pencerahan mas Cal.
Kenapa bisa berhadapan dengan masalah itu?
Jadi sebelumnya yang terjadi adalah, saya memiliki sebuah google form yang isinya permintaan dari co-workers Warung Pintar untuk sebuah akses data. Dimana jika ada user yang telah mengisi form tersebut maka ada email notifikasi yang dikirimkan kepada…
Well, this is my second story since I began my medium in February. It took almost 6 months for me to start writing again, LOL. Before I start it, I will continue this story using Bahasa.
Jika kalian membaca cerita pertama saya mengenai folium https://medium.com/@adamwdb/playing-with-kasir-pintars-data-using-folium-in-python-e097948ebd4d , saya merupakan android developer. Namun sudah selama 1 bulan ini saya mendapatkan pekerjaan yang baru sebagai Data Engineer di Warung Pintar. Oleh karena itu, ini lah saat yang tepat bagi saya untuk berbagi sedikit cerita mengenai pekerjaan baru ini. …
This is my first story in medium. Everyday I work as an android developer at Kasir Pintar.
But one day, I was curious and idle about the data on this startup. Therefore I am trying now to ‘play’ with the data.
The thing that is very easy to do is to play EDA (exploratory data analysis) on that data. But here I will not provide an explanation of how to process the data (because this is confidential data)
Here I will provide information about visualizing the data on the map using FOLIUM in python
what is folium?
