2022
Goals for This Year
- Upgrade the modern data platform, especially in the aspect of security and data quality for the innovation team at the financial firm.
- Create an online course on Data Pipelines with Airflow with Skooldio.
- Get at least 2 data engineering certificates.
- Reach 200 people on Data Engineer Cafe.
- Make the ODDS community stronger and gain competitive advantage.
Goal Summary for This Year
- ✅ Upgrade the modern data platform, especially in the aspect of security and data quality for the innovation team at the financial firm. ข้อนี้ต้องขอบคุณ @atbee กับ @lifnaja ที่เข้ามาช่วยเสริมพลัง ทำให้ข้อนี้สำเร็จได้
- ✅ Create an online course on Data Pipelines with Airflow with Skooldio. 👉 ทำได้แล้ว ผลตอบรับไม่ได้เยอะมาก แต่อยู่ในเกณฑ์ที่พอใจ คุ้มที่ลงแรงไป
- ✅ Get at least 2 data engineering certificates. 👉 ได้มา 4 certificates ที่เกี่ยวกับ data engineering
- ❌ Reach 200 people on Data Engineer Cafe. 👉 ตอนนี้มี 153 คน ก็ถือว่าไม่เลว แต่ยังไม่ถึงเป้า
- 🤔 Make the ODDS community stronger and gain competitive advantage. 👉 ข้อนี้ไม่ได้ปักว่าจะวัดผลอย่างไรตั้งแต่แรก อย่างไรก็ดี รู้สึกว่า stronger ขึ้น แล้วก็มี competitive advantage เพิ่มมากขึ้นด้วย ฟังจากที่ไซต์ที่เข้าไปดูแลอยู่เป็นหลัก แล้วก็งาน conference ต่าง ๆ ติดต่อเข้ามาแทบทุกเจ้า
Goals for Next Year
- Build a successful data-focused teams.
Projects
Data Pipelines with Airflow @Skooldio
See the course detail here: Data Pipelines with Airflow -- Launched on Aug 22, 2022
Modern Data Platform for Innovation Team
- Enhance the modern data platfrom, especially in the aspect of security and data quality.
Technology Stack
- AWS Cloud
- Amazon S3
- EKS (K8s)
- AWS Lambda
- RDS (Postgres)
- Security Hub
- Secrets Manager
- Amazon EFS
- Google Cloud
- Google BigQuery
- Google Data Studio
- Google Data Catalog
- Deployment
- ArgoCD
- Jenkins
- Kubernetes (K8s)
- Pulumi
- Terraform
- Data Pipeline
- Airflow (with our own infrastructure and Astronomer)
- Dagster
- Data Analytics
- dbt
- Data Catalog
- CKAN
- dbt
- Monitoring
- Prometheus
- Grafana
- Identity & User Management
- Keycloak
สอน DS525: Data Warehouse and Business Intelligence @Srinakharinwirot University (SWU)
เป็นคอร์สของปริญญาโท ตั้งแต่ 20 ส.ค. ถึง 23 ธ.ค. เนื้อหาเป็นเรื่อง Data Engineering โดยมี course outline ตามนี้
- Introduction to Data Engineering and Data Modeling
- Building a Data Warehouse
- Building a Data Lake
- Creating and Scheduling Data Pipelines
- Analytics Engineering
- Data Visualization and Dashboard
Collaboration & Mentorship
—
Design & Documentation
—
Company Building
- Introduced brag documents to ODDS.
- Wrote about brag documents here: ประโยชน์ของการเขียน Brag Document
- Shared my career development here: การสร้าง Career Path ของตัวเองทำอย่างไรได้บ้าง?
What I Learned
- [Mar 30, 2022] Finished the Udacity Data Engineering Nanodegree. See my review here.
- Learned how to set up Airflow authentication with Keycloak. See here.
- Be very crystal clear on the release goal and what we will deliver in each release when set expectations with stakeholders. Collaboration is a must.
- [July 11, 2022] Completed the Analytics Engineering with dbt course by CoRise. Got the co:rise analytics engineering with dbt certification.
- [Aug 2, 2022] Got the 9-Week Data Engineering Bootcamp certificate by DPhi.
- [Sep 14, 2022] Completed the Data Engineering with Dagster course by CoRise. Got the CoRise Data Engineering w Dagster certification.
- [Nov 22-24, 2022] Got a certificate of attendance of Architecture by Test-Driven Development by Terry Yin
Outside of Work
Blog Posts
- [Jan 20, 2022] ทำไมเวลาสร้าง Data Pipeline ควรโหลดข้อมูลมาเก็บลง Storage หรือ Data Lake ก่อน?
- [Feb 21, 2022] "ถ้ามีปัญหาอะไรก็บอกนะ" เลิกพูดแบบนี้ได้แล้ว ถ้าอยากจะสร้างทีม
Talks
- [Jan 30, 2022] Intro to Data Engineering @DataRockie Bootcamp
- [Mar 19, 2022] Sawasdee dbt: The Data Transformation Tool that Makes Analytics Engineering Easier @Dev Mountain Tech Festival 2022 (YouTube)
- [Jun 2, 2022] What is GitOps and How Does It Help You Ship Your Software Faster? @ThursTech (Facebook Video)
- [Jun 4, 2022] Becoming Data Engineering Consultant @R2DE Live 2022 EP 5
- [Jun 10, 2022] วิทยาศาสตร์ข้อมูล (Data Science) ช่วยในการบริหารงานห้องสมุดให้มีประสิทธิภาพได้อย่างไร (see event detail)
- [Nov 13, 2022] Doing Great Work at Your Job isn't Enough. You'll Need to Brag Yourself! @Dev Mountain Tech Festival 2022 #2 (YouTube)
Workshops
- [Nov 22-24, 2022] Architecture by Test-Driven Development by Terry Yin
- [Nov 17, 2022] Getting Started with Analytics Engineering (KBank x Skooldio)
Meetups & Conferences
- [Aug 9, 2022] จัดงาน Data Council BKK Meetup #7 (ดูรายละเอียดได้ที่ event detail และดูย้อนหลังได้ที่ YouTube)
- [Oct 16, 2022] จัดงาน Grill the Data 2022 ที่ TISCO ร่วมกับ Data Communities อย่าง DataRockie, DataTipsy, และ BigData RPG (see event detail)
- [Nov 20, 2022] จัดงาน Grill the Data 2022 ครั้งที่ 2 ที่ Clazy Cafe' ร่วมกับ Data Communities อย่าง DataRockie, DataTipsy, และ BigData RPG (see event detail)
Books Read
- [May 21, 2022] Data Teams: A Unified Management Model for Successful Data-Focused Teams
- [Jul 31, 2022] Data Mesh: Delivering Data-Driven Value at Scale
- [Aug 22, 2022] Data Pipelines with Apache Airflow
- [Sep 24, 2022] PDPA ฉบับเข้าใจง่าย สไตล์ EasyPDPA
- [Dec 11, 2022] People Skills for Analytical Thinkers
- [Dec 28, 2022] โอชิ เทคนิคเขียนทุกสิ่งให้กลายเป็น VIRAL
- [Dec 30, 2022] Making Work Visible: Exposing Time Theft To Optimize Work & Flow