Description
PyCon APAC 2022｜一般演講 Talks｜國泰金控 Cathay Financial Holdings / 美光科技 Micron 冠名贊助
✏️ 共筆 Note：https://hackmd.io/@pycontw/S1DcUpQ1j 🖐🏻 Slido：https://app.sli.do/event/8hH219vCQBbpRSLkw6tjUP 💬 語言 Language：中文演講/英文投影片 Chinese talk w. English slides 🎯 層級 Level：中階 Intermediate 🔎 分類 Category：測試 Testing
💡 摘要 Abstract 💡 過完版還在擔心 Data Pipeline 是否符合預期嗎? 本演講將說明 Data pipeline 要如何進行測試，包含了在開發環境如何針對資料處理邏輯及 Dag 進行測試，和使用 pytest-postgresql 小技巧，在正式環境如何設計一個穩健的 Data pipeline，包含了 Sensor 與 Great expectation，幫助大家完成測試後可以安心部署放心下班，上線也能確保輸入輸出是正確無誤的。
🚀 講者介紹 About Speaker - Tim Chiu 🚀 擁有四年的資料工程師經驗，在期間建立約 10 種不同 data pipeline ，每日處理資量超過 12 億筆．
#python #pycontw #pyconapac2022 #datapipeline #testing #postgresql
Follow “PyCon Taiwan” ⭐️ Official Website: https://tw.pycon.org ⭐️ Facebook: https://www.facebook.com/pycontw ⭐️ Instagram: https://www.instagram.com/pycontw ⭐️ Twitter: https://twitter.com/PyConTW ⭐️ LinkedIn: https://www.linkedin.com/company/pycontw ⭐️ Blogger: https://pycontw.blogspot.com