建立 Data Pipeline 的基本原則與痛點

[jazzwang]

• 講者姓名 Name: Bryan Yang
• 單位名稱 Organization & Job Title: LINETV
• 講者簡介 Self Introduction:

目前在團隊內做各種打雜扛轎，幫助團隊成員產生更多價值。

• 演講主題 Talk Topic: 建立 Data Pipeline 的基本原則與痛點
• 講題摘要 Abstract:

Data pipeline 是一個包括資料處理邏輯以及系統架構的領域。需要根據業務需求擬定要搜集的資料、根據資料量還有資料複雜度來設計管線系統、根據業務邏輯來規劃不同的資料處理流程。本次講題將會介紹基本管線系統的設計、以及規劃資料處理流程時需要注意的原則與雷點。