串流客戶進線問題預測平台架構

[jazzwang]

• 演講主題 Talk Topic: 串流客戶進線問題預測平台架構
• 講者姓名 Name: Huang, Jen-Fu
• 單位名稱 Organization & Job Title: 國泰金控數數發/資料科學研發科/Sr.Data Engineer
• 講者簡介 Self Introduction: https://www.linkedin.com/in/jen-fu-huang-115436a9/
• 講題摘要 Abstract:

在特定應用場景下，如果我們能夠在事件發生的當下，即時對散落在企業各個角落的客戶歷程資料，做出 Real-Time 或 Near Real-time 的處理，僅透過資料工程、模型服務架構的改變，對客戶行為預測這類的序列化資料應用模型，在預測的準確度上能有一定程度的提升。

目標聽眾為對於企業實務上在即時串流資料處理、應用有興趣的人。希望藉由本次分享，讓大家理解到提供即時串流資料處理的架構，如何對線上預測產生幫助；並讓大家了解結合資料工程、資料分析領域成員的共同努力，對資料科學專案其成果能有更深一層的產出及影響力。

整個 PoC 藉由「串流客服進線問題預測」商業情境進行討論、規劃，以 Python 為程式語言，使用 Kafka、Spark structure streaming、state store、TF Serving、container 等即時串流及線上模型框架進行 High Level Design、Detail Design、系統開發、單元測試、整合測試。

內容將與大家分享本次「串流客服進線問題預測」專案，如何在資料科學實驗室中透過跨領域同仁的共同討論、研究、推進，最後將設計分為「事件處理」、「事件狀態儲存」、「線上即時預測」三個階段的架構流程產出 PoC 結果；達成於資料工程、資料分析兩個領域上，透過即時串流架構，分別能夠做到包含商業邏輯，高併發的將事件利用模擬程式送出，於「事件處理」實際處理每一筆事件處理時間小於1秒鐘即可將事件寫入「事件狀態儲存」節點等待即時預測時查詢、預測時於「事件狀態儲存」查詢狀態時間小於15毫秒、「線上即時預測」模型透過API架構進行即時預測時間小於5毫秒，在不改變模型演算法及架構的情況下，僅透過資料工程架構的改變，利用即時串流資料的概念驗證，針對此模型可提升線上預測準確度 10~20%。