17.6K
7307
流式大數據
大數據處理系統中的大數據可分為批式大數據和流式大數據兩類。其中,批式大數據又稱歷史大數據,流式大數據又稱實時大數據。
流式計算取代傳統的批處理計算被廣泛應用于實時信息推薦、實時搜索等領域中。與大數據批處理不同,流式大數據處理的特點主要包括:①流水式數據模式。數據源源不斷流入處理單元被處理,各個處理單元之間通過網絡進行傳播。②數據產生速率隨時間呈波動性變化。由于流式大數據處理平臺上的數據多來源于用戶行為產生的數據,而用戶行為隨時間波動性變化。③數據具有高時效性。在實時處理業務場景中,對數據處理過程中的延遲要求十分嚴格。流式大數據處理平臺以低延遲作為服務質量的主要目標之一。流式大數據處理平臺主要分為兩類,即小批量數據流處理和直接數據流處理等。