數據準備與工作流程

數據分析概述

在智慧製造的大背景下,對資料進行分析並挖掘其中的資訊是智慧製造的關鍵內容。所謂資料分析,就是從數據中提煉資訊、發掘價值、形成洞察,並最終輔助決策的過程。

資料分析可以分為四個漸進式階段, 這也與工業4.0成熟度水準相符：

● 描述性分析：對正在或已發生的資料進行描述與分析;

● 診斷性分析：事件發生的原因;

● 預測性分析：預測將來要發生的事件;

● 指導性分析：又叫規範性分析,在預測的基礎上,結合業務流程,提供指導建議。

從技術角度出發,可以將智慧製造領域的資料分析分為兩類：

● 基於歷史資料的離線大資料分析

● 基於即時資料的線上即時分析

即時分析的核心是高吞吐、低延遲、無中斷。由於工業領域的資料量級是非常巨大的,同時,大部分數據又是不可以直接使用的,比如需要濾波、截取、聚合等計算。這就首先需要對即時流資料進行處理,然後再進行分析或展示,而資料處理更多是基於預先設定好的規則(或模型)。

然而,資料處理的規則(或模型)則需要利用歷史大資料,特別是借助於機器學習等方法,對歷史大資料訓練出符合業務要求的模型。

另外,針對歷史資料還可以做更複雜的分析,如預測性分析、指導性分析等。

因此,智慧製造的資料分析應該包含對流資料的即時分析,以及對歷史資料的分析(以機器學習為主)兩種類型,並根據實際場景結合使用或者單獨應用。

數據分析在智慧製造領域的工作流程

業務需求定義

資料獲取

原始資料處理

機器學習

模型部署

數據視覺化

1. 業務與需求定義

首先要確定需要解決的問題並理解業務要求,將實際問題抽象成可用建模方法解決的問題。

2. 資料獲取

資料獲取包括即時資料的現場採集和歷史資料的收集。現場採集的資料因具有即時性,需要通過消息匯流排(比如MQTT)進行傳輸;歷史資料除了收集之外,還需要考慮匯總、存儲等問題。

3. 資料處理

資料處理同樣分為針對歷史資料進行處理,以及對即時流資料進行處理。

即時資料流處理

所謂資料流,就是成百上千台設備工作時持續生成的資料。絕大部分場景下,工業領域產生的流資料不能直接用於分析或視覺化展示,需要進行一定的處理或轉換,同時要確保低延遲。

Altair Panopticon Streams 是一個 CEP 流處理引擎,基於 Apache kafka 和 Kafka Streams 框架構建的。與各種資料源直接連接,而無需任何中介軟體,確保極低的延遲(可以達到毫秒級的響應)。

Panopticon Streams自帶多種函數,可以通過訂閱的方式直接連接各種資料來源,並對即時資料進行各種處理, 比如去噪、濾波、傅裡葉變換、聚合、分支、合併等計算。同時,Panopticon Streams集成了Python等語言,可以在統一環境下定義客戶自己的業務邏輯及演算法,豐富其計算和資料處理能力。

歷史資料處理

製造業的資料包括各種可能的源,所有這些來源可能以不同的格式存儲資料,並且幾乎總是由完全獨立的系統生成和管理,其中包括 ERP(企業資源計畫)、MES(製造執行系統)和SCADA(資料獲取和監視控制)系統以及集成在生產設備和感測器中的 PLC (可程式設計邏輯控制) 生成的資料。如何把多源異構的資料轉換成結構化資料是在做資料分析之前先要解決的問題。

Altair Monarch 是一個專業的自助式資料準備工具,包括資料抓取和資料清理兩個核心功能。

Monarch 的核心功能包括：

資料連接: Monarch可以直接與各種文字檔(如pdf,text)、表格、資料庫、應用程式、大資料庫、網頁等直接連接並讀取其數據。

數據抓取: 根據資料的格式、範本和內容,制定資料抓取的規則和流程,把非結構化資料轉換成結構化的資料。資料處理:對轉換後的資料進行各種資料處理工作,比如:排序,去重、轉置,合併、拆分、透視表、連接、以

及各種自訂計算等等。

自動化處理: 對於資料範本一致,要求相同,僅資料不同的資料檔案,從資料連接,抓取,處理,存儲全過程可以完全自動化資料處理。

Altair Monarch 數據準備平台

Altair 的資料準備軟體 Monarch 可以訪問、清理和格式化來自各種源 (包括Excel、CSV、PDF、TXT、JSON、 XML、HTML、SQL 資料庫、大資料 (如Hadoop) 等) 的資料,而無需任何手動輸入資料或編碼。數十個預構建的資料準備功能,通過快速組合,可以對各種資料集處理變得非常容易。這種簡單的資料清理方法無需在Excel中編寫代碼、編寫腳本或創建樞紐分析表或使用 vLookup 函數。

想了解更多，歡迎聯絡我們。

安捷新科技股份有限公司 AgileSim Technology Corp.

電話 : (02)2518-9060
郵件 : info@agilesim.com.tw