數(shù)據(jù)采集

數(shù)據(jù)采集（DAQ），是指從傳感器和其它待測設(shè)備等模擬和數(shù)字被測單元中自動采集非電量或者電量信號，送到上位機中進行分析，處理。數(shù)據(jù)采集系統(tǒng)是結(jié)合基于計算機或者其他專用測試平臺的測量軟硬件產(chǎn)品來實現(xiàn)靈活的、用戶自定義的測量系統(tǒng)。

數(shù)據(jù)采集，又稱數(shù)據(jù)獲取，是利用一種裝置，從系統(tǒng)外部采集數(shù)據(jù)并輸入到系統(tǒng)內(nèi)部的一個接口。數(shù)據(jù)采集技術(shù)廣泛應(yīng)用在各個領(lǐng)域。比如攝像頭，麥克風(fēng)，都是數(shù)據(jù)采集工具。

被采集數(shù)據(jù)是已被轉(zhuǎn)換為電訊號的各種物理量，如溫度、水位、風(fēng)速、壓力等，可以是模擬量，也可以是數(shù)字量。采集一般是采樣方式，即隔一定時間（稱采樣周期）對同一點數(shù)據(jù)重復(fù)采集。采集的數(shù)據(jù)大多是瞬時值，也可是某段時間內(nèi)的一個特征值。準(zhǔn)確的數(shù)據(jù)測量是數(shù)據(jù)采集的基礎(chǔ)。數(shù)據(jù)量測方法有接觸式和非接觸式，檢測元件多種多樣。不論哪種方法和元件，均以不影響被測對象狀態(tài)和測量環(huán)境為前提，以保證數(shù)據(jù)的正確性。數(shù)據(jù)采集含義很廣，包括對面狀連續(xù)物理量的采集。在計算機輔助制圖、測圖、設(shè)計中，對圖形或圖像數(shù)字化過程也可稱為數(shù)據(jù)采集，此時被采集的是幾何量（或包括物理量，如灰度）數(shù)據(jù)。

在互聯(lián)網(wǎng)行業(yè)快速發(fā)展的今天，數(shù)據(jù)采集已經(jīng)被廣泛應(yīng)用于互聯(lián)網(wǎng)及分布式領(lǐng)域，數(shù)據(jù)采集領(lǐng)域已經(jīng)發(fā)生了重要的變化。首先，分布式控制應(yīng)用場合中的智能數(shù)據(jù)采集系統(tǒng)在國內(nèi)外已經(jīng)取得了長足的發(fā)展。其次，總線兼容型數(shù)據(jù)采集插件的數(shù)量不斷增大，與個人計算機兼容的數(shù)據(jù)采集系統(tǒng)的數(shù)量也在增加。國內(nèi)外各種數(shù)據(jù)采集機先后問世，將數(shù)據(jù)采集帶入了一個全新的時代。

現(xiàn)在談?wù)摯髷?shù)據(jù)已經(jīng)沒有新意了，形形色色的產(chǎn)品、平臺和公司都貼滿大數(shù)據(jù)標(biāo)簽，但大數(shù)據(jù)卻并沒有掀起預(yù)期颶風(fēng)，甚至還被冠以“偽命題”污名。

本末倒置，數(shù)據(jù)采集才是大數(shù)據(jù)產(chǎn)業(yè)的基石。都在說大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)價值挖掘，卻不想，沒有數(shù)據(jù)何來應(yīng)用、價值一說。就好比不開采石油，一味想得到汽油。當(dāng)然，石油開采并不容易，各行各業(yè)包括政府部門的信息化建設(shè)都是封閉式進行，海量數(shù)據(jù)被封在不同軟件系統(tǒng)，數(shù)據(jù)源多種多樣，數(shù)據(jù)量大、更新快。

大數(shù)據(jù)時代最不缺的就是數(shù)據(jù)。但面對數(shù)據(jù)資源，如何開采？用什么工具開采？如何以最低成本的開采？

數(shù)據(jù)采集方法

今天就和大家討論3種軟件系統(tǒng)的數(shù)據(jù)采集方法，重點關(guān)注實現(xiàn)過程與各自的優(yōu)缺點。

一、軟件接口方式

各個軟件廠商提供數(shù)據(jù)接口，實現(xiàn)數(shù)據(jù)采集匯聚。

實現(xiàn)過程：

· 協(xié)調(diào)多方軟件廠商工程師到場，了解所有系統(tǒng)業(yè)務(wù)流程以及數(shù)據(jù)庫相關(guān)的表結(jié)構(gòu)設(shè)計等，細(xì)節(jié)推敲，確定可行性方案；

· 編碼

· 測試、調(diào)試階段

· 交付使用

接口對接方式的數(shù)據(jù)可靠性與價值較高，一般不存在數(shù)據(jù)重復(fù)的情況；數(shù)據(jù)通過接口實時傳輸，滿足數(shù)據(jù)實時性的要求。

接口對接方式的缺點是接口開發(fā)費用高；協(xié)調(diào)各個軟件廠商，協(xié)調(diào)難度大、投入人力大；擴展性不高，如：由于業(yè)務(wù)需要各軟件系統(tǒng)開發(fā)出新的業(yè)務(wù)模塊，其和大數(shù)據(jù)平臺之間的數(shù)據(jù)接口也需做相應(yīng)修改和變動，甚至要推翻以前的所有數(shù)據(jù)接口編碼，工作量大、耗時長。

二、開放數(shù)據(jù)庫方式

實現(xiàn)數(shù)據(jù)的采集匯聚，開放數(shù)據(jù)庫是最直接的一種方式。

兩個系統(tǒng)分別有各自的數(shù)據(jù)庫，同類型的數(shù)據(jù)庫之間是比較方便的：

1. 如果兩個數(shù)據(jù)庫在同一個服務(wù)器上，只要用戶名設(shè)置的沒有問題，就可以直接相互訪問，需要在from后將其數(shù)據(jù)庫名稱及表的架構(gòu)所有者帶上即可。select * from DATABASE1.dbo.table1

2. 如果兩個系統(tǒng)的數(shù)據(jù)庫不在一個服務(wù)器上，建議采用鏈接服務(wù)器的形式處理，或者使用openset和opendatasource的方式，這個需要對數(shù)據(jù)庫的訪問進行外圍服務(wù)器的配置。

而不同類型的數(shù)據(jù)庫之間的連接就比較麻煩，需要做很多設(shè)置才能生效，這里不做詳細(xì)說明。

開放數(shù)據(jù)庫方式可以直接從目標(biāo)數(shù)據(jù)庫中獲取需要的數(shù)據(jù)，準(zhǔn)確性高，實時性也能得到保證，是最直接、便捷的一種方式。

但開放數(shù)據(jù)庫方式也需要協(xié)調(diào)各個軟件廠商開放數(shù)據(jù)庫，難度大；一個平臺如果同時連接多個軟件廠商的數(shù)據(jù)庫，并實時獲取數(shù)據(jù)，這對平臺性能也是巨大挑戰(zhàn)。不過，出于安全性考慮，軟件廠商一般不會開放自己的數(shù)據(jù)庫。

三、基于底層數(shù)據(jù)交換的數(shù)據(jù)直接采集方式

通過獲取軟件系統(tǒng)的底層數(shù)據(jù)交換、軟件客戶端和數(shù)據(jù)庫之間的網(wǎng)絡(luò)流量包，基于底層IO請求與網(wǎng)絡(luò)分析等技術(shù)，采集目標(biāo)軟件產(chǎn)生的所有數(shù)據(jù)，將數(shù)據(jù)轉(zhuǎn)換與重新結(jié)構(gòu)化，輸出到新的數(shù)據(jù)庫，供軟件系統(tǒng)調(diào)用。

技術(shù)特點如下：

1. 無需原軟件廠商配合；

2. 實時數(shù)據(jù)采集，數(shù)據(jù)端到端的響應(yīng)速度達(dá)秒級；

3. 兼容性強，可采集匯聚Windows平臺各種軟件系統(tǒng)數(shù)據(jù)；

4. 輸出結(jié)構(gòu)化數(shù)據(jù)，作為數(shù)據(jù)挖掘、大數(shù)據(jù)分析應(yīng)用的基礎(chǔ)；

5. 自動建立數(shù)據(jù)間關(guān)聯(lián)，實施周期短、簡單高效；

6. 支持自動導(dǎo)入歷史數(shù)據(jù)，通過I/O人工智能自動將數(shù)據(jù)寫入目標(biāo)軟件；

7. 配置簡單、實施周期短。

基于底層數(shù)據(jù)交換的數(shù)據(jù)直接采集方式，擺脫對軟件廠商的依賴，不需要軟件廠商配合，不僅需要投入大量的時間、精力與資金，不用擔(dān)心系統(tǒng)開發(fā)團隊解體、源代碼丟失等原因?qū)е孪到y(tǒng)數(shù)據(jù)采集成死局。

直接從各式各樣的軟件系統(tǒng)中開采數(shù)據(jù)，源源不斷獲取精準(zhǔn)、實時的數(shù)據(jù)，自動建立數(shù)據(jù)關(guān)聯(lián)，輸出利用率極高的結(jié)構(gòu)化數(shù)據(jù)，讓不同系統(tǒng)的數(shù)據(jù)源有序、安全、可控的聯(lián)動流通，提供決策支持、提高運營效率、產(chǎn)生經(jīng)濟價值。