- 相關推薦
論數(shù)據(jù)挖掘技術在電力行業(yè)中的應用論文
引言 數(shù)據(jù)挖掘是指從數(shù)據(jù)集合中自動抽取隱藏在數(shù)據(jù)中的那些有用信息的非平凡過程,這些信息的表現(xiàn)形式為:規(guī)則、概念、規(guī)律及模式等。它可幫助決策者分析歷史數(shù)據(jù)及當前數(shù)據(jù),并從中發(fā)現(xiàn)隱藏的關系和模式,進而預測未來可能發(fā)生的行為。數(shù)據(jù)挖掘的過程也叫知識發(fā)現(xiàn)的過程。
一、數(shù)據(jù)挖掘技術 數(shù)據(jù)挖掘就是指
從數(shù)據(jù)庫中發(fā)現(xiàn)知識的過程。包括存儲和處理數(shù)據(jù),選擇處理大量數(shù)據(jù)集的算法、解釋結果、使結果可視化。整個過程中支持人機交互的模式。數(shù)據(jù)挖掘從許多交叉學科中得到發(fā)展,并有很好的前景。這些學科包括數(shù)據(jù)庫技術、機器學習、人工智能、模式識別、統(tǒng)計學、模糊推理、專家系統(tǒng)、數(shù)據(jù)可視化、空間數(shù)據(jù)分析和高性能計算等。數(shù)據(jù)挖掘綜合以上領域的理論、算法和方法,已成功應用在超市、金融、銀行、生產(chǎn)企業(yè)和電信,并有很好的表現(xiàn)。
二、數(shù)據(jù)挖掘的過程
挖掘數(shù)據(jù)過程可以分為3個步驟:數(shù)據(jù)預處理、模式發(fā)現(xiàn)、模式分析。
(1)數(shù)據(jù)預處理。實際系統(tǒng)中的數(shù)據(jù)一般都具有不完全性、冗余性和模糊性。因此,數(shù)據(jù)挖掘一般不對原始數(shù)據(jù)進行挖掘,要通過預處理提供準確、簡潔的數(shù)據(jù)。預處理主要完成以下工作:包括合并數(shù)據(jù),將多個文件或多個數(shù)據(jù)庫中的數(shù)據(jù)進行合并處理;選擇數(shù)據(jù),提取出適合分析的數(shù)據(jù)集合;數(shù)據(jù)清洗、過濾,剔除一些無關記錄,將文件、圖形、圖像及多媒體等文件轉換成可便于數(shù)據(jù)挖掘的格式等。
(2)模式發(fā)現(xiàn)。模式發(fā)現(xiàn)階段就是利用挖掘算法挖掘出有效的、新穎的、潛在的、有用的以及最終可以理解的信息和知識�？捎糜赪eb的挖掘技術有路徑選擇、關聯(lián)分析、分類規(guī)則、聚類分析、序列分析、依賴性建模等等。
(3)模式分析。模式分析是從模式發(fā)現(xiàn)階段獲得的模式、規(guī)則中過濾掉不感興趣的規(guī)則和模式。通過技術手段,對得到的模式進行數(shù)據(jù)分析,得出有意義的結論。常用的技術手段有:關聯(lián)規(guī)則、分類、聚類、序列模式等。
三、數(shù)據(jù)挖掘在電力系統(tǒng)負荷預測中的應用
電力負荷預測是能量管理系統(tǒng)及配電管理系統(tǒng)的重要組成部分,是電力系統(tǒng)規(guī)劃和運行調(diào)度的依據(jù),也是電力市場化商業(yè)運營所必需的基本內(nèi)容。負荷預測工作的關鍵在于收集大量的歷史數(shù)據(jù),建立科學有效的預測模型,采用有效的算法,以歷史數(shù)據(jù)為基礎,進行大量試驗性研究,總結經(jīng)驗,不斷修正模型和算法,以真正反映負荷變化規(guī)律。其過程為:
(1) 調(diào)查和選擇歷史負荷數(shù)據(jù)資料
多方面調(diào)查收集資料,包括電力企業(yè)內(nèi)部資料和外部資料,從眾多的資料中挑選出有用的一小部分,即把資料濃縮到最小量。挑選資料時的標準要直接、可靠并且是最新的資料。如果資料的收集和選擇得不好,會直接影響負荷預測的質(zhì)量。通過建立計算機數(shù)據(jù)管理系統(tǒng),利用計算機軟件系統(tǒng)來自動管理數(shù)據(jù)。
(2) 負載數(shù)據(jù)預處理
經(jīng)過初步整理,還用于數(shù)據(jù)分析的預處理,平滑異常值的歷史數(shù)據(jù)和缺失數(shù)據(jù)的異常數(shù)據(jù)主要是水平的,垂直的方法附錄。正在分析數(shù)據(jù)之前和之后的兩個時間的負載數(shù)據(jù)作為基準,來設置要處理的數(shù)據(jù)時,要處理的數(shù)據(jù)的范圍中最大的變化的數(shù)據(jù)的處理的水平超過該范圍時,它被認為是壞的數(shù)據(jù),使用平均法平滑變化;垂直負載數(shù)據(jù)預處理中的數(shù)據(jù)處理的考慮其24小時的小循環(huán),即,相同的時間的日期不同的負載應具有相似的,同時負載值應保持在一定范圍內(nèi),校正外的范圍內(nèi)的數(shù)據(jù)進行處理,在最近幾天的壞數(shù)據(jù),力矩載荷的意思。
(3) 歷史資料的整理
一般來說,由于預測的質(zhì)量不會超過所用資料的質(zhì)量,所以要對所收集的與負荷有關的統(tǒng)計資料進行審核和必要的加工整理,來保證資料的質(zhì)量,從而為保證預測質(zhì)量打下基礎,即要注意資料的完整無缺,數(shù)字準確無誤,反映的都是正常狀態(tài)下的水平,資料中沒有異常的“分離項”,還要注意資料的補缺,并對不可靠的資料加以核實調(diào)整。通過建立數(shù)據(jù)完整性、一致性約束模型,來建立海量數(shù)據(jù)集為后面的數(shù)據(jù)挖掘做好充分的準備。
(4) 建立負荷預測模型
負荷預測模型是統(tǒng)計資料軌跡的概括,預測模型是多種多樣的,因此,對于具體資料要選擇恰當?shù)念A測模型,這是負荷預測過程中至關重要的一步。當由于模型選擇不當而造成預測誤差過大時,就需要改換模型,必要時,還可同時采用幾種數(shù)學模型進行運算,以便對比、選擇。
(5) 選擇算法
選擇聚類法又稱聚類分析法,它是對一組負荷影響因素數(shù)據(jù)進行聚類的方法,聚類后的數(shù)據(jù)即構成了一組分類。聚類的標準是以數(shù)據(jù)的表象(即數(shù)據(jù)屬性 值)為依據(jù)的,聚類的工具是將一組數(shù)據(jù)按表象而將相近的歸并成類,最終形成若干個類,在類內(nèi)數(shù)據(jù)具有表象的相似性,而類間的數(shù)據(jù)具有表象的相異性。聚類的算法也有很多,有遺傳算法,劃分法,層次法,基于密度方法,基于網(wǎng)格方法等。 四、CURE算法在負荷預測中的應用 CURE算法是一種分層聚類算法。典型的數(shù)據(jù)點來表示一個具有固定數(shù)目的聚類。的CURE算法需要作為參數(shù)輸入的群集數(shù)?。由于CURE聚類的代表點的某些有代表性的,可以發(fā)現(xiàn)具有任何尺寸和形狀的聚類。同時,在一個集群代表點的選擇方式的中心“縮水”排除“噪音”。
歷史上第一個數(shù)據(jù)庫負荷預測,數(shù)據(jù)提取樣品。的數(shù)據(jù)樣本聚類,可以分為兩種方法:一個是所有樣本數(shù)據(jù)進行聚類,這個方法會使主內(nèi)存容量是遠遠不夠的,系統(tǒng)無法掃描一次完成。我們使用所有的樣本數(shù)據(jù)被分成多個區(qū)域,每個區(qū)域的數(shù)據(jù)進行聚類,使每個分區(qū)可以品嘗到所有的數(shù)據(jù)加載到主內(nèi)存。然后,針對每個分區(qū),使用分層算法的聚類。
電力系統(tǒng)的應用SCADA系統(tǒng)中的數(shù)據(jù)測量、記錄、轉換、傳輸、收集數(shù)據(jù),并可能導致故障和負載數(shù)據(jù)丟失或異常。異常數(shù)據(jù)的生成是隨機的,因此,在數(shù)據(jù)庫中的不確定性的分布,不同類型的異常數(shù)據(jù)出現(xiàn)單獨或在一個特定的時刻,或交叉混合發(fā)生在同一天連續(xù),或在相同的連續(xù)天期的橫分布,以及許多其他場合。異常數(shù)據(jù)的處理的關鍵影響的預測結果的準確性。使用兩種不同的技術,以刪除異常。第一種技術是要刪除的集群增長緩慢。當簇的數(shù)量低于某一閾值,將只包含一個或兩個集群成員的刪除,第二種方法是在集群的最后階段,非常小的集群中刪除。
最后對樣本中的全部數(shù)據(jù)進行聚類,為了保證可以在內(nèi)存中處理,輸入只包括各個分區(qū)獨自聚類時發(fā)現(xiàn)的簇的代表性點。使用c個點代表每個簇,對磁盤上的整個數(shù)據(jù)庫進行聚類。數(shù)據(jù)庫中的數(shù)據(jù)項被分配到與最近的代表性點表示的簇中。代表性點的集合必須足夠小以適應主存的大小。
結束語
數(shù)據(jù)挖掘技術雖然得到了一定程度的應用,并取得了顯著成效,但仍存在著許多尚未解決的問題。隨著人們對數(shù)據(jù)挖掘技術的深人研究,數(shù)據(jù)挖掘技術必將更加成熟,并取得更加顯著的效果。
【論數(shù)據(jù)挖掘技術在電力行業(yè)中的應用論文】相關文章：
數(shù)據(jù)挖掘技術在在線考試系統(tǒng)中的應用研究論文07-03
軟件工程行業(yè)中數(shù)據(jù)挖掘的應用論文06-30
數(shù)據(jù)挖掘技術的醫(yī)療信息管理應用論文07-03
數(shù)據(jù)挖掘在物流業(yè)中的應用06-23
論析多媒體技術在航海教學培訓中的應用論文07-03
論自動化技術在機械設計制造中的應用論文07-04
論物理教學中多媒體應用的誤區(qū)論文07-03
電子技術中PLC應用論文07-04