時間:2022-06-18 15:59:31
導言:作為寫作愛好者,不可錯過為您精心挑選的10篇挖掘技術論文,它們將為您的寫作提供全新的視角,我們衷心期待您的閱讀,并希望這些內容能為您提供靈感和參考。
隨著信息技術迅速發展,數據庫的規模不斷擴大,產生了大量的數據。但大量的數據往往無法辨別隱藏在其中的能對決策提供支持的信息,而傳統的查詢、報表工具無法滿足挖掘這些信息的需求。因此,需要一種新的數據分析技術處理大量數據,并從中抽取有價值的潛在知識,數據挖掘(DataMining)技術由此應運而生。
一、數據挖掘的定義
數據挖掘是指從數據集合中自動抽取隱藏在數據中的那些有用信息的非平凡過程,這些信息的表現形式為:規則、概念、規律及模式等。它可幫助決策者分析歷史數據及當前數據,并從中發現隱藏的關系和模式,進而預測未來可能發生的行為。數據挖掘的過程也叫知識發現的過程。
二、數據挖掘的方法
1.統計方法。傳統的統計學為數據挖掘提供了許多判別和回歸分析方法,常用的有貝葉斯推理、回歸分析、方差分析等技術。貝葉斯推理是在知道新的信息后修正數據集概率分布的基本工具,處理數據挖掘中的分類問題,回歸分析用來找到一個輸入變量和輸出變量關系的最佳模型,在回歸分析中有用來描述一個變量的變化趨勢和別的變量值的關系的線性回歸,還有用來為某些事件發生的概率建模為預測變量集的對數回歸、統計方法中的方差分析一般用于分析估計回歸直線的性能和自變量對最終回歸的影響,是許多挖掘應用中有力的工具之一。
2.關聯規則。關聯規則是一種簡單,實用的分析規則,它描述了一個事物中某些屬性同時出現的規律和模式,是數據挖掘中最成熟的主要技術之一。關聯規則在數據挖掘領域應用很廣泛適合于在大型數據集中發現數據之間的有意義關系,原因之一是它不受只選擇一個因變量的限制。大多數關聯規則挖掘算法能夠無遺漏發現隱藏在所挖掘數據中的所有關聯關系,但是,并不是所有通過關聯得到的屬性之間的關系都有實際應用價值,要對這些規則要進行有效的評價,篩選有意義的關聯規則。
3.聚類分析。聚類分析是根據所選樣本間關聯的標準將其劃分成幾個組,同組內的樣本具有較高的相似度,不同組的則相異,常用的技術有分裂算法,凝聚算法,劃分聚類和增量聚類。聚類方法適合于探討樣本間的內部關系,從而對樣本結構做出合理的評價,此外,聚類分析還用于對孤立點的檢測。并非由聚類分析算法得到的類對決策都有效,在運用某一個算法之前,一般要先對數據的聚類趨勢進行檢驗。
4.決策樹方法。決策樹學習是一種通過逼近離散值目標函數的方法,通過把實例從根結點排列到某個葉子結點來分類實例,葉子結點即為實例所屬的分類。樹上的每個結點說明了對實例的某個屬性的測試,該結點的每一個后繼分支對應于該屬性的一個可能值,分類實例的方法是從這棵樹的根結點開始,測試這個結點指定的屬性,然后按照給定實例的該屬性值對應的樹枝向下移動。決策樹方法是要應用于數據挖掘的分類方面。
5.神經網絡。神經網絡建立在自學習的數學模型基礎之上,能夠對大量復雜的數據進行分析,并可以完成對人腦或其他計算機來說極為復雜的模式抽取及趨勢分析,神經網絡既可以表現為有指導的學習也可以是無指導聚類,無論哪種,輸入到神經網絡中的值都是數值型的。人工神經元網絡模擬人腦神經元結構,建立三大類多種神經元網絡,具有非線形映射特性、信息的分布存儲、并行處理和全局集體的作用、高度的自學習、自組織和自適應能力的種種優點。
6.遺傳算法。遺傳算法是一種受生物進化啟發的學習方法,通過變異和重組當前己知的最好假設來生成后續的假設。每一步,通過使用目前適應性最高的假設的后代替代群體的某個部分,來更新當前群體的一組假設,來實現各個個體的適應性的提高。遺傳算法由三個基本過程組成:繁殖(選擇)是從一個舊種群(父代)選出生命力強的個體,產生新種群(后代)的過程;交叉〔重組)選擇兩個不同個體〔染色體)的部分(基因)進行交換,形成新個體的過程;變異(突變)是對某些個體的某些基因進行變異的過程。在數據挖掘中,可以被用作評估其他算法的適合度。
7.粗糙集。粗糙集能夠在缺少關于數據先驗知識的情況下,只以考察數據的分類能力為基礎,解決模糊或不確定數據的分析和處理問題。粗糙集用于從數據庫中發現分類規則的基本思想是將數據庫中的屬性分為條件屬性和結論屬性,對數據庫中的元組根據各個屬性不同的屬性值分成相應的子集,然后對條件屬性劃分的子集與結論屬性劃分的子集之間上下近似關系生成判定規則。所有相似對象的集合稱為初等集合,形成知識的基本成分。任何初等集合的并集稱為精確集,否則,一個集合就是粗糙的(不精確的)。每個粗糙集都具有邊界元素,也就是那些既不能確定為集合元素,也不能確定為集合補集元素的元素。粗糙集理論可以應用于數據挖掘中的分類、發現不準確數據或噪聲數據內在的結構聯系。
8.支持向量機。支持向量機(SVM)是在統計學習理論的基礎上發展出來的一種新的機器學習方法。它基于結構風險最小化原則上的,盡量提高學習機的泛化能力,具有良好的推廣性能和較好的分類精確性,能有效的解決過學習問題,現已成為訓練多層感知器、RBF神經網絡和多項式神經元網絡的替代性方法。另外,支持向量機算法是一個凸優化問題,局部最優解一定是全局最優解,這些特點都是包括神經元網絡在內的其他算法所不能及的。支持向量機可以應用于數據挖掘的分類、回歸、對未知事物的探索等方面。
事實上,任何一種挖掘工具往往是根據具體問題來選擇合適挖掘方法,很難說哪種方法好,那種方法劣,而是視具體問題而定。
三、結束語
2、數據挖掘技術主要步驟
數據挖掘技術首先要建立數據倉庫,要根據實際情況而定,在易出現問題的有關領域建立有效的數據庫。主要是用來把數據庫中的所有的存儲數據進行分析,而目前的一些數據庫雖然可以進行大量的存儲數據,同時也進行了一系列的技術發展。比如,系統中的在線分析處理,主要是為用戶查詢,但是卻沒有查詢結果的分析能力,而查詢的結果仍舊由人工進行操作,依賴于對手工方式進行數據測試并建模。其次,在數據庫中存儲的數據選一數據集,作為對數據挖掘算法原始輸入。此數據集所涉及到數據的時變性以及統一性等情況。然后,再進行數據的預處理,在處理中主要對一些缺損數據進行補齊,并消除噪聲,此外還應對數據進行標準化的處理。隨后,再對數據進行降維和變換。如果數據的維數比較高,還應找出維分量高的數據,對高維數數據空間能夠容易轉化為檢點的低維數數據空間進行處理。下一步驟就是確定任務,要根據現實的需要,對數據挖掘目標進行確定,并建立預測性的模型、數據的摘要等。隨后再決定數據挖掘的算法,這一步驟中,主要是對當前的數據類型選擇有效的處理方法,此過程非常重要,在所有數據挖掘技術中起到較大作用。隨后再對數據挖掘進行具體的處理和結果檢驗,在處理過程中,要按照不同的目的,選擇不同的算法,是運用決策樹還是分類等的算法,是運用聚類算法還是使用回歸算法,都要認真處理,得出科學的結論。在數據挖掘結果檢驗時,要注意幾個問題,要充分利用結論對照其他的信息進行校核,可對圖表等一些直觀的信息和手段進行輔助分析,使結論能夠更加科學合理。需要注意的是要根據用戶來決定結論有用的程度。最后一項步驟是把所得出的結論進行應用到實際,要對數據挖掘的結果進行仔細的校驗,重點是解決好以前的觀點和看法有無差錯,使目前的結論和原先看法的矛盾有效解除。
3、數據挖掘技術的方法以及在電力營銷系統中的應用和發展
數控挖掘技術得到了非常廣泛的應用,按照技術本身的發展出現了較多方法。例如,建立預測性建模方法,也就是對歷史數據進行分析并歸納總結,從而建立成預測性模型。根據此模型以及當前的其他數據進行推斷相關聯的數據。如果推斷的對象屬于連續型的變量,那么此類的推斷問題可屬回歸問題。根據歷史數據來進行分析和檢測,再做出科學的架設和推定。在常用的回歸算法以及非線性變換進行有效的結合,能夠使許多問題得到解決。電力營銷系統中的數據挖掘技術應用中關聯規則是最為關鍵的技術應用之一。這種應用可以有效地幫助決策人員進行當前有關數據以及歷史數據的規律分析,最后預測出未來情況。把關聯規則成功引入電力營銷分析,通過FP-Growth算法對電力營銷的有關數據進行關聯規則分析,從中得出各種電量銷售的影響因素以及外部因素、手電水平等的關聯信息,以便更好地為電力的市場營銷策略提供參謀和決策。對電力營銷系統的應用中,時間序列挖掘以及序列挖掘非常經典、系統,是應用最為廣泛的一種預測方法。這種方法的應用中,對神經網絡的研究非常之多。因此,在現實中應用主要把時間序列挖掘以及神經網絡兩者進行有效地結合,然后再分析有關電力營銷數據。此外,有關專家還提出應用一種時間窗的序列挖掘算法,這種方式可以進行有效地報警處理,使電力系統中的故障能夠準確的定位并診斷事故。此算法對電力系統的分析和挖掘能力的提高非常有效,還可判定電力系統的運行是否穩定,對錯誤模型的分析精度達到一定的精確度。
隨著科技的進步,現代挖掘機一般都采用了機電液一體化控制模式,我們在排除一些故障時,解決的多是發動機、液壓泵、分配閥、外部負荷的匹配問題。一般在挖掘機作業中,這幾方面不能匹配,經常會表現為:發動機轉速下降,工作速度變慢,挖掘無力以及一些常見問題。
1發動機轉速下降
首先要測試發動機本身輸出功率,如果發動機輸出功率低于額定功率,則產生故障的原因可能是燃油品質差、燃油壓力低、氣門間隙不對、發動機的某缸不工作、噴油定時有錯、燃油量的調定值不對、進氣系統漏氣、制動器及其操縱桿有毛病和渦輪增壓器積炭。如果發動機輸出動力正常,就需要查看是否因為液壓泵的流量和發動機的輸出功率不匹配。
液壓挖掘機在作業中速度與負載是成反比的,就是流量和泵的輸出壓力乘積是一個不變量,泵的輸出功率恒定或近似恒定。如果泵控制系統出現了故障,就不能實現發動機、泵及閥在不同工況區域負荷優化匹配狀態,挖掘機從而將不能正常工作。此類故障要先從電器系統入手,再檢查液壓系統,最后檢查機械傳動系統。
2工作速度變慢
挖掘機工作速度變慢主要原因是整機各部磨損造成發動機功率下降與液壓系統內泄。挖掘機的液壓泵為柱塞變量泵,工作一定時間后,泵內部液壓元件(缸體、柱塞、配流盤、九孔板、龜背等)不可避免的產生過度磨損,會造成內漏,各參數據不協調,從而導致流量不足油溫過高,工作速度緩慢。這時就需要整機大修,對磨損超限的零部件進行修復更換。
但若不是工作時間很長的挖掘機突然變慢,就需要檢查以下幾方面。先查電路保險絲是否斷路或短路,再查先導壓力是否正常,再看看伺服控制閥-伺服活塞是否卡死以及分配器合流是否故障等,最后將液壓泵拆卸進行數據測量,確認挖機問題所在。
3挖掘機無力
挖掘無力是挖掘機典型故障之一。對于挖掘無力可分為兩種情況:一種為挖掘無力,發動機不憋車,感覺負荷很輕;第二種為挖掘無力,當動臂或斗桿伸到底時,發動機嚴重憋車,甚至熄火。
①挖掘無力但發動機不憋車。挖掘力的大小由主泵輸出壓力決定,發動機是否憋車取決于油泵吸收轉矩與發動機輸出轉矩間的關系。發動機不憋車說明油泵吸收轉矩較小,發動機負荷輕。如果挖掘機的工作速度沒有明顯異常,則應重點檢查主泵的最大輸出壓力即系統溢流壓力。如果溢流壓力測量值低于規定值,表明該機構液壓回路的過載溢流閥設定值不正確,導致該機構過早溢流,工作無力。則可以通過轉動調整螺絲來調整機器。②挖掘無力,發動機憋車。發動機憋車表明油泵的吸收轉矩大于發動機輸出轉矩,致使發動機超載。這種故障應首先檢查發動機速度傳感系統是否正常,檢查方法與前文所述發動機檢查方法類似。經過以上細致的檢查與排除故障,發動機速度傳感系統恢復正常功能,發動機憋車現象消失,挖掘力就會恢復正常。
4挖掘作業過程中的常見故障
挖掘機在施工作業中經常出現的一些普遍的故障,如:挖機行走跑偏,原因可能為行走分配油封(又稱中心回轉接頭油封)損壞;兩個液壓泵流量大小不一;一邊行走馬達有問題。液壓缸快速下泄則可能為安全溢流閥封閉不嚴,或缸油封嚴重損壞等等。多智網校誠招全國各地市獨家線下商,共同開發網上教育市場。多智教育()!
5挖掘機的日常保養
當今,國內外電子商務類網站日益興起。許多電子商務類網站都提供了一定程度的個性化服務,比如提供商品推薦服務。而構成這些個性化服務的基礎就是數據挖掘技術。
一、數據挖掘分析
1.數據挖掘的定義。數據挖掘(datamining,DM)是從大量的、不完全的、有噪聲的、模糊的、隨機的數據中提取隱含在其中的、人們事先不知道的但又是潛在有用的信息和知識的過程。包括存儲和處理數據,選擇處理大數據集的算法、解釋結果、使結果可視化。
2.數據挖掘的方法。從商業的角度來看,數據挖掘是一種新的商業信息處理技術,其主要特點是對商業數據庫中的大量業務數據進行抽取、轉換、分析和其他模型化處理,從中提取輔助商業決策的關鍵性數據。數據挖掘的方法大致可以分成4類:關聯分析、概括分析、分類分析、聚類分析。(1)關聯分析:分析表面上不相關數據之間的內在聯系,揭示各事之間的依賴性和相關性,分析范圍包括簡單關聯、因果關聯等。在電子商務中,用數據挖掘找到隱藏的關聯規則,當客戶瀏覽、搜索關聯規則中的某種商品時,就可以在頁面中以推薦商品的形式顯示關聯規則中的其它商品。在進貨計劃和促銷計劃中,也可以將這個因素考慮進去。(2)概括分析:即提取數據庫中指定的數據集合的一般特性,找出遍性規律。(3)分類分析:設置分類規則,把各個事務或實體按照性質和特征不同進行歸類,把數據層次化和規整化,從而建立數據的分類模型。(4)聚類分析:通過分析和歸納實體之間的特征差異,選出具相識特征的實體聚合成為一個類,并用某種規則來描述該類的相同屬性,形成一種聚類規則,實際上,它是與分類分析法互逆的過程。
3.數據挖掘的過程。該過程從大型數據庫中挖掘先前未知的、有效的、可實用的信息,并使用這些信息做出決策或豐富知識。(1)確定業務對象:清晰地定義出業務問題,認清數據挖掘的目的是數據挖掘的重要一步。挖掘的最后結構是不可預測的,但要探索的問題應是有預見的,為了數據挖掘而數據挖掘則帶有盲目性,是不會成功的。(2)數據準備。數據的選擇:搜索所有與業務對象有關的內部和外部數據信息,并從中選擇出適用于數據挖掘應用的數據。(3)數據挖掘:對所得到的經過轉換的數據進行挖掘。除了完善從選擇合適的挖掘算法外,其余一切工作都能自動地完成。(4)結果分析:解釋并評估結果。其使用的分析方法一般應作數據挖掘操作而定,通常會用到可視化技術。(5)知識的同化:將分析所得到的知識集成到業務信息系統的組織結構中去。
二、數據挖掘與電子商務的關系
在電子商務企業中,數據挖掘運用于客戶行為分析,企業從中受益體現在以下四個方面:(1)可以發現客戶和訪問者的愛好、生活模式。(2)可以爭取新顧客,怎樣使產品適銷對路、怎樣給產品定價、怎樣吸引單個客戶、怎樣優化Web網站。(3)可以用相應的信息確定顧客的消費周期,針對不同的產品制定相應的營銷策略。(4)可以確定客戶細分,為每一個客戶的獨特需求設計“量身定制”的產品。三、數據挖掘技術在電子商務中的應用
1.面向電子商務的數據挖掘系統設計。本系統電子商務平臺采用基于三層體系結構構建,服務器端采用先進的J2EE平臺構架,有完整的體系框架組成,具有很好的可擴展性、互聯性和可維護性。因此面向電子商務的數據挖掘系統由數據庫服務器、應用服務器和客戶端三層組成,整個體系結構是以J2EE企業級的構建技術為基礎。對數據挖掘過程中產生的數據,采用獨立的數據挖掘庫表存放,這樣既不影響也不依賴數據挖掘的數據源。應用服務器完成所有的數據挖掘運算,通過接受客戶端的設置,完成所有對數據進行探索、轉換、挖掘的工作。數據挖掘系統的每個功能模塊都以EJB的形式進行封裝,以實現分布式計算和負載平衡等分布式計算的要求,把具有繁重計算任務的模塊和用戶交互模塊分開??蛻舳艘撠煍祿诰蛄鞒痰膭摻üぷ?、所有功能模塊參數的設定以及各種可視化結果的顯示。用戶可以根據自己的要求任意創建各種形式的挖掘流程,同時按照需要執行某部分流程,獲取相應的可視化分析結果,其系統體系結構如圖所示。
面向電子商務的數據挖掘系統體系結構圖
2.面向電子商務的數據挖掘系統功能設計。面向電子商務的數據挖掘系統主要以下幾大功能模塊:(1)用戶信息分析。運用分類和聚類挖掘方法對用戶的信息分析,可以得到用戶的些特征。對用戶分類相當于對具有某些公共屬性的用戶群體建立了概要特征描述,這些特征可以用來對新增的用戶進行分類,可以發現未來的潛在用戶并開展有針對性的商務活動,如自動給一類特定的用戶發送銷售郵件,當屬于同一類的用戶再次訪問站點時為其動態地改變站點的內容等。通過這些舉措使商務活動能夠在一定程度上滿足用戶的要求,實現目標營銷。(2)商品信息分析。運用關聯規則挖掘發現商品訪問中所有關聯和相聯系的規則,可以從交易事務數據庫中發現商品間的相互聯系。這對電子商務公司組織站點網頁結構、開展有效的營銷策略非常有幫助。(3)物流信息分析。采用神經網絡預測技術,根據各物流配送點接到的網站用戶訂單來預測其庫存數量。預測信息可以給物流配送中心以參考,用來合理地確定各配送點倉庫的庫存量,使各配送點的補貨能更加合理有序,降低物流成本,節約庫存費用。
四、結束語
數據挖掘是一個新興的領域,具有廣闊應用前景,目前,電子商務在我國正處于快速發展和應用階段,利用數據挖掘技術,能夠強化對客戶的服務、促進市場最優化、加速資金周轉、實現企業的創新發展。電子商務平臺上的數據挖掘技術有待人們去進行更深入的研究工作,這將不斷的推動數據挖掘技術的深入發展和廣泛應用,創造出更多的社會和經濟價值。
參考文獻:
[1]張云濤龔鈴:數據挖掘原理與技術.北京,電子工業出版社,2004年1月
金融部門每天的業務都會產生大量數據,利用目前的數據庫系統可以有效地實現數據的錄入、查詢、統計等功能,但無法發現數據中存在的關系和規則,無法根據現有的數據預測未來的發展趨勢。缺乏挖掘數據背后隱藏的知識的手段,導致了數據爆炸但知識貧乏”的現象。與此同時,金融機構的運作必然存在金融風險,風險管理是每一個金融機構的重要工作。利用數據挖掘技術不但可以從這海量的數據中發現隱藏在其后的規律,而且可以很好地降低金融機構存在的風險。學習和應用數扼挖掘技術對我國的金融機構有重要意義。
一、數據挖掘概述
1.數據挖掘的定義對于數據挖掘,一種比較公認的定義是W.J.Frawley,G.PiatetskShapiro等人提出的。數據挖掘就是從大型數據庫的數據中提取人們感興趣的知識、這些知識是隱含的、事先未知的、潛在有用的信息,提取的知識表示為概念(Concepts),規則(Rules)、規律(Regularities)、模式(Patterns)等形式。這個定義把數據挖掘的對象定義為數據庫。
隨著數據挖掘技術的不斷發展,其應用領域也不斷拓廣。數據挖掘的對象已不再僅是數據庫,也可以是文件系統,或組織在一起的數據集合,還可以是數據倉庫。與此同時,數據挖掘也有了越來越多不同的定義,但這些定義盡管表達方式不同,其本質都是近似的,概括起來主要是從技術角度和商業角度給出數據挖掘的定義。
從技術角度看,數據挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數據中,提取隱含在其中的、人們事先不知道的、但又是潛在的和有用的信息和知識的過程。它是一門廣義的交叉學科,涉及數據庫技術、人工智能、機器學習、神經網絡、統計學、模式識別、知識庫系統、知識獲取、信息檢索、高性能計算和數據可視化等多學科領域且本身還在不斷發展。目前有許多富有挑戰的領域如文本數據挖掘、Web信息挖掘、空間數據挖掘等。
從商業角度看,數據挖掘是一種深層次的商業信息分析技術。它按照企業既定業務目標,對大量的企業數據進行探索和分析,揭示隱藏的、未知的或驗證已知的規律性并進一步將其模型化,從而自動地提取出用以輔助商業決策的相關商業模式。
2.數據挖掘方法
數據挖掘技術是數據庫技術、統計技術和人工智能技術發展的產物。從使用的技術角度,主要的數據挖掘方法包括:
2.1決策樹方法:利用樹形結構來表示決策集合,這些決策集合通過對數據集的分類產生規則。國際上最有影響和最早的決策樹方法是ID3方法,后來又發展了其它的決策樹方法。
2.2規則歸納方法:通過統計方法歸納,提取有價值的if-then規則。規則歸納技術在數據挖掘中被廣泛使用,其中以關聯規則挖掘的研究開展得較為積極和深入。
2.3神經網絡方法:從結構上模擬生物神經網絡,以模型和學習規則為基礎,建立3種神經網絡模型:前饋式網絡、反饋式網絡和自組織網絡。這種方法通過訓練來學習的非線性預測模型,可以完成分類、聚類和特征挖掘等多種數據挖掘任務。
2.4遺傳算法:模擬生物進化過程的算法,由繁殖(選擇)、交叉(重組)、變異(突變)三個基本算子組成。為了應用遺傳算法,需要將數據挖掘任務表達為一種搜索問題,從而發揮遺傳算法的優化搜索能力。
2.5粗糙集(RoughSet)方法:Rough集理論是由波蘭數學家Pawlak在八十年代初提出的一種處理模糊和不精確性問題的新型數學工具。它特別適合于數據簡化,數據相關性的發現,發現數據意義,發現數據的相似或差別,發現數據模式和數據的近似分類等,近年來已被成功地應用在數據挖掘和知識發現研究領域中。
2.6K2最鄰近技術:這種技術通過K個最相近的歷史記錄的組合來辨別新的記錄。這種技術可以作為聚類和偏差分析等挖掘任務。
2.7可視化技術:將信息模式、數據的關聯或趨勢等以直觀的圖形方式表示,決策者可以通過可視化技術交互地分析數據關系??梢暬瘮祿治黾夹g拓寬了傳統的圖表功能,使用戶對數據的剖析更清楚。
二、數據挖掘在金融行業中的應用數據挖掘已經被廣泛應用于銀行和商業中,有以下的典型應用:
1.對目標市場(targetedmarketing)客戶的分類與聚類。例如,可以將具有相同儲蓄和貨款償還行為的客戶分為一組。有效的聚類和協同過濾(collaborativefiltering)方法有助于識別客戶組,以及推動目標市場。
2..客戶價值分析。
在客戶價值分析之前一般先使用客戶分類,在實施分類之后根據“二八原則”,找出重點客戶,即對給銀行創造了80%價值的20%客戶實施最優質的服務。重點客戶的發現通常采用一系列數據處理、轉換過程、AI人工智能等數據挖掘技術來實現。通過分析客戶對金融產品的應用頻率、持續性等指標來判別客戶的忠誠度;通過對交易數據的詳細分析來鑒別哪些是銀行希望保持的客戶;通過挖掘找到流失的客戶的共同特征,就可以在那些具有相似特征的客戶還未流失之前進行針對性的彌補。
3.客戶行為分析。
找到重點客戶之后,可對其進行客戶行為分析,發現客戶的行為偏好,為客戶貼身定制特色服務。客戶行為分析又分為整體行為分析和群體行為分析。整體行為分析用來發現企業現有客戶的行為規律。同時,通過對不同客戶群組之間的交叉挖掘分析,可以發現客戶群體間的變化規律,并可通過數據倉庫的數據清潔與集中過程,將客戶對市場的反饋自動輸人到數據倉庫中。通過對客戶的理解和客戶行為規律的發現,企業可以制定相應的市場策略。
4.為多維數據分析和數據挖掘設計和構造數據倉庫。例如,人們可能希望按月、按地區、按部門、以及按其他因素查看負債和收入的變化情況,同時希望能提供諸如最大、最小、總和、平均和其他等統計信息。數據倉庫、數據立方體、多特征和發現驅動數據立方體,特征和比較分析,以及孤立點分析等,都會在金融數據分析和挖掘中發揮重要作用。
5.貨款償還預測和客戶信用政策分析。有很多因素會對貨款償還效能和客戶信用等級計算產生不同程度的影響。數據挖掘的方法,如特征選擇和屬性相關性計算,有助于識別重要的因素,別除非相關因素。例如,與貨款償還風險相關的因素包括貨款率、資款期限、負債率、償還與收入(payment——to——income)比率、客戶收入水平、受教育程度、居住地區、信用歷史,等等。而其中償還與收入比率是主導因素,受教育水平和負債率則不是。銀行可以據此調整貨款發放政策,以便將貨款發放給那些以前曾被拒絕,但根據關鍵因素分析,其基本信息顯示是相對低風險的申請。
6.業務關聯分析。通過關聯分析可找出數據庫中隱藏的關聯網,銀行存儲了大量的客戶交易信息,可對客戶的收人水平、消費習慣、購買物種等指標進行挖掘分析,找出客戶的潛在需求;通過挖掘對公客戶信息,銀行可以作為廠商和消費者之間的中介,與廠商聯手,在掌握消費者需求的基礎上,發展中間業務,更好地為客戶服務。
7.洗黑錢和其他金融犯罪的偵破。要偵破洗黑錢和其他金融犯罪,重要的一點是要把多個數據庫的信息集成起來,然后采用多種數據分析工具找出異常模式,如在某段時間內,通過某一組人發生大量現金流量等,再運用數據可視化工具、分類工具、聯接工具、孤立點分析工具、序列模式分析工具等,發現可疑線索,做出進一步的處理。
數據挖掘技術可以用來發現數據庫中對象演變特征或對象變化趨勢,這些信息對于決策或規劃是有用的,金融
行業數據的挖掘有助于根據顧客的流量安排工作人員??梢酝诰蚬善苯灰讛祿?,發現可能幫助你制定投資策略的趨勢數據。挖掘給企業帶來的潛在的投資回報幾乎是無止境的。當然,數據挖掘中得到的模式必須要在現實生活中進行驗證。
參考文獻:
丁秋林,力士奇.客戶關系管理.第1版.北京:清華人學出版社,2002
職業教育曾利用電視教育這種很先進的技術辦學并取得了輝煌的成績,時至今日,現代信息技術不斷發展,不同程度的滲透到每一個領域,教育領域更是首當其沖。昨日先進的辦學技術,已經遠不能適應現代遠程教育的發展需要,現代教學媒體開發是實現遠程教育的重要環節之一。近幾年,隨著國外遠程教育突飛猛進的發展,以及國內高中等院校多媒體課件的開發實踐,我們應對現代教育媒體開發的應用前景,特別是對我院遠程教育發展的重要性有一個充分的認識。
一、專業教學網絡與現代教育技術媒體的開發
現代教育媒體的開發,從技術角度來看是可行的全球計算機網絡和多媒體技術的進步導致了新一代知識智能媒體的發展,產生了網絡大學(虛擬大學),這是遠程教育的重要特點和今后的發展方向。承載教學媒體的信息可簡單的分為實時性和非實時性兩類。多媒體信息則非常適應非實時性的傳輸要求,且價格較低,利用非實時性傳輸中有一定的延時的特點。像文本、圖片、聲音、動畫等形式的多媒體信息,就可以在低速網上通過電話進行傳輸。Internet和Intranet上大多采用這種非實時性信息傳輸方式瀏覽信息,這非常適合具有交互性的多媒體課件。
二、多媒體課件的應用前景以及精品課件的建立
云計算是并行計算和分布計算以及網格計算的發展,是一種在海量數據大規模的集合中能動態處理各種服務器數據資源的一類計算平臺,在電子商務、商業金融、科研開發等領域能得到廣泛的應用。它具有大規模、虛擬化、高效率、通用性、廉價等特點,能針對不同的用戶的不同需求,動態透明地提供其所需的虛擬化計算和資源儲存,并能及時動態回收當前用戶暫不利用的數據資源以提供給其他用戶,而其廉價、通用的特點,使得一般用戶實現大規模的數據操作成為可能。目前來說,云計算的平臺已得到良好的發展,日益成熟,基于云計算的應用已經可以相當方便的部署和操作其數據資源。
1.2數據挖掘
數據挖掘技術是現代知識發現領域的一個重要技術,它是指一個從隨機的大量而不完整的模糊的實際數據中提取其中某些隱含著的具有潛在價值的實用知識與信息的過程。其具體技術有特征化、聚類、關聯和預測分析等等,涉及到的高級技術領域有統計學、機器學習、模式識別、人工智能等方面。
2基于云計算的數據挖掘平臺構架
網絡云的發展給數據挖掘提出了新的問題和時代的挑戰,同時,也為數據挖掘提供了新的計算平臺和發展機遇。基于云計算的數據挖掘系統平臺的發現,解決了傳統的數據挖掘技術出現的時代滯慢、效率較低、功能落后、成本高昂等問題。云計算是一種商業計算模式,是網格計算與并行計算及分布式計算在一定程度上的商業實現,其動態、可伸縮的計算基于云計算的數據挖掘平臺架構及其關鍵技術探討文/張瑤劉輝云計算是一種在互聯網時代中應運而生的新興的網絡技術,具有高效率、高容量、動態處理的特點,在社會的商業領域和科研領域表現出了其相當高的應用價值。將云計算應用于數據挖掘平臺的構架之中后,將能在很大程度上為現代社會中越來越海量的數據挖掘提供一個高效率的技術平臺。本文將結合云計算和數據挖掘的基本概念和現代意義,對數據挖掘的平臺構架和相應的關鍵技術做出簡要的分析探討。摘要能力使得進行高效的海量數據挖掘的目標不再遙遠。同時,云計算SaaS功能日益被理解和標準化,使得基于云計算SaaS化的數據挖掘有了理論和技術的指導,并具有了企業化與大眾化的發展趨勢。
2.1數據挖掘平臺構架
建立在關系型數據庫之上的傳統的數據挖掘技術構架在現時代數據急劇膨脹和分析需求漸增的發展下已經難以應付社會的數據處理問題。而云計算的分布式存儲與計算形式則接受了當代的數據挖掘難題,促成了適應時代的云計算數據挖掘平臺構架的形成。其包含了面向組件的設計理念和分層設計的思想方法。其構架自下向上總共分為3層,分別為底層的云計算支撐平臺層、中間的數據挖掘能力層和上層的數據挖掘云服務層。
2.2基于云計算的數據挖掘平臺構架各層意義
云計算支撐平臺層:顧名思義,該平臺層是云計算數據挖掘平臺的基礎處理平臺,其主要具有的功能是對分布式文件存儲與數據庫提供資源存儲,以及實行對數據的有關處理和計算功能。數據挖掘能力層:該平臺結構層主要是提供挖掘的基礎能力,是數據挖掘的核心支撐平臺,并對數據挖掘云服務層提供能力支撐。該平臺層包含了算法數據并行處理、調度引起和服務管理的框架,該平臺層可以提供系統內部的數據挖掘處理和推薦算法庫,亦支持第三方的數據挖掘算法工具的進入。數據挖掘云服務層:數據挖掘云服務層的主要功能是對外提供數據挖掘操作的云服務,同時也能提供基于結構化查詢的語言語句訪問,提供相關的解析引擎,以便于自動調用云服務。對外數據挖掘云服務能力封裝的接口形式多樣,包含了基于簡單對象訪問協議下的Webservice、XML、HTTP以及本地應用程序的編程接口等多種形式。另外,在必要的時候,云服務層的各個業務系統可以進行數據挖掘云服務的調用和組裝。
3基于云計算的數據挖掘平臺構架的關鍵技術探討
基于云計算的數據挖掘平臺構架的形成,離不開現代先進的科技技術,其中幾項關鍵的技術應用將在這里進行簡要的闡述:
3.1云計算技術
3.1.1分布式儲存技術
通過采用分布式存儲的方式來存儲數據,是云計算技術保證數據處理高可靠性和經濟性的重要保證。用可靠的軟件來彌補硬件的不足,是分布式存儲技術提供廉價而又海量的數據挖掘支持的重要途徑。
3.1.2虛擬化技術
在云計算的環境下,數據挖掘能實現對大量的可用的虛擬化技術的應用、整合,發展出一套全面虛擬化的運行戰略。云計算和虛擬化的共同組合,使數據挖掘實現了跨系統下的資源調度,將海量的來源數據進行IT資源匯合,動態地實現對用戶的虛擬化資源的供給,從而以高效率、海量動態的特點完成服務任務。
3.1.3并行云計算技術
并行云計算技術是一種對于高效執行數據挖掘計算任務極其重要的技術,并且它對云計算的某些技術細節做出了封裝,例如任務并行、任務調度、任務容錯和系統容錯以及數據分布等。該功能代替了用戶對這些細節的考慮,使得研發效率得到了提高。
3.2數據匯集調度中心
數據匯集調度中心的功能主要是完成對不同類型的數據進行匯集。它實現了對接入該云計算數據挖掘平臺的業務數據收集匯合,能夠解決與不同數據的相關規約問題,并能支持多樣的源數據格式。
3.3服務調度與管理技術
對于基于云計算的數據挖掘平臺,為了使不同業務系統能夠使用本計算平臺,必須要提供相應的服務調度與管理功能。服務調度解決云服務下的并行互斥以及隔離等問題,以保證安全、可靠的平臺的云服務。服務管理功能要實現統一的服務注冊與服務暴露功能,并且支持接入第三方的數據挖掘,以更好地擴展平臺的服務能力。
傳統裝飾藝術源于生活,源于傳統,有著悠久的歷史和深厚的民族底蘊,是與人們生活息息相關的一種藝術形態。早期工藝美術作品中的圖案就已經具備了強烈的裝飾意味,隨著人們精神需求和審美意識的不斷提高,傳統裝飾藝術更是成為了人們生活的一部分。作為一門獨立的藝術形式,傳統裝飾藝術以其獨特的視覺符號和深厚的文化內涵,重新引起了設計界的關注。特別是視覺傳達設計,這門通過獨特的視覺傳播方式達到傳達信息,并且與受眾交流、溝通的目的的藝術學科,不僅要吸取和弘揚傳統裝飾藝術中的民族文化,更要挖掘傳統裝飾藝術中對現代設計有借鑒價值的東西。
追溯傳統裝飾藝術發展的淵源,它首先是人們為了生存而進行的造物的主觀創造性活動,到后來為了審美需求而進行裝飾創作,這是一個漫長的歷史過程。在人類發展史上的各個時期,傳統裝飾藝術作品往往成為見證該時期文化、工藝和藝術水平的代表。并且,傳統裝飾藝術作品不論其形式如何,都融入了原始先民為生存而激發的全部感情,都體現出了生命的本能、生活的理想和原始文化的底蘊。[1]它不是純藝術現象,但經過幾千年的積淀與傳承,傳統裝飾藝術在意識形態的轉變和新技術浪潮的沖擊下不斷更新拓展,具有了自己鮮明的藝術特征,反映了民族文化的精髓。
在設計語言日趨國際化的今天,視覺傳達設計由于本身所具有的對圖形、文字等元素的高度概括和簡約化特征而面臨著設計風格一體化的尷尬趨勢,這就對現代設計家提出了更高的要求。由于不同的國家和民族有著不同的傳統,其人文風俗和文化底蘊也大不相同,所以,設計家們驚訝地發現,民族的東西是一種很好地區別于其它地域作品的設計語言。于是,一股回歸傳統,弘揚民族文化的設計思想席卷了整個設計界。不同國度和區域的設計家都在尋找最能反映其民族精神和文化底蘊的設計符號。作為有幾千年文化積淀和傳承并反映民族文化精髓的傳統裝飾藝術,它重新引起設計界的關注,并成為設計家們創作的靈感來源,也就不足為奇了。
首先,在對形的處理上,傳統裝飾藝術遵循“刪繁就簡”、“以簡代繁”的原則,也就是用簡潔的線條和規整的外形來表現各種自然形象。如興起于我國民間的皮影戲和剪紙,其造型多采用簡潔單純的線面,著重表現自然物象的基本特征,它把一些立體的東西作概括化和平面化處理,具有視覺傳達設計的意味。出土于西安半坡村仰韶文化時期的人面魚紋彩陶盆就采用了幾何圖形的構成手法,將人面概括成圓形,頭上的發髻和人面兩側耳部的小魚都用三角形表示,眼睛瞇成一條線,這種抽象化和幾何化就是“刪繁就簡”的具體體現。在視覺傳達設計中,提倡用最簡潔的圖形語言傳達最豐富的思想內涵,其實也就是強調對圖形的高度概括、提煉和簡化,而西方更是注重幾何和抽象的圖形表達。這些現代設計理念,與傳統裝飾藝術中對形的處理觀念是基本一致的,并且在幾千年前就已經開始運用了。另外,傳統裝飾藝術由于有漆畫、陶瓷、蠟染、刺繡、剪紙等多種藝術形式,其內容比較豐富,處理“形”的手法也就各具特色。所以,傳統裝飾藝術中對“形”的處理手法,很多都是值得我們視覺傳達設計學習和借鑒的。其次,傳統裝飾藝術很注重形式美感,這種形式美感包括造型的獨特性、排列的秩序感,畫面空間的設計感和點、線、面等形式要素的組合關系。傳統裝飾藝術中,很多造型藝術本身具有很強的形式美,已經很講究對稱、均衡、比例、線條、色彩等帶給人的審美情感。如陶器的造型就很講究對稱和均衡,上面的裝飾紋樣不僅很注重線條和塊面的對比,色彩的搭配也很和諧。并且,還有很多由于機械有節奏的運動和通過重復的構成手法而創造的圖案,具有強烈的秩序美。[2]在敦煌壁畫中,隨處可見用于裝飾的各種卷草紋樣和適合圖案,尤其是藻井的裝飾,紋樣之豐富,裝飾之繁瑣可謂嘆為觀止,然而經過藝術家的合理安排,整個畫面顯得井井有條。二方連續在不斷重復的過程中呈現出強烈的節奏感和秩序感,適合紋樣處處彰顯藝術家對畫面空間的把控,各種視覺元素遙相呼應,虛實相生,并且畫面中點、線、面關系處理到位,整體視覺效果統一??梢?,傳統裝飾藝術中對形式美感的追求,就如同我們進行視覺傳達設計時所考慮的畫面構圖和版式編排,目的都是為了形成強烈的視覺美感,從而喚起人們審美心理的愉悅。所以,傳統裝飾藝術中對形式美感的追求為我們視覺傳達設計中的版式編排提供了參考的樣本,具有較高的藝術價值。
再次,傳統裝飾藝術中的紋樣往往具有象征意義,如盤子上的暗八仙,象征延年益壽;瓷器上的蓮花寓意高潔;民間工藝美術里的葡萄、石榴以及百子圖等象征家族繁榮,子孫眾多;還有用龍鳳表示吉祥如意,用蝙蝠直接表現“福在眼前”等等。[3]傳統裝飾藝術中的這種象征性與現代設計有異曲同工之處,如視覺傳達設計中的標識設計就常采用象征圖形來傳達企業文化、發展方向或者管理理念等,海報設計中也常用具有一定象征意味的圖形傳達深刻的思想主題和文化內涵。傳統裝飾藝術所具有的博大精深的寓意性,對現代視覺傳達設計來講,具有重大意義。一方面,它為我們的設計提供了眾多素材,豐富了我們的設計語言;另一方面,它為我們的設計提供了很多思考的切入點,對設計創意具有較強的指導意義;另外,它使我們在面對不同文化背景進行有針對性的設計時,能準確找到傳達設計意圖的最佳圖形符號。所以,傳統裝飾藝術中的象征性是很值得我們關注的。
另外,傳統裝飾藝術在造型上采用的夸張和變形,在構圖上采用的重復、發射、漸變以及色彩的對比與調和等處理手法,與今天現代設計中的圖形語言和形式美的法則以及構成有異曲同工之妙,可見,中國傳統裝飾藝術對現代視覺傳達設計來講,意義十分重大。
正是因為傳統裝飾藝術有如此多的地方與現代視覺傳達設計保持一致性,才在現代社會顯示出了其特有的生命力。所以我們在設計中運用傳統裝飾藝術宣揚民族文化,弘揚民族精神的同時,更要不斷挖掘傳統裝飾藝術對現代視覺傳達設計有借鑒價值的東西。在設計中追求東西方文化的統一,追求傳統與現代的統一,才能夠在設計中既表現出民族的傳統精粹,又使自己的作品更具說服力。
參考資料:
二、在部隊食品采購系統中的應用以及其價值評價
在部隊食品采購系統實際應用工程中,其實可以運用MicrosoftSQLServerAnalysisServices來對數據進行分析,并且在數據挖掘過程中對多維數據進行描述與查找起到一定作用。因為多維數據比較復雜,增長的也比較快,因此,進行手動查找是很困難的,數據挖掘技術提供的計算模式可以很好的對數據進行分析與查找。在建設部隊食品采購倉庫數據的時候,數據內容主要包括了人員的健康、兵員的飲食以及訓練等,進行數據挖掘主要包括以下內容:第一,把每個主題信息數據進行收集、匯總、分析等,對人員情況、健康、飲食、訓練等進行合理分析;第二,多維分析數據信息。根據部隊的實際情況,利用數據挖掘技術對部隊人員健康、飲食、訓練等數據信息進行多維分析,其中包含上鉆、切片、下鉆等;第三,挖掘健康與飲食之間的內在關系。根據數據庫中許多面向主題的歷史數據,采用數據挖掘技術進行分析與演算得到部隊人員的訓練和健康情況與部隊飲食之間內在關系,以便于為部隊食品采購提供合理的、有效的保障,從而提高部隊整體人員的健康水平、身體素質以及訓練質量,對提高我國部隊戰斗力有著深遠的意義。
2基于大數據的計算機數據挖掘技術概述
基于大數據的計算機數據挖掘技術是當代新開發的一種數據處理技術,它可以從大數據中挑選出人們需要的數據。計算機數據挖掘是一個循環往復的過程,如果沒有取得預期的效果,計算機數據挖掘信息處理系統就會返回上一層重新工作,直到完成目標任務為止,這種對目標的細化過程可以滿足檔案數據檢索的需要。
3基于大數據的計算機挖掘技術在檔案管理系統中的作用
3.1提高檔案信息的安全性。無論是文字檔案、圖片檔案還是其他形式的檔案,都是一種寶貴的資料。越是意義重大的檔案,檔案管理人員就越要想方設法將其保存起來。檔案的價值隨著其保存時間的不斷推移而增加,價值越高的檔案,被使用的頻率就越高,但是如果使用過于頻繁的話,就會縮短檔案資料的壽命,加大保存難度。除此之外,有的檔案信息是保密的,在應用時如果監管不力就會導致機密泄露。由以上可見,檔案的保存與使用儼然已互為對立面了。將計算機挖掘技術應用到檔案管理中則對檔案資料的完整性毫無影響,并且還可以提高檔案信息的安全性。3.2提高檔案信息管理的效率。在檔案管理工作中應用計算機數據挖掘技術,可以極大改變傳統檔案管理模式低效率的弊端。使用計算機數據挖掘技術,大大提高了工作人員處理檔案信息的速度,同樣的工作使用的時間極大減少。鑒定檔案是檔案管理工作中的重要組成部分,傳統的鑒定方式是由管理人員根據自己的經驗進行主觀鑒定,有時會存在有價值的檔案丟失的現象。應用計算機數據挖掘技術,檔案管理人員就可以利用計算機系統分析檔案使用和保存的情況,促進了檔案鑒定工作的發展。3.3提高了檔案信息的使用效率。大部分檔案信息具有一定的機密性,所以檔案的借閱并不是向全社會公開的,而是有范圍限制的,但是由于檔案管理人員和借閱者對檔案信息不熟悉,導致雙方的溝通存在一定的問題,在借閱者提出申請之后,檔案管理人員會將檔案資料調出來,有時調出來的資料不是借閱者所需要的,還得重新調閱,類似的過程就嚴重浪費了雙方的時間。應用計算機數據挖掘技術可以促進檔案管理人員和借閱者之間的交流,讓檔案管理者明確借閱者需要的具體檔案信息,從而形成專門的檔案提供渠道,這就大大提高了檔案信息的使用效率。3.4增強檔案信息的服務性。加密檔案信息會嚴重縮小它的適用范圍,受當代信息化的影響,很多檔案信息自身會出現一些問題,并且只能為一小部分人服務。將計算機數據挖掘技術應用到檔案信息管理中,可以具體分析檔案的使用情況,通過研究發現未來使用檔案信息的人群,在此基礎上提高檔案信息的服務性。
4基于大數據的計算機數據挖掘技術在檔案管理中的實際應用
4.1在檔案分類管理中的應用。檔案管理的基礎工作就是將檔案進行分類。傳統的分類方法既費時又費力,工作效率極低。計算機數據挖掘技術中有一種決策樹算法,它可以在最短的時間內按照一定的規則將不同屬性的檔案信息進行分類和整理,大大提高了檔案分類工作的效率。計算機數據挖掘技術在檔案分類工作中的具體流程是:從大量不同種類的數據集中選擇一些數據組合成訓練集,然后應用到沒有進行分類的檔案管理中,這樣可以幫助管理者根據借閱者對檔案信息的需求來對檔案進行分類,同時還可以根據借閱者的需求為其推薦其他檔案信息。通過這些針對性強的數據分析,可以極大縮短借閱者獲取檔案信息的時間,檔案數據的利用價值就能充分發揮出來。4.2在檔案收集管理中的應用。計算機數據挖掘技術可以根據數據庫內部的數據信息描述來構建一個相應的數據模型,然后比較計算機數據樣本和數據模型之間的差異,如果這二者互相吻合,就需要檔案管理人員使用測試樣本模型來對檔案信息進行分類處理。計算機數據挖掘技術需要全面分析檔案數據信息庫中的數據,建立一個對已知數據有詳細描述的概念模型,并與測試樣本進行對比,如果一個模型測試通過,就證明這個模型可以應用在檔案收集管理中。
5結語
綜上所述,在科技技術不斷進步的時代背景下,在檔案信息管理中應用基于大數據的計算機數據挖掘技術已成為一種必然趨勢,它可以極大提高檔案信息管理的工作效率,促進檔案管理的高效發展。除了在檔案信息存儲和利用上確?;镜男畔⒉樵兎胀?,還需要應用計算機數據挖掘技術整合檔案信息,建立眾多檔案管理服務數據之間的關聯,這樣才能為檔案信息管理提供更好的服務。
作者:陳皓穎 單位:昆明理工大學津橋學院
參考文獻
[1]高燕飛,陳俊杰.試析計算機數據挖掘技術在檔案信息管理系統中的運用[J].內蒙古師范大學學報:哲學社會科學版,2012(4):44-46.
[2]曾雪峰.計算機數據挖掘技術開發及其在檔案信息管理中的運用研究[J].科技創新與應用,2016(9):285.
[3]李國強,曹巧蓮,辛正宇,等.淺談數據處理的新技術———數據挖掘[J].科技創新與生產力,2010(6).