linux內存管理論文(2)
linux內存管理論文
linux內存管理論文篇二
Linux環境下集群系統的資源管理
【摘要】隨著計算機網絡的發展及大規模科學計算如氣象預報、自動化處理較高單位等對服務器的性能要求越來越高，對計算機的性能提出了更高的要求：需要硬件有靈活的可擴展性，關鍵性的模塊需要可靠的容錯機制。計算機集群系統具有處理速度快、I/O吞吐量大，容錯性好、可靠性高，而且還具有良好的可擴展能力等諸多優點，因此成為了當前的主流。本文敘述了集群系統的資源的管理和分配。
【關鍵詞】LINUX;集群系統;資源管理
1.集群系統概述
集群是一組通過高速網絡互聯的相互獨立的計算機的集合，配以專門軟件以單一系統的模式加以管理。在用戶看來，它是運行在一系列自治處理單元上的普通系統，每個結點有各自物理內存空間并通過高速鏈路或者標準化網絡連接，實現對同一任務的協同計算。當一個用戶與集群相互作用時，集群就像是一個獨立的服務器。和傳統的高性能計算機技術相比，集群技術可以利用各檔次的計算機作為節點，不僅系統造價低，還可以實現很高的運算速度，完成大運算量的計算，能夠逐步滿足當今日益增長的超大數據量的石油物探處理需求。系統保持了分布式客戶機/服務器模式的開發性、可擴展性的優點，同時又具備了終端/主機模式的資源共享和集中易于管理的優點。相對集中的集群系統，降低了系統管理的成本，而且還提供了和大型服務器系統相媲美的處理能力。高可用和高性能是集群服務器系統的兩個重要特性。
2.集群系統(CLUSTER)的特點
集群系統使由完整的計算機互聯組成一個統一的計算機系統具有極高的性能價格比。它需要專有軟件的支持，比如支持集群技術的操作系統或數據庫等，硬件方面可以根據不同實際需求，采用現成的通用硬件設備或特殊應用的硬件設備。集群系統中可以動態地加入新的服務器和刪除需要淘汰的服務器，具備很強的可擴展性，從而能夠最大限度地擴展系統以滿足不斷增長的應用的需要;另外，要求集群系統具有可用性，即能夠為用戶提供不間斷的服務，當系統中的一個結點出現故障的時候，整個系統仍然能夠繼續為用戶提供服務。
3.集群系統的分類
集群系統可分為高可用性集群和高性能集群。高可用性集群的主要功能就是提供不間斷的服務。高性能集群通過將多臺機器連接起來同時處理復雜的計算問題，如模擬星球附近的磁場、預測龍卷風的出現、定位石油資源的儲藏地等情況都需要對大量的數據進行處理。傳統的處理方法是使用超級計算機來完成計算工作，但是超級計算機的價格比較昂貴，而且可用性和可擴展性不夠強，因此集群成為了高性能計算領域矚目的焦點。
4.集群系統的資源管理
系統資源是作業運行的基礎，這些資源包括集群的硬件資源和軟件資源，硬件資源是軟件資源的基礎。本系統是構建在操作系統上的，只對本系統所涉及的范圍進行分析。計算節點資源的利用率是系統性能的重要指標，資源利用率越高說明系統處理作業的計算能力越大，集群中的資源的有效利用程度直接影響系統中的作業運行效率，所以必須對集群中的所有可用資源進行有效管理，從而為資源分配和作業調度提供決策依據。服務器與計算節點上都有一個資源對象管理進程，它們所管理的資源內容與范圍是不同的。服務器對象管理進程對整個集群系統中所有計算資源進行統一管理，包含集群中所有的節點信息與作業信息。計算節點對象管理進程只對此節點上的計算資源進行管理，包含此節點上的資源信息與作業信息。
調配硬件資源，合理分配給每個項目的每一個用戶，一直是我們系統管理員的工作中的重要課題。某單位現擁有四套曙光集群和一套超微集群。全部運行在RedHat Server4.6/5.3之上，主要設備如表1所示。
從系統組成角度說，集群系統是由多臺計算機組成的超級計算機。但是從最終用戶看來，集群系統是一臺計算機，也就是說，集群系統的構成對用戶是透明的。所以集群系統的管理的目的就是讓集群系統象一臺計算機一樣利于管理和使用。
工作中我們發現一些問題：
(1)業務單位資料的運算處理通常伴隨著大容量的數據存取，由于數據量非常的大，所以只能存儲在一塊共用的硬盤陣列上，并由專門的I/O節點來管理存儲。當需要更多的計算節點來并行計算以提升運算速度的時候，由于同時對I/O節點進行數據讀寫訪問，當I/O傳輸達到的上限，過多的訪問申請反而會造成數據的擁堵。
(2)由于盤陣的容量相對較大，通常分成不同的卷，而在外部用戶來看，他們并不知道使用的卷具體位置在哪，所以會出現，一個盤陣由于劃分了多個卷，每個卷存儲多個項目的現象。
(3)直接在I/O服務器上啟動軟件服務和工作窗口，并且調度其他計算節點并行作業;I/O服務器本身負荷就相當大，它要提供其他節點的數據讀寫訪問和傳輸服務，不但要給自己讀寫數據，它所控制的子節點也需要對它所掛載的盤陣并行讀寫，反而造成擁堵。
經過不斷的摸索，我們總結出：
(1)同一個項目中，最多不超過100個計算節點同時用來處理一個項目。
(2)對于大盤陣最多只分三個卷，每個卷盡量只允許用在一個項目上，項目結束后，才重新分配給下次個項目。
(3)每個處理員分配單獨的登陸節點，用來啟動軟件界面，不增加軟件服務器、數據庫服務器、I/O存儲服務器的額外負擔。
5.總結
隨著業務的不斷發展，單個服務器已經逐漸不能滿足用戶的需求，而超級計算機的價格非常昂貴，相比之下，集群系統具有高性價比、高可用性、高擴展性的特點，因此逐漸成為了高性能計算的主流。集群系統是通過高速網絡互連起來的一組計算機，它們作為一個整體為用戶提供應用服務。
在業務數據處理中，服務器與計算節點的故障都會給用戶帶來一定程度的損失，如果服務器停止工作會導致整個系統工作的癱瘓，節點發生故障也會對系統造成一定的影響。尤其是當系統中存在需要運行很長時間的大作業時，由于服務器或計算節點故障而導致作業的運行失敗，會導致時間的浪費與系統效率的降低。為了保證系統持續、可靠地提供服務，集群系統的災難恢復研究是非常重要的一部分內容。可以采用當前比較流行的雙機備份方案，即采用兩臺服務器進行系統中數據的備份與恢復工作，從而保證為系統提供持續可靠的服務。
參考文獻
[1]Alex Vrenios(美)著.馬朝暉譯.LINUX集群體系結構[M].機械工業出版社.
[2]BarryWilkinson著.陸鑫達譯.Parallel Programming [M].北京：機械工業出版社，2002，1.
[3]James Turnbull，eter Liieverdink，Dennis Matotek(美)著.張錚，張勇，陳勇濤，劉春華，耿強譯.Linux系統管理大全[M].人民郵電出版社，2010，12.