張志鴻 - (Chih-Hung Chang)

國立交通大學|資訊工程系|資訊科學與工程研究所

2008年5月2日 星期五

Cloud Computing (雲端運算)

Cloud Computing (雲端運算)


Feb 14th, 2008 by Mr. Saturday

Posted by Mr. Saturday

前一陣子在新聞上看到不少有關於 Cloud Computing (雲端運算) 的報導,不過看看台灣的報導似乎都不是相當深入或是明確,於是我興起了寫這一篇文章的念頭。這篇文章是我自己對於雲端運算的理解,還希望各位讀者能一起參與討論,提供不同的見解。有機會的話,我也希望之後能夠繼續寫一些有關雲端運算中所包含的粗淺的技術介紹。

好吧,開門見山:雲端運算不是技術,它是概念。為什麼這樣說呢?因為 cloud computing 本身並不代表任何一項資訊科技的技術,它是一種電腦運算的概念,而一種概念就會有許多不同的方式去實踐,這個時候才會有不同的技術衍伸出來。就好像我們聽過 pervasive computing、ubiquitous computing、parallel computing 一樣,這些都是運算的概念,不是單指一項特定的技術。cloud computing 也不例外,它本質上就是代表分散式運算 (distributed computing) 的概念。而分散式運算說穿了,就是讓一些不同的電腦同時去幫你做事情、進行運算,所以你有兩台電腦也好、十萬台電腦也好,只要你有超過一台電腦,而且讓他們可以互相溝通,一起同時幫你做事情,恭喜你,這就是分散式運算。
好吧,如果雲端運算不過就是分散式運算罷了,故事就這樣結束也太沒意思了。那我們就繼續從其他名詞的出現繼續看下去好了。

大家可能同時也聽過 grid computing (網格運算) 這個名詞,相信滿多人覺得網格運算跟 cloud computing 很像。其實 cloud computing 在概念上跟 grid computing 並沒有非常嚴格的區隔或是很大的不同,兩者均可看成是 distributed computing (分散式運算) 衍伸出來的概念。grid computing 一詞出現得較早,將重點的概念放在異質系統之間運算資源的整合,簡單來說,就是讓不同等級的電腦、或是不同作業系統的電腦,彼此之間可以透過通訊標準來互相溝通,分享彼此的運算資源。在網際網路還沒有今天這麼發達之前,企業採用 grid computing,很大的原因是為了讓組織內部的 IT 資源達到更良好的使用率。
當大家努力去實現這樣的一個概念時,其實就促成了網際網路的蓬勃發展,因為網路本身就是在強調不同電腦之間的溝通以及合作,於是在各項基礎設施包括頻寬、通訊標準、電腦運算能力以及運算架構都逐漸發展成熟之後,提供給開發者或是一般使用者的網路服務便開始出現,這些網路服務 (Web Service) 提供給使用者簡單的介面來存取一些資源。當然一開始的時候,企業提供出來的,都是一些相當陽春的網路服務。

這些 Web Service 繼續發展下去,時至今日出現了像 Google、Yahoo!、Amazon 等等網路巨獸,這些大公司有能力去購買數以萬計的伺服器,並且把這些電腦串起來,成為一個龐大的運算資源。而龐大的運算資源自然就意味者更為多樣化和以前無法提供的新服務。所有的人現在可以在網路上不同的地方,利用各大企業開放出來的運算資源,進行資料的運算或是提供服務給使用者,於是就在這樣的情況之下,cloud computing 被提了出來。因為現在無論是一般的使用者或是開發者,都透過網路來取得資料或是進行資料運算,自己本地端的運算資源雖然有限,還是可以透過網路進行複雜的運算,結果資料就像是從天上的雲端掉下來一樣,相信學資訊的讀者都對於將網際網路表示成一朵雲的圖示不會陌生。

所以在我看來,cloud computing 並不代表任何單一技術的突破或是革新,它代表的是分散式運算本身的一種成熟,就好像我們看到網路發展到一定程度了,就有人喊出了 Web 2.0,都是一樣的道理。


2008年5月1日 星期四

Grid Computing 整體計畫架構


Grid Computing 整體計畫架構

.......................................................................................................................................................................

(1) 格網基礎設施建置與推廣服務:
• 計算設施之建置
• 資料儲存設施之建置
• 格網計算環境建置
• 叢集計算格網建置與應用研發
• 奈米格網 計算服務推廣

.......................................................................................................................................................................

(2) 格網核心連結科技建置與推廣服務:
• 超級視訊格網 (Access Grid)
• 觀測格網 (Observational Grid)
• 前瞻視算資源建立 (Advanced Visualization)

.......................................................................................................................................................................

挑戰國發計畫

TWAREN 台灣高品質 學術研究網路 

Medical Grid 醫療格網 

ECO-Grid 生態格網 

Access Grid 視訊格網

.......................................................................................................................................................................

應用研究計畫

Nano Science 奈米科學網 

BKM 生物知識庫 

PC Cluster 個人電腦叢集
• 中介軟體 ( 開放軟體 ) 發展

.......................................................................................................................................................................

(3) 格網先導性應用計畫建置與推廣服務:
• 慢性病 醫療格網
• 生態格網
• 防洪減災格網
• 生物格網

.......................................................................................................................................................................

(4) 國際合作與活動:

• 持續進行國際遠距科學研究、生態研究大型異地平台計算、 PRAGMA/NSF 國際應用合作案。
• 開放計畫成果,提供國際合作研究。
• 爭取最具權威性與代表性之全球格網論壇 GGF 之參與,並爭取加入其標準制訂之工作。
• 參與及連結 SCXY 、 HPCAsia 與 APAN 等格網推動相關之國際組織,並藉其造成國際影響。

.......................................................................................................................................................................

(5) 知識庫中心建築規劃:

• 完成格網維運中心建築及周邊設計
• 建築與景觀工程發包與開工。

.......................................................................................................................................................................

(6) 基本維運:

• 招募國防訓儲役研發人員及其他人力,提供計畫運作之人力支援,以俾計畫正常運作。
• 各項採購、維運及相關庶務之行政業務辦理。
• 建立行政資訊電腦化系統服務。

.......................................................................................................................................................................

組織架構圖如下:











.......................................................................................................................................................................




何謂格網運算(Grid Computing) ?

Soruce:http://golportal.nchc.org.tw/king/ans.html

何謂格網運算(Grid Computing) ?

1. 什麼是格網?

官方定義請參考  http://www.globus.org/research/papers/anatomy.pdf簡單的說,格網即分散之計算能量、資料庫、軟體、儀器設施、專業人才等各項資源透過超寬網路有效整合,並透過中介軟體(Middleware)建立安全、穩定、與易用之平台環境,以平台共享方式提供研發創新服務。 歐盟的 EU DataGird 研究計畫中寫到格網的目標是:「不只是要為科學研究組織,而且要替圖書館、學校和家庭等提供像水龍頭一開,自來水就來般方便的運算服務。( “To provide computing on-tap, not only for scientific research establishments, but also for libraries, schools and homes.” )」格網的服務要讓使用者在使用遠端電腦資源時,就像是使用自己手邊的電腦資源一樣容易。 格網是繼傳統網際網路(Internet)、Web之後的第三次網際網路浪潮,可以稱之為第三代網際網路應用。傳統網際網路,實現了電腦硬體的連結,Web實現了網頁的連結,而格網則試圖將網際網路上所有資源的全面整合,其中包括計算資源、儲存資源、通信資源、軟體資源、資訊資源、知識資源等,乃至於實驗觀測儀器設施等均得已透過格網技術加以整合。 換言之,格網就是把整個網際網路及其所連結的各類資源整合成一台巨大的超級共享平台,實現各種資源的全面共用。當然,格網並不一定非要這麼大,也可以構造地區性的格網,如台灣學術網、科學園區格網、企業內部格網、區域格網,甚至家庭格網和個人格網等等。格網的基本特徵不在於它的規模大小,而是資源分享,目的在消除資源的浪費。

.......................................................................................................................................................................

格網服務是能夠將分散式、獨立式的資源集合轉移成連貫式運算、儲存、和協同合作的組織結構。而經由提供統一、一致性的平台系統,格網服務讓使用者可以輕易的經由應用程式和工具,或利用協調的方式來使用,亦可將不同的資源做核准、解釋、或將資源的使用、資料的轉移、系統的監控、和資源的管理變成可能。 利用這種新技術,這類研究計劃的目標是將跨地域的多台高性能電腦、大型資料庫、貴重科研設備(例如電子顯微鏡、雷達陣列、粒子加速器、天文望遠鏡等等)、通信設備、視覺化設備和各種感測器等整合成一個巨大的超級資訊系統,支援科學計算和科學研究。這方面的代表性研究工作包括美國國家科學基金會資助的 NPACI (National Partnership for Advanced Computational Infrastructure)、國家技術格網(NTG)、分散式萬億次級計算設施(Distributed Terascale Facility, DTF),美國能源部的ASCI Grid (Accelerated Strategic Computing Initiative),美國航空總署的IPG以及歐盟的 DataGrid 等(有關這些格網研究的相關資訊可從「 全球格網論壇 」網站查閱)。 目前各國研究人員對格網研究重點和內容的認識也不盡相同。有人把格網看成是未來的網際網路技術,稱之為「下一代網際網路(NGI)」、「Internet 2」、「下一代Web」等等;還有另外一類的研究重點是智慧資訊處理,它關注的是如何消除資訊孤島和知識孤島,實現資訊資源和知識資源的智慧共用,常見的名詞包括語義網(Semantic Web)、知識管理(Knowledge Management)、知識本體(Ontology)、智慧主體(Agents)、資訊格網、知識格網、一體化智慧資訊平臺等等。企業界的研究則大多集中儘量利用現有的Internet/Web技術,將網際網路上的資源整合成一台超級伺服器,有效地提供內容服務、計算服務、儲存服務、交易服務等,內容分發(Contents Delivery)、服務分發(Service Delivery)、電子服務(e-service)、即時企業計算(Real-Time Enterprise Computing,簡稱RTEC)、分散式計算、Peer-to-Peer Computing (P2P)、網際網路服務(Web Services)等名詞都屬於這一範疇。這些名詞所代表的技術都有一個共同點,即將網際網路上的資源整合成一台超級伺服器,有效地提供內容服務、計算服務、儲存服務、交易服務等。另一個共同點是這些技術會儘量利用現有的Internet/Web技術,以便能快速推出產品。當然這些技術也各有小的區別,例如P2P強調打破Client/Server或Browser/Server的主從模式,用對等模式(或無伺服器模式)實現超級伺服器的功能;RTEC則強調對企業級在線上交易等的即時支援。 企業界的格網相關研究開發工作已在進行中,其中最重要的就是Web服務。目前一些業界巨頭已經就幾個底層標準協定達成了共識,包括XML、SOAP、WSDL、UDDI等。此與「正統」的格網研究不同;Web服務的重點是在產品的開發,其相關產品可望在今明兩年在市場上開始普及。而正統的格網研究也會大量使用Internet/Web技術,但不排除突破Web的限制。 所有格網電腦的夢想家都希望這只是一個開始,期望這耗資5千3百萬美元兆級格網( TeraGrid ) 及其後繼的ETF3千5百萬美元會開創格網電腦的新世紀,就像是當初NSFnet打開障礙而造就網際網路的興起。就在這二年內,很多的專案正在歐洲、亞洲及美國相繼投入,而且有更多在陸續開始中。而格網電腦的研發者,正試著建立一個單一的標準– Globus Toolkit ,希望能幫助格網專案的發展,並讓這些專案聯合以進入全世界的網路。

.......................................................................................................................................................................

2. 什麼是知識(創新)格網 KING (Knowledge Innovation National Grid) ?

由於頻寬品質的大幅提昇,加上光纖的普及,使得過去認為是不同類別的通訊與計算應用,如電信,多媒體、資訊、工程模擬、http://www.cs.nctu.edu.tw/~jchchang,進而使得分散之計算能量、資料庫、儀器與設施、以及專業人才等各項異類資源,也都可以透過網路及中介軟體 (Middleware) 有效的進行整合與溝通,此項透過超寬頻網路非常有效率的銜接各種異類資源的系統,即為國際間先進國家如美、歐、日等國積極推動之格網 (Grid),若此格網以共用方式提供服務,並以知識創新及務實應用為導向,即可構成一知識格網。 KING在此專用,為六年國發計畫「全球學術研究網路--亞太中樞計畫」之子計畫『知識庫中心科技發展』之發展架構。

.......................................................................................................................................................................
.......................................................................................................................................................................

3. 知識格網KING基本架構為何?

知識格網以資料格網的基本架構為主,其分為以下五種層次之服務系統




























.......................................................................................................................................................................

資料格網之基本架構如圖一所示,底層為原始資料層次 (Original Data Level),其來源種類很多,例如即時觀測網 (Sensor Net) 之資料蒐集與所建立之原始數據庫。第二層為資料庫與系統層次 (Database and System Level),包括檔案、資料系統、及系統平台儲存設施之維運與管理。第三層為知識產生層次 (Knowledge Level):知識產生包括資料之過濾及分析等,例如利用資料挖掘 (Data Mining) 技術來擷取有效資訊,以創造知識。第四層為問題解決層次 (Solution Level),問題解決過程須透過知識的整合及存取程序,以及透過軟體與工具進行分析與模擬工作以創新知識,並融合 (Fusing) 不同類別產出之創新知識,以提供問題之全方位解決方案。第五層為決策層次,全方位解決方案仍須透過成果呈現工具,以可視覺化(Visible)方式來展現成果,以便決策者在最短時間有效掌握問題狀況及解決方法,以利迅速判斷與決策。以上各層次之資料蒐集、資料庫管理、知識產生、問題解決、以及成果呈現與決策均架構於高速寬頻網路,迅速有效的銜接格網上的各類資源,因此高穩定度、安全之網路品質以及容易使用之服務格網是成功之必要條件。
4. 國內目前有哪些單位在進行當中,進行情況為何? 目前以系統化推展的,除國網中心外,主要是中研院計算中心。國網中心成立格網應用之使用者社群服務系統各層次擴大國內對格網計算的參與、教育與應用,目前有涵蓋部分醫界、學界、業界,其涵蓋面再快速擴大中,參與之相關單位詳細細節請參照各應用格網網站。中研院計算中心的部分請參考 http://www.twgrid.org。業界因國際的影響原參與即相當積極,不論IBM、Intel、AMD、Compaq and Microsoft 等等,早已自國際向國內積極推展開。

.......................................................................................................................................................................

關於我自己

我的相片
http://www.cs.nctu.edu.tw/~jchchang/