MICAPS 4.0 全國業(yè)務化版本推出（上）：攜大數(shù)據(jù)應用 重磅來襲

　　中國氣象報記者黃彬 趙曉妮

　　MICAPS，即現(xiàn)代化人機交互氣象信息處理和天氣預報制作系統(tǒng)，系中國氣象部門氣象衛(wèi)星、天氣雷達和數(shù)值預報、站點實況等產(chǎn)品綜合應用最強有力的業(yè)務技術(shù)支撐平臺。自1995年起至今，它已經(jīng)歷過4個版本的嬗變。相比先前使用的系統(tǒng)，5月30日正式在全國氣象部門投入業(yè)務運行的MICAPS4.0有何創(chuàng)新之處？

　　MICAPS4.0啟動畫面。高嵩供圖

　　MICAPS4.0中的衛(wèi)星紅外云圖與細網(wǎng)格風場疊加圖。高嵩供圖

　　MICAPS4.0中的動態(tài)衛(wèi)星云圖。高嵩供圖

　　面對迫切需求 突破勢在必行

　　“4年前我們就已經(jīng)處于氣象海量數(shù)據(jù)的時代，當時的MICAPS第三版(MICAPS3)亟待解決的兩大核心技術(shù)難題，就在于預報員使用平臺的體驗性能和預報員拿到數(shù)據(jù)的高時效性方面。”國家氣象中心MICAPS4.0開發(fā)團隊高性能服務器端首席架構(gòu)師王若曈說。

　　自2010年開始，MICAPS3面對的數(shù)據(jù)規(guī)模陡增，服務器端加工處理數(shù)據(jù)能力已經(jīng)跟不上數(shù)據(jù)產(chǎn)生速度，這個問題在隨后幾年一直長期凸顯。

　　現(xiàn)在，氣象數(shù)據(jù)的總量十分龐大，有時舊的數(shù)據(jù)還沒有完全瀏覽，新的數(shù)據(jù)就已“撲面而來”，這樣會直接造成部分數(shù)據(jù)很長時間都不會被使用，最終導致數(shù)據(jù)價值損失。如何在MICAPS的開發(fā)和完善中進一步深挖氣象大數(shù)據(jù)，使預報員在短時間內(nèi)瀏覽更多的數(shù)據(jù)，將氣象數(shù)據(jù)保值甚至增值也成為重要課題之一。

　　環(huán)顧全球，自MICAPS1.0系統(tǒng)設計之初，世界范圍內(nèi)的氣象部門幾乎都是采用文件來存儲氣象數(shù)據(jù)。但原生文件系統(tǒng)在面對海量數(shù)據(jù)時會有難以逾越的瓶頸——當數(shù)據(jù)達到千萬數(shù)量級規(guī)模時，操作系統(tǒng)就會撐不住數(shù)據(jù)帶來的壓力，預報員在使用過程中不可避免會感到卡頓。

　　此外，MICPAS3在功能上也有不少不足之處。比如預報員瀏覽數(shù)據(jù)或?qū)?shù)據(jù)進行操作的便捷度需要提高，系統(tǒng)的圖形渲染引擎需要優(yōu)化甚至重構(gòu)等。

　　“總而言之，MICPAS3在客戶端、服務器端以及中間的網(wǎng)絡連接部分體現(xiàn)出的問題，正是大數(shù)據(jù)時代天氣預報平臺發(fā)展過程中必須突破的障礙，所以跨層優(yōu)化的MICAPS4.0開發(fā)勢在必行。”王若曈說。

　　雖然有外部團隊參與開發(fā)，但不管是客戶端還是MICAPS4.0服務器的核心技術(shù)，都是由國家氣象中心MICAPS團隊自主研發(fā)或合作研發(fā)的。針對用戶需求調(diào)研，系統(tǒng)設計，關(guān)鍵技術(shù)實驗、對比、選型，核心模塊實現(xiàn)、系統(tǒng)測試以及就產(chǎn)品模塊與預報員溝通……這一系列工作都是MICAPS4.0研發(fā)團隊自主進行的。這也使得研發(fā)團隊可以實現(xiàn)全系統(tǒng)貫通的跨層優(yōu)化，把握系統(tǒng)的整體方向，更有針對性地對其架構(gòu)進行調(diào)整，從而更好地滿足業(yè)務發(fā)展需求。

　　MICAPS4.0中的黃淮地區(qū)1小時降水自動站數(shù)據(jù)和地形疊加圖。高嵩供圖

　　突出技術(shù)革新 引領新版起航

　　相比前幾代系統(tǒng)，MICAPS4.0第一次使用純數(shù)據(jù)庫徹底取代傳統(tǒng)的文件系統(tǒng)，進行氣象數(shù)據(jù)實時存儲。

　　“這一點在世界范圍的氣象數(shù)據(jù)處理領域內(nèi)都是首創(chuàng)性成果。”王若曈說。美國的AWIPS也用到了數(shù)據(jù)庫，但僅僅是存儲氣象數(shù)據(jù)索引，數(shù)據(jù)內(nèi)容還是保存在文件系統(tǒng)中，所以僅能解決一部分性能問題，并不能完全突破文件系統(tǒng)的訪問瓶頸。

　　而MICAPS4.0采取的非關(guān)系型分布式數(shù)據(jù)庫則不同，相當于為氣象實時數(shù)據(jù)量身打造了一套集群存儲系統(tǒng)。這套存儲系統(tǒng)是專門針對MICAPS用戶的使用習慣而深度優(yōu)化定制的，讀寫性能優(yōu)異，從上億個數(shù)據(jù)中檢索一個用時僅為幾毫秒。相比于原來耗時4秒至5秒的表現(xiàn)，若將數(shù)據(jù)傳輸時間、網(wǎng)絡延遲等因素綜合考慮，總體性能也得到極大提升。

　　MICAPS4.0與MICAPS3.0對比。

　　MICAPS4.0第一次使用分布式數(shù)據(jù)庫來取代集中式文件系統(tǒng)。

　　原先的數(shù)據(jù)僅僅是存儲在一個磁盤陣列中，而且數(shù)據(jù)只存儲一份。王若曈舉例說：“如果有一百個預報員同時訪問這一塊磁盤中的數(shù)據(jù)，這臺機器就要面對一百份壓力。當這臺機器出現(xiàn)故障時，所有的預報員就都不能訪問其中的數(shù)據(jù)，會造成業(yè)務上的停機。”而采用分布式數(shù)據(jù)庫則可以有效地避免這個問題。“假設我把每種數(shù)據(jù)都存成三個副本放到十臺機器里面，這時預報員訪問數(shù)據(jù)的壓力就會均衡地分散到所有節(jié)點上去。”他補充道，在系統(tǒng)需要維護時，可以停機其中一臺，其他的仍然可以繼續(xù)工作。

　　除了分布式集群存儲，MICAPS 4.0服務器端的第二大法寶是采用了海量數(shù)據(jù)的分布式流式計算技術(shù)，就是在數(shù)據(jù)流動的過程中對其進行計算。

　　MICAPS4.0的分布式流式前處理系統(tǒng)能實現(xiàn)數(shù)據(jù)秒級計算、毫秒級寫入，使預報員需要的全部數(shù)據(jù)達到“產(chǎn)生即可見”的效果。“原先，數(shù)據(jù)從產(chǎn)生到能被預報員看到需要幾小時；現(xiàn)在幾分鐘甚至幾秒鐘就能看到，而且還是建立在數(shù)據(jù)量是原先幾十倍甚至上百倍的基礎上。”王若曈說。

　　此外，早在MICAPS4.0項目啟動初期，“對用戶行為進行徹底分析”便成了當時研發(fā)的首要任務。而“特定技術(shù)為了滿足特定需求”的理念也是決定MICAPS4.0技術(shù)選型的關(guān)鍵。

　　在這樣的開發(fā)思路引導下，MICAPS4.0版本最大化地保留了MICAPS1/2/3版的所有界面設計與操作方式，開發(fā)團隊邀請預報員直接參與MICAPS4.0的操作和界面設計，同時在項目的各個開發(fā)階段都與預報員及時溝通，請多名預報員對平臺進行反復操作。除此之外，MICAPS4.0開發(fā)組也認真梳理來自不同方向的用戶需求：為了減輕省/市級MICAPS平臺維護人員的工作負擔，MICAPS4.0開發(fā)了“在線升級”功能；為了減輕預報員長時間使用平臺后造成的視覺疲勞，同時兼顧會商PPT出圖的需求，MICAPS4.0專門提供了“會商模式”與“預報模式”兩套配色方案；為了能支持預報員更快捷使用系統(tǒng)，MICAPS4.0為預報員量身打造了很多鍵盤快捷方式以及產(chǎn)品輸出方式等。可以說，MICAPS4.0的任何細微變化都來自于需求。

MICAPS4.0中細網(wǎng)格10米風動態(tài)流線圖。高嵩供圖

　　眾創(chuàng)與集約化 貫穿開發(fā)始終

　　MICAPS4.0取得突破性創(chuàng)新，與開發(fā)模式中滲透著眾創(chuàng)合作和集約化思想密不可分。

　　“早在2007年MICAPS3正式發(fā)布之時，開發(fā)團隊就提出了一個想法，即可以讓用戶在系統(tǒng)上進行定制模塊、擴展開發(fā)。”國家氣象中心MICAPS4.0開發(fā)團隊客戶端核心開發(fā)人員高嵩說，“我們希望讓專業(yè)的人做專業(yè)的事，所以盡可能把開發(fā)的門檻降到最低。對于一個具備開發(fā)基礎的用戶，我們會專門為其提供開發(fā)環(huán)境，讓他得以擴展開發(fā)一些功能比較齊全的模塊。”

　　目前，開發(fā)團隊正在研發(fā)一個類似“APP商店”的功能，可以讓用戶把自主開發(fā)的成果放到MICAPS系統(tǒng)的“APP商店”中，方便有同樣需求的人將其下載到自己的MICAPS系統(tǒng)平臺中，便于其他用戶在別人開發(fā)成果的基礎上進行修改和反饋回傳。高嵩認為，這樣的良性循環(huán)可以促進MICAPS生態(tài)環(huán)境建設，從而實現(xiàn)用戶人人參與、共建和眾創(chuàng)。

　　除了鼓勵用戶積極參與自主開發(fā)外，強化與數(shù)據(jù)領域?qū)＜业暮献饕彩潜妱?chuàng)的思路之一。如果把一個系統(tǒng)比作木桶，那么它的最短板將決定其性能。高嵩說：“我們吸引不同領域的專家來共同完成這個‘木桶’，力爭把每一塊木板做到最好。”

　　與清華大學、國家氣象信息中心在數(shù)據(jù)存儲上的應用合作就印證了這一點。雙方的合作不是簡單的加法，開發(fā)團隊從清華大學專家身上學習數(shù)據(jù)處理的技術(shù)，并自主編寫核心數(shù)據(jù)代碼；清華大學專家也需要對氣象數(shù)據(jù)和業(yè)務領域進行深入理解后，才能進行深度合作。在最初合作的三個月里，雙方并沒有急于推進項目進展，而是加深了解，認真吃透了用戶需求，對雙方后續(xù)深度合作產(chǎn)生了事半功倍的影響。

　　同時，在MICAPS4.0的開發(fā)過程中，開發(fā)團隊在眾創(chuàng)研發(fā)的同時，也提倡集約化的思想。高嵩表示，集約化思想一方面體現(xiàn)在平臺功能的集約上，即系統(tǒng)已有的功能將便捷地提供給用戶使用，不需要用戶再浪費更多的時間和精力去開發(fā)重復內(nèi)容；另一方面體現(xiàn)在數(shù)據(jù)環(huán)境的集約化上。

　　數(shù)據(jù)的多次重復性存儲看起來很雜亂，也會造成數(shù)據(jù)不一致，MICAPS3的文件服務器就存在這種問題。但當系統(tǒng)性能提升時，就能一定程度上解決數(shù)據(jù)重復存儲的問題，從而促進了整體數(shù)據(jù)環(huán)境的集約。

　　為了成功實現(xiàn)無障礙跨層優(yōu)化的軟件工程組織，自2014年8月以來，國家氣象中心就與國家氣象信息中心成立了聯(lián)合工作組，積極推進CIMISS（全國綜合氣象信息共享平臺）與MICAPS系統(tǒng)的融合工作。同時，開發(fā)團隊借助局校合作平臺，積極引入清華大學技術(shù)力量，對CIMISS數(shù)據(jù)環(huán)境進行能力擴建，解決了數(shù)據(jù)讀取效率和資料服務時效等關(guān)鍵技術(shù)問題，有效提升了CIMISS整體性能，滿足了對MICAPS4.0的直接數(shù)據(jù)支撐需求。三方良好的深度合作也成為局校合作的典范案例。

　　MICAPS 4.0 全國業(yè)務化版本推出（下）：集眾人之智 成預報員之“器”

　　中國氣象報記者趙曉妮 黃彬 通訊員柳秀婷

　　5月23日，參加全國MICAPS4.0培訓的預報員準時抵京。迎接他們的，是最新的MICAPS4.0全國版本。

　　經(jīng)過一年半的測試運行，MICAPS4.0系統(tǒng)穩(wěn)定性良好，保持了便捷的操控界面、很高的讀寫性能、可靠的數(shù)據(jù)正確性、良好的可擴展性及可維護性，達到了實時業(yè)務系統(tǒng)的標準。5月30日，MICAPS4.0全國版本正式推出。

　　MICAPS4.0中的GRAPES相對濕度預報。高嵩供圖

　　利劍出鞘：MICAPS就是預報員的“器”

　　“工欲善其事，必先利其器，預報員做預報，工具好，對理清預報思路、理順流程和提高效率都會有很大的幫助，MICAPS就是我們預報員的‘器’。”中央氣象臺首席預報員孫軍在MICAPS4.0開發(fā)團隊成立之初就作為第一批用戶參與其中，積極提出問題和修改意見。

　　作為一名老預報員，他深感過去20年里，MICAPS系統(tǒng)從第一代發(fā)展到第四代，現(xiàn)代化人機交互氣象信息處理和天氣預報制作系統(tǒng)給氣象預報方式帶來了巨大的改變。

　　在MICAPS出現(xiàn)以前，預報員做預報的時候，需要在一張紙上畫出天氣圖，瀏覽數(shù)據(jù)和進行預報的效率非常低。而MICAPS將天氣預報從紙上制作變?yōu)殡娮又谱鳎蟛糠诸A報員只要在MICAPS終端上輕輕點擊鼠標，即可直接在電腦上繪制天氣圖。

　　“這極大縮短了時間，提高了效率。”國家氣象中心MICAPS4.0開發(fā)團隊客戶端核心開發(fā)人員高嵩說，“同時，MICAPS也推進了預報的標準化，更便于數(shù)據(jù)共享。”

　　于2013年啟動研發(fā)的MICAPS4.0，歷經(jīng)了“千錘百煉”的測試。自2015年1月8日起，MICAPS4.0客戶端中央氣象臺測試版先后在中央氣象臺的短期、中期、環(huán)境預報中心、強天氣預報中心、臺風海洋預報中心等多個預報崗位進行了安裝試用。今年2月1日，中央氣象臺正式亮出這柄“利劍”，MICAPS4.0版本全面進入業(yè)務應用。

　　“我們收到非常多的用戶反饋，主流反饋是MICAPS4.0比MICAPS3.0快得多，原來有些保守的預報員擔心新鮮事物有不完善的地方，現(xiàn)在也消除了疑慮。另外，很多預報產(chǎn)品都在MICAPS4.0上傳遞，逐漸把一批人‘拽’到系統(tǒng)中。”國家氣象中心MICAPS4.0開發(fā)團隊高性能服務器端首席架構(gòu)師王若曈告訴記者。

　　同時，自去年11月底面向各省（自治區(qū)、直轄市）開展推廣測試，MICAPS4.0在天氣圖分析繪制、定量降水預報圖制作、早間天氣會商、氣象災害保障服務、臺風專題會商中逐漸顯示出強大的能力。

　　“目前，軟件已經(jīng)比較成熟。去年做了測試版后，收集到很多反饋意見，在更加了解預報員關(guān)注點的基礎上，我們對系統(tǒng)功能進行了再梳理和開發(fā)，5月30日，MICAPS4.0全國版本正式推出。”高嵩告訴記者。

　　MICAPS4.0中的細網(wǎng)格降水預報圖（左），自動站溫度等值線分析圖（右）。高嵩供圖

　　驚喜不斷：更綠色、更快捷、更穩(wěn)定

　　去年11月底，武漢中心氣象臺預報員董良鵬在結(jié)束MICAPS4.0培訓回到湖北后，便十分期待這個系統(tǒng)推廣開來。

　　由于MICAPS4.0是綠色軟件，不需要復雜的安裝過程，解壓縮即可運行且免配置，董良鵬在安裝使用系統(tǒng)時，并未遇到任何困難。

　　“所有客戶端的配置基本上是按照預報員最舒服的方式設置好的，需要頻繁修改的功能可以通過用戶界面實現(xiàn)，需要個性化的一次性修改的功能放到比較便捷修改的配置文件里面，需要深度修改的高級功能也放在系統(tǒng)級的配置文件里進行。用戶可根據(jù)習慣調(diào)整，比前幾版更便捷。”王若曈解釋說，“運行軟件后，不需要進行任何配置就可以查看數(shù)據(jù)，不需要掛載任何文件服務器。”

　　熟悉的用戶界面也幫助預報員迅速從MICAPS3.0轉(zhuǎn)換到MICAPS4.0。高嵩告訴記者：“很多預報員在大學學習天氣分析的時候就在用MICAPS，鼠標移動到哪個位置應該出現(xiàn)什么結(jié)果，甚至某個交互符號應該出現(xiàn)在面板某個位置，已經(jīng)養(yǎng)成一定的習慣。我們保持了系統(tǒng)的延續(xù)性，當預報員打開界面以后，在新穎的體驗之外，對每個操作功能又非常熟悉，更易于接受，也減少了培訓成本。”

　　MICAPS4.0給預報員帶來的更大驚喜是其更快的速度。該系統(tǒng)包含分布式實時流式解析系統(tǒng)、分布式存儲系統(tǒng)兩大子系統(tǒng)。其中，實時解析系統(tǒng)直連原始數(shù)據(jù)分發(fā)系統(tǒng)，分布式存儲系統(tǒng)直連MICAPS4.0客戶端。自2015年1月20日運行至今，實時解析系統(tǒng)保證了對于原始數(shù)據(jù)的高效解析與寫入，單個數(shù)據(jù)平均解析與寫入時間小于1秒鐘；分布式存儲系統(tǒng)提供了MICAPS4.0客戶端的高性能訪問，單個數(shù)據(jù)的數(shù)據(jù)庫平均查詢時間小于20毫秒。

　　“以前數(shù)據(jù)結(jié)構(gòu)是文件式的，文件特別多，調(diào)取文件的時候顯示速度比較慢，現(xiàn)在在數(shù)據(jù)庫結(jié)構(gòu)上進行重大改變，使用效率更高，顯示更流暢，用戶體驗更好。”孫軍說出自己的切身感受。

　　實際上，MICAPS4.0不是單純的“表面功夫”，而是從后臺到前端都進行了升級，面對部分突發(fā)情況下的自我修復能力以及系統(tǒng)本身的健壯性也有很大提升。中國氣象局以及去年12月引進MICAPS4.0的湖北省氣象局，做過不少“暴力”測試，比如直接把一臺服務器關(guān)掉，從5臺服務器變成4臺持續(xù)運行；把5臺服務器內(nèi)部連接的兩臺交換機其中一臺網(wǎng)線拔掉，只用一臺交換機工作；把5臺交換機電源都抽出來一塊；把硬盤抽出來一塊——結(jié)果是，系統(tǒng)運行正常。如今，MICAPS4.0系統(tǒng)已經(jīng)在湖北省、市、縣三級推廣開來。

　　MICAPS4.0顯然已經(jīng)展現(xiàn)出強大的生命力和系統(tǒng)穩(wěn)定性。王若曈打了個比方：“飛機有4個引擎，如果一個引擎壞了，其他3個引擎工作仍然可以保證續(xù)航甚至續(xù)航很長時間直到達到更換引擎的條件。MICAPS4.0從大到小的每個軟硬件都是按照這種方式來設計的。”

　　良性互動：集聚眾人智慧和能量

　　MICAPS4.0反饋QQ群每天都在閃動——任何人提出問題，很快就有人來答疑解惑。

　　這一方面表明這個群的活躍度非常高；另一方面也說明用戶對MICAPS4.0充滿期待。“誰有問題都會去問，所有人都很愿意回答。”高嵩說，這也是眾創(chuàng)的一種形式。

　　“該系統(tǒng)抓住了技術(shù)前沿，將數(shù)據(jù)綜合表現(xiàn)出來，非常靈活。”武漢中心氣象臺預報員祝嬴認為，“系統(tǒng)開發(fā)團隊針對預報員需求做了很多工作。”

　　由于氣象數(shù)據(jù)種類繁多，系統(tǒng)運行過程中經(jīng)常需要開發(fā)新的解碼器，并在不停機的情況下動態(tài)加載，實時解析系統(tǒng)設計時考慮了該需求。因此，在試運行過程中已實現(xiàn)了解析能力的熱擴充以及配置管理功能的熱加載。

　　高嵩說，希望未來能通過一定的評定或獎勵機制激勵大家把自己的應用放到系統(tǒng)中，讓大家參與進來，依托MICAPS4.0和氣象云來解決問題。

　　其實，系統(tǒng)與預報員的積極互動早在系統(tǒng)開發(fā)過程中就體現(xiàn)出來。比如，在實時解析系統(tǒng)及分布式數(shù)據(jù)存儲系統(tǒng)開發(fā)過程中，在氣象產(chǎn)品數(shù)據(jù)生成的正確性上投入了極高的人力成本，每一個模式數(shù)據(jù)、衛(wèi)星雷達和實況數(shù)據(jù)的解析、產(chǎn)品生成，全部由若干資深預報員完成正確性檢查、單位調(diào)整以及等值線設定等工作，并且至少再由另外一名資深預報員完成交叉驗證，確保每一個數(shù)值的正確性。

　　王若曈舉例說：“模式數(shù)據(jù)需要顯示等值線，等值線有起始值、終止值和等差數(shù)列的步長值，每一種物理量的起始值、終止值和等差數(shù)列的步長值設置都是不一致的，現(xiàn)在所有模式約2000多個物理量加層次的數(shù)值全部由預報員逐一手工配置，并保證拖到系統(tǒng)里顯示美觀，保證數(shù)據(jù)單位的絕對正確性。”

　　在良性互動中，系統(tǒng)功能得到不斷完善。目前，MICAPS4.0已經(jīng)具備了數(shù)據(jù)綜合可視化、預報交互制作、產(chǎn)品發(fā)布、自動化動畫、監(jiān)視性的資料滾動等功能。在未來，系統(tǒng)功能還會進一步完善。“現(xiàn)在功能雖然比較多，具體到某些功能可能還會有進一步改進的空間，比如模式探空、集合預報使用等。”孫軍期待著，“在智能化方面，將來MICAPS4.0把預報員的思想放進去，想預報員所想，做預報員所做，將預報流程用更加智能化的方法體現(xiàn)出來，比如現(xiàn)在比較流行的虛擬現(xiàn)實技術(shù)或許就是一個可以探索的方向。”

　　MICAPS4.0正是大數(shù)據(jù)時代的產(chǎn)物。“我們看到的大數(shù)據(jù)系統(tǒng)有不少成功案例，但還有成千上萬的大數(shù)據(jù)系統(tǒng)的失敗被忽視，這些系統(tǒng)通常剛剛經(jīng)歷項目初期熱鬧的炒作階段，因為不夠嚴謹、不夠扎實而曇花一現(xiàn)，一兩年后就被歷史淘汰了。”王若曈說，“我們更希望并且要保證，作為解決氣象大數(shù)據(jù)的典范平臺以及中國氣象局和國家氣象中心的旗艦產(chǎn)品，MICAPS4.0能真正成為歷史所存下來的較少的部分優(yōu)秀系統(tǒng)之一。”