關(guān)鍵詞

封閉網(wǎng)絡(luò):一個(gè)相對(duì)封閉的網(wǎng)絡(luò)環(huán)境，僅可以使用有限的資源如：maven鏡像倉庫、Centos/Ubuntu源等，無法連接互聯(lián)網(wǎng)的網(wǎng)絡(luò)環(huán)境。

一鍵部署：這里所說的“一鍵式部署”不僅僅是指這樣的場景：“編碼 –> 測試 –> 提交–> CI/CD –> 部署完成”。這里更多的是在描述：“在一個(gè)離線的網(wǎng)絡(luò)環(huán)境下，運(yùn)行一個(gè)deploy.sh的文件，就可以看到所有基礎(chǔ)設(shè)施服務(wù)如：Nexus、Gitlab、Mongodb等已部署完成，然后在你編輯業(yè)務(wù)代碼并提交至遠(yuǎn)程倉庫時(shí)，會(huì)觸發(fā)CI、編譯、測試、打包、部署，至此所有的業(yè)務(wù)模塊部署成功”，實(shí)現(xiàn)基礎(chǔ)設(shè)施即代碼。

背景

在這個(gè)互聯(lián)網(wǎng)無處不在的時(shí)代，網(wǎng)絡(luò)安全尤為重要，特別是在金融和電信領(lǐng)域，出現(xiàn)網(wǎng)絡(luò)安全問題將會(huì)帶來不可估量的損失。

基于對(duì)數(shù)據(jù)安全性、保密性和獨(dú)立性的考慮，為了更好地提供服務(wù)，同時(shí)有效地保護(hù)內(nèi)部網(wǎng)絡(luò)的安全，我們需要將這些對(duì)外開放的主機(jī)與內(nèi)部的眾多網(wǎng)絡(luò)設(shè)備分隔開來，制定安全策略限制互聯(lián)網(wǎng)連接。這樣便能在對(duì)外提供友好服務(wù)的同時(shí)，最大限度地保護(hù)內(nèi)部網(wǎng)絡(luò)，這也導(dǎo)致了內(nèi)網(wǎng)無法連接互聯(lián)網(wǎng)而形成一個(gè)“封閉網(wǎng)絡(luò)”。

痛點(diǎn)

我們通常會(huì)有這樣的需求：在一個(gè)無法連接互聯(lián)網(wǎng)的環(huán)境下setup一套dev、qa、staging包括搭建CI等環(huán)境來供不同的角色使用，但是由于安全策略或其他安全限制導(dǎo)致一些基礎(chǔ)服務(wù)無法從互聯(lián)網(wǎng)獲取，如Kubenetes、Mongodb、Kafka等基礎(chǔ)組件服務(wù)，這就給自動(dòng)化部署和持續(xù)交付帶來了不便，特別是在系統(tǒng)對(duì)第三方服務(wù)依賴較多的情況下。

本文通過部署一套復(fù)雜系統(tǒng)為例，來描述如何在封閉網(wǎng)絡(luò)環(huán)境下實(shí)現(xiàn)一鍵式部署。

解決方案

基于最主要的原因: “更輕松的遷移和擴(kuò)展”, 我們使用Docker來部署基礎(chǔ)組件服務(wù)。

對(duì)于一個(gè)封閉的網(wǎng)絡(luò)環(huán)境來說，要獲取基礎(chǔ)服務(wù)鏡像如上文提到的Mongodb鏡像是不可能完成的任務(wù)。當(dāng)然，我們可以使用docker save將構(gòu)建好的鏡像保存成tar包，使用U盤等介質(zhì)將tar包復(fù)制到內(nèi)網(wǎng)然后使用docker load命令還原鏡像。

對(duì)于較復(fù)雜（依賴相對(duì)較多的基礎(chǔ)組件）的系統(tǒng)來說，如果每個(gè)組件都如此操作將會(huì)帶來很大的工作量，并且更容易出錯(cuò)，對(duì)于后期維護(hù)來說也是一個(gè)很大的挑戰(zhàn)。所以使用Nexus是一個(gè)很好的選擇，將Nexus作為Docker倉庫保存所有的基礎(chǔ)組件鏡像。 這樣不僅可以解決離線網(wǎng)絡(luò)無法下載安裝包的問題，同時(shí)可以簡化配置，并保持內(nèi)網(wǎng)環(huán)境與開發(fā)環(huán)境的一致性，給一鍵式部署提供了前提。

解決了網(wǎng)絡(luò)問題，接下來就是部署和配置管理。同樣的道理，如果每個(gè)基礎(chǔ)服務(wù)都需要手動(dòng)部署往往比較耗時(shí)，難以實(shí)現(xiàn)故障排查，并且可能帶來潛在錯(cuò)誤。所以我們需要一個(gè)自動(dòng)化部署工具來提高工作效率，降低維護(hù)成本。

經(jīng)過對(duì)主流的自動(dòng)化工具做橫向?qū)Ρ龋罱K選擇使用Ansible作為配置管理和自動(dòng)化部署工具。那么Ansible是什么？下文會(huì)給出詳細(xì)描述。

解決了上述問題，就可以實(shí)施離線網(wǎng)絡(luò)自動(dòng)化部署了，將整個(gè)過程分為3階段，依次是:

• Base Deploy。主要部署所有服務(wù)所依賴的基礎(chǔ)組件Docker、Nexus和Gitlab，Docker作為基礎(chǔ)平臺(tái)，Nexus和Gitlab也部署在Docker平臺(tái)上，Nexus作為私有Maven倉庫和私有Docker倉庫，Gitlab作為私有遠(yuǎn)程代碼庫。

• Infrastructure Deploy。此階段主要使用Ansible部署集群所依賴的基礎(chǔ)服務(wù)如Kubernetes(Pass平臺(tái))、Kafka和Mongodb等服務(wù)。

• Business Deploy。最后一個(gè)階段測試持續(xù)集成和持續(xù)部署的階段，使用GoCD作為CI工具，在CI上實(shí)現(xiàn)業(yè)務(wù)服務(wù)模塊的自動(dòng)化部署。

實(shí)踐如下圖所示：

Base Deploy

如上文所述，使用Nexus作為私有的Docker Registry和Maven Repository，Nexus是倉庫管理器，它極大地簡化了自己內(nèi)部倉庫的維護(hù)和外部倉庫的訪問。利用Nexus你可以只在一個(gè)地方就能夠完全控制訪問和部署在你所維護(hù)倉庫中的每個(gè)Artifact。

Nexus存儲(chǔ)著所有基礎(chǔ)設(shè)施的鏡像文件，如Kubernetes、Mongodb、Zookeeper和Kafka的鏡像等，同時(shí)需要一個(gè)Nexus鏡像文件用來部署Nexus。為Infrastructure Deploy提供基礎(chǔ)環(huán)境和部署中所有的依賴組件。

同時(shí)為了方便Nexus的遷移和維護(hù)，我們將Nexus也部署在Docker平臺(tái)上。使用一個(gè)簡單的Shell腳本完成Base Deploy，一次部署Docker、Nexus和Gitlab（Gitlab作為私有的git倉庫）。Deploy.sh 代碼如下：

PS： 運(yùn)行deploy.sh 之前所有主機(jī)需要配置ssh public key登錄， 避免自動(dòng)化過程中提示輸入密碼。

運(yùn)行deploy.sh即可部署Nexus和Gitlab。Nexus如下圖所示，可以運(yùn)行docker pull 獲取所有組件的鏡像包括kubernetes、ansible等

Git Lab如下圖所示，也可以運(yùn)行g(shù)it clone 獲取所有的代碼倉庫包括Infrastructure Deploy的部署腳本。

如果條件允許可以為Nexus和Gitlab創(chuàng)建DNS記錄，或者可以通過修改本地/etc /hosts文件來通過使用特定域名訪問Nexus和Gitlab，如下文中使用的nexus-server訪問Nexus、gitlab-server訪問Gitlab。

Infrastructure Deploy

上文提到我們使用Ansible來實(shí)現(xiàn)基礎(chǔ)設(shè)施的自動(dòng)化部署，我們知道目前主流的自動(dòng)化部署工具包括Puppet、Chef、Ansible。 對(duì)比來說，Chef對(duì)于開發(fā)人員要更加“友好”，而Puppet則更適合運(yùn)營和系統(tǒng)管理類的任務(wù)，但是我們選擇Ansible，主要的原因是：

Ansible是通過ssh進(jìn)行所有操作，不需要在遠(yuǎn)程服務(wù)器上安裝客戶端，而使用Chef引擎和Puppet時(shí)，都需要在其管理的服務(wù)器上安裝客戶端（雖然Chef聲稱其可以不安裝，但其無代理agent-less版本支持的功能十分有限），Ansible則會(huì)充分利用現(xiàn)有的東西，而且沒有其他任何要求[注]。

通俗的說Ansible的部署過程就是在一臺(tái)或者幾臺(tái)服務(wù)器上，執(zhí)行一系列的命令而已。Ansible playbook是Ansible更為強(qiáng)大的配置管理組件，實(shí)現(xiàn)基于文本文件編排執(zhí)行的多個(gè)任務(wù)，且多次重復(fù)執(zhí)行。所以我們選擇Ansible作為配置管理和自動(dòng)化部署工具。

Ansible工作原理如下圖：

（圖片來自Ansible官網(wǎng)）

使用Ansible使整個(gè)過程透明化，每個(gè)部署工作都實(shí)現(xiàn)為獨(dú)立的ansible playbook role，這樣可以在不同的環(huán)境里部署指定的服務(wù)，提高部署代碼的復(fù)用性。同時(shí)與Nexus配合使用，形成自動(dòng)化部署的閉環(huán)，不依賴網(wǎng)絡(luò)即可提供部署中依賴的所有組件，所有的應(yīng)用程序都會(huì)以Docker image的方式提供。

在離線環(huán)境下使用Ansible是完全可行的，但是離線環(huán)境也無法直接安裝Ansible，為了統(tǒng)一管理我們也使用Docker鏡像來提供Ansible。在內(nèi)網(wǎng)成功部署了Nexus后，使用docker pull nexus-server:5000/:即可獲得Ansible鏡像。同時(shí)Ansible所需playbook role文件則保存在Gitlab中，執(zhí)行g(shù)it clone gitlab-server:2289/.git 下載deploy代碼庫。 deploy代碼庫結(jié)構(gòu)如下：

運(yùn)行以下命令即可實(shí)現(xiàn)基礎(chǔ)設(shè)施的一鍵自動(dòng)部署：

docker run –rm -v WORKDIR:$(pwd) ansible:2.2.1 ansible-playbook -i uat/inventory all.yml

Business Deploy

最后Business Deploy就是標(biāo)準(zhǔn)的持續(xù)集成/交付過程，使用GoCD作為CI/CD工具，完成業(yè)務(wù)模塊的持續(xù)集成和部署。關(guān)于持續(xù)集成和持續(xù)交付，請(qǐng)參考https://en.wikipedia.org/wiki/Continuous_delivery/

總結(jié)

玩過紅警的朋友應(yīng)該知道，在開局的時(shí)候你只有一個(gè)基地，需要采集資源、升級(jí)建筑、造兵攻打直到消滅所有的國家，一切都是自給自足。當(dāng)然紅警是可以離線玩的, 上文描述的過程和紅警很類似，你只有一個(gè)基地，就是將所有部署所需要的文件如Nexus data、Gitlab repo等按照特定的目錄結(jié)構(gòu)打成的zip包，使用U盤或者其他存儲(chǔ)介質(zhì)拷貝到離線的網(wǎng)絡(luò)環(huán)境，就像雙擊紅警基地一樣，運(yùn)行deploy.sh即可一鍵部署所有的基礎(chǔ)設(shè)施服務(wù)。

對(duì)于所有組件的升級(jí)，也比較容易，我們只需要將升級(jí)后的Docker鏡像拷貝到內(nèi)網(wǎng)，重新執(zhí)行Ansible腳本即可實(shí)現(xiàn)基礎(chǔ)服務(wù)的更新。

注：關(guān)于Ansible與其他工具的對(duì)比部分引用自：

http://blog.csdn.net/bvboca/article/details/53374244

https://www.upguard.com/articles/ansible-vs-chef

文／ThoughtWorks蘇開

原文鏈接：http://insights.thoughtworks.cn/offline-one-click-deployment/