非常全面的LINUX NFS文檔
加入技術(shù)交流群
超全的NFS文檔(FOR LINUX)
上海 天俊
歡迎大家和我交流網(wǎng)絡(luò )方面的技術(shù)問(wèn)題
msn:bcst@citiz.net qq:11300242
如果要轉載的話(huà)請保留以上信息，謝謝配合
一、NFS簡(jiǎn)介
NFS-Network FileSystem的縮寫(xiě)，NFS是由Sun開(kāi)發(fā)并發(fā)展起來(lái)的一項用于在不同機器，不同操作系統之間通過(guò)網(wǎng)絡(luò )互相分享各自的文件。NFS server也可以看作是一個(gè)FILE SERVER,它可以讓你的PC通過(guò)網(wǎng)絡(luò )將遠端得NFS SERVER共享出來(lái)的檔案MOUNT到自己的系統中，在CLIENT看來(lái)使用NFS的遠端文件就象是在使用本地文件一樣。
NFS協(xié)議從誕生到現在為止，已經(jīng)有多個(gè)版本，如NFS V2（rfc1094）,NFS V3（rfc1813）（最新的版本是V4（rfc3010）。
二、各NFS協(xié)議版本的主要區別
V3相對V2的主要區別：
1、文件尺寸
V2最大只支持32BIT的文件大小(4G),而NFS V3新增加了支持64BIT文件大小的技術(shù)。
2、文件傳輸尺寸
V3沒(méi)有限定傳輸尺寸，V2最多只能設定為8k，可以使用-rsize and -wsize 來(lái)進(jìn)行設定。
3、完整的信息返回
V3增加和完善了許多錯誤和成功信息的返回，對于服務(wù)器的設置和管理能帶來(lái)很大好處。
4、增加了對TCP傳輸協(xié)議的支持
V2只提供了對UDP協(xié)議的支持，在一些高要求的網(wǎng)絡(luò )環(huán)境中有很大限制，V3增加了對TCP協(xié)議的支持
*5、異步寫(xiě)入特性
6、改進(jìn)了SERVER的mount性能
7、有更好的I/O WRITES 性能。
9、更強網(wǎng)絡(luò )運行效能，使得網(wǎng)絡(luò )運作更為有效。
10、更強的災難恢復功能。
異步寫(xiě)入特性（v3新增加）介紹：
NFS V3 能否使用異步寫(xiě)入，這是可選擇的一種特性。NFS V3客戶(hù)端發(fā)發(fā)送一個(gè)異步寫(xiě)入請求到服務(wù)器，在給客戶(hù)端答復之前服務(wù)器并不是必須要將數據寫(xiě)入到存儲器中（穩定的）。服務(wù)器能確定何時(shí)去寫(xiě)入數據或者將多個(gè)寫(xiě)入請求聚合到一起并加以處理，然后寫(xiě)入?？蛻?hù)端能保持一個(gè)數據的copy以防萬(wàn)一服務(wù)器不能完整的將數據寫(xiě)入。當客戶(hù)端希望釋放這個(gè)copy的時(shí)候，它會(huì )向服務(wù)器通過(guò)這個(gè)操作過(guò)程，以確保每個(gè)操作步驟的完整。異步寫(xiě)入能夠使服務(wù)器去確定最好的同步數據的策略。使數據能盡可能的同步的提交何到達。與V2比較來(lái)看，這樣的機制能更好的實(shí)現數據緩沖和更多的平行（平衡）。而NFS V2的SERVER在將數據寫(xiě)入存儲器之前不能再相應任何的寫(xiě)入請求。
V4相對V3的改進(jìn)：
1：改進(jìn)了INTERNET上的存取和執行效能
2：在協(xié)議中增強了安全方面的特性
3：增強的跨平臺特性
三、CLIENT和SERVER的具體操作和設置
在講NFS SERVER的運作之前先來(lái)看一些與NFS SERVER有關(guān)的東西：
RPC（Remote Procedure Call）
NFS本身是沒(méi)有提供信息傳輸的協(xié)議和功能的，但NFS卻能讓我們通過(guò)網(wǎng)絡(luò )進(jìn)行資料的分享，這是因為NFS使用了一些其它的傳輸協(xié)議。而這些傳輸協(xié)議勇士用到這個(gè)RPC功能的?？梢哉f(shuō)NFS本身就是使用RPC的一個(gè)程序?；蛘哒f(shuō)NFS也是一個(gè)RPC SERVER.所以只要用到NFS的地方都要啟動(dòng)RPC服務(wù)，不論是NFS SERVER或者NFS CLIENT。這樣SERVER和CLIENT才能通過(guò)RPC來(lái)實(shí)現PROGRAM PORT的對應?？梢赃@么理解RPC和NFS的關(guān)系：NFS是一個(gè)文件系統，而RPC是負責負責信息的傳輸。
NFS需要啟動(dòng)的DAEMONS
pc.nfsd:主要復雜登陸權限檢測等。
rpc.mountd：負責NFS的檔案系統，當CLIENT端通過(guò)rpc.nfsd登陸SERVER后，對clinet存取server的文件進(jìn)行一系列的管理
NFS SERVER在REDHAT LINUX平臺下一共需要兩個(gè)套件：nfs-utils和PORTMAP
nfs-utils：提供rpc.nfsd 及 rpc.mountd這兩個(gè)NFS DAEMONS的套件
portmap:NFS其實(shí)可以被看作是一個(gè)RPC SERVER PROGRAM,而要啟動(dòng)一個(gè)RPC SERVER PROGRAM，都要做好PORT的對應工作，而且這樣的任務(wù)就是由PORTMAP來(lái)完成的。通俗的說(shuō)PortMap就是用來(lái)做PORT的mapping的。
一：服務(wù)器端的設定（以L(fǎng)INUX為例）
服務(wù)器端的設定都是在/etc/exports這個(gè)文件中進(jìn)行設定的，設定格式如下：
欲分享出去的目錄 主機名稱(chēng)1或者IP1(參數1，參數2） 主機名稱(chēng)2或者IP2（參數3，參數4）
上面這個(gè)格式表示，同一個(gè)目錄分享給兩個(gè)不同的主機，但提供給這兩臺主機的權限和參數是不同的，所以分別設定兩個(gè)主機得到的權限。
可以設定的參數主要有以下這些：
rw：可讀寫(xiě)的權限；
ro：只讀的權限；
no_root_squash：登入到NFS主機的用戶(hù)如果是ROOT用戶(hù)，他就擁有ROOT的權限，此參數很不安全，建議不要使用。
root_squash：在登入 NFS 主機使用分享之目錄的使用者如果是 root 時(shí)，那麼這個(gè)使用者的權限將被壓縮成為匿名使用者，通常他的 UID 與 GID 都會(huì )變成 nobody 那個(gè)身份；
all_squash：不管登陸NFS主機的用戶(hù)是什么都會(huì )被重新設定為nobody。
anonuid：將登入NFS主機的用戶(hù)都設定成指定的user id,此ID必須存在于/etc/passwd中。
anongid：同 anonuid ，但是變成 group ID 就是了！
sync：資料同步寫(xiě)入存儲器中。
async：資料會(huì )先暫時(shí)存放在內存中，不會(huì )直接寫(xiě)入硬盤(pán)。
insecure 允許從這臺機器過(guò)來(lái)的非授權訪(fǎng)問(wèn)。
例如可以編輯/etc/exports為：
/tmp *(rw,no_root_squash)
/home/public 192.168.0.*(rw) *(ro)
/home/test 192.168.0.100(rw)
/home/linux *.the9.com(rw,all_squash,anonuid=40,anongid=40)
設定好后可以使用以下命令啟動(dòng)NFS:
/etc/rc.d/init.d/portmap start (在REDHAT中PORTMAP是默認啟動(dòng)的）
/etc/rc.d/init.d/nfs start
exportfs命令：
如果我們在啟動(dòng)了NFS之后又修改了/etc/exports，是不是還要重新啟動(dòng)nfs呢？這個(gè)時(shí)候我們就可以用exportfs命令來(lái)使改動(dòng)立刻生效，該命令格式如下：
exportfs [-aruv]
-a ：全部mount或者unmount /etc/exports中的內容
-r ：重新mount /etc/exports中分享出來(lái)的目錄
-u ：umount 目錄
-v ：在 export 的時(shí)候，將詳細的信息輸出到屏幕上。
具體例子：
[root @test root]# exportfs -rv ==全部重新 export 一次！
exporting 192.168.0.100:/home/test
exporting 192.168.0.*:/home/public
exporting *.the9.com:/home/linux
exporting *:/home/public
exporting *:/tmp
reexporting 192.168.0.100:/home/test to kernel
exportfs -au ==全部都卸載了。
客戶(hù)段的操作：
1、showmout命令對于NFS的操作和查錯有很大的幫助，所以我們先來(lái)看一下showmount的用法
showmout
-a ：這個(gè)參數是一般在NFS SERVER上使用，是用來(lái)顯示已經(jīng)mount上本機nfs目錄的cline機器。
-e ：顯示指定的NFS SERVER上export出來(lái)的目錄。
例如：
showmount -e 192.168.0.30
Export list for localhost:
/tmp *
/home/linux *.linux.org
/home/public (everyone)
/home/test 192.168.0.100
2、mount nfs目錄的方法：
mount -t nfs hostname(orIP):/directory /mount/point
具體例子：
Linux: mount -t nfs 192.168.0.1:/tmp /mnt/nfs
Solaris:mount -F nfs 192.168.0.1:/tmp /mnt/nfs
BSD: mount 192.168.0.1:/tmp /mnt/nfs
3、mount nfs的其它可選參數：
HARD mount和SOFT MOUNT：
HARD: NFS CLIENT會(huì )不斷的嘗試與SERVER的連接（在后臺，不會(huì )給出任何提示信息,在LINUX下有的版本仍然會(huì )給出一些提示），直到MOUNT上。
SOFT:會(huì )在前臺嘗試與SERVER的連接，是默認的連接方式。當收到錯誤信息后終止mount嘗試，并給出相關(guān)信息。
例如：mount -F nfs -o hard 192.168.0.10:/nfs /nfs
對于到底是使用hard還是soft的問(wèn)題，這主要取決于你訪(fǎng)問(wèn)什么信息有關(guān)。例如你是想通過(guò)NFS來(lái)運行X PROGRAM的話(huà)，你絕對不會(huì )希望由于一些意外的情況（如網(wǎng)絡(luò )速度一下子變的很慢，插拔了一下網(wǎng)卡插頭等）而使系統輸出大量的錯誤信息，如果此時(shí)你用的是HARD方式的話(huà)，系統就會(huì )等待，直到能夠重新與NFS SERVER建立連接傳輸信息。另外如果是非關(guān)鍵數據的話(huà)也可以使用SOFT方式，如FTP數據等，這樣在遠程機器暫時(shí)連接不上或關(guān)閉時(shí)就不會(huì )掛起你的會(huì )話(huà)過(guò)程。
rsize和wsize：
文件傳輸尺寸設定：V3沒(méi)有限定傳輸尺寸，V2最多只能設定為8k，可以使用-rsize and -wsize 來(lái)進(jìn)行設定。這兩個(gè)參數的設定對于NFS的執行效能有較大的影響
bg：在執行mount時(shí)如果無(wú)法順利mount上時(shí)，系統會(huì )將mount的操作轉移到后臺并繼續嘗試mount，直到mount成功為止。（通常在設定/etc/fstab文件時(shí)都應該使用bg，以避免可能的mount不上而影響啟動(dòng)速度）
fg：和bg正好相反，是默認的參數
nfsvers＝n:設定要使用的NFS版本，默認是使用2，這個(gè)選項的設定還要取決于server端是否支持NFS VER 3
mountport：設定mount的端口
port：根據server端export出的端口設定，例如如果server使用5555端口輸出NFS,那客戶(hù)端就需要使用這個(gè)參數進(jìn)行同樣的設定
timeo=n:設置超時(shí)時(shí)間，當數據傳輸遇到問(wèn)題時(shí)，會(huì )根據這個(gè)參數嘗試進(jìn)行重新傳輸。默認值是7/10妙（0.7秒）。如果網(wǎng)絡(luò )連接不是很穩定的話(huà)就要加大這個(gè)數值，并且推薦使用HARD MOUNT方式，同時(shí)最好也加上INTR參數，這樣你就可以終止任何掛起的文件訪(fǎng)問(wèn)。
intr 允許通知中斷一個(gè)NFS調用。當服務(wù)器沒(méi)有應答需要放棄的時(shí)候有用處。
udp：使用udp作為nfs的傳輸協(xié)議（NFS V2只支持UDP)
tcp：使用tcp作為nfs的傳輸協(xié)議
namlen=n：設定遠程服務(wù)器所允許的最長(cháng)文件名。這個(gè)值的默認是255
acregmin=n：設定最小的在文件更新之前cache時(shí)間，默認是3
acregmax=n：設定最大的在文件更新之前cache時(shí)間，默認是60
acdirmin=n：設定最小的在目錄更新之前cache時(shí)間，默認是30
acdirmax=n：設定最大的在目錄更新之前cache時(shí)間，默認是60
actimeo=n：將acregmin、acregmax、acdirmin、acdirmax設定為同一個(gè)數值，默認是沒(méi)有啟用。
retry=n：設定當網(wǎng)絡(luò )傳輸出現故障的時(shí)候，嘗試重新連接多少時(shí)間后不再?lài)L試。默認的數值是10000 minutes
noac:關(guān)閉cache機制。
同時(shí)使用多個(gè)參數的方法：mount -t nfs -o timeo=3,udp,hard 192.168.0.30:/tmp /nfs
請注意，NFS客戶(hù)機和服務(wù)器的選項并不一定完全相同，而且有的時(shí)候會(huì )有沖突。比如說(shuō)服務(wù)器以只讀的方式導出，客戶(hù)端卻以可寫(xiě)的方式mount,雖然可以成功mount上，但嘗試寫(xiě)入的時(shí)候就會(huì )發(fā)生錯誤。一般服務(wù)器和客戶(hù)端配置沖突的時(shí)候，會(huì )以服務(wù)器的配置為準。
4、/etc/fstab的設定方法
/etc/fstab的格式如下：
fs_spec fs_file fs_type fs_options fs_dump fs_pass
fs_spec:該字段定義希望加載的文件系統所在的設備或遠程文件系統,對于nfs這個(gè)參數一般設置為這樣：192.168.0.1:/NFS
fs_file:本地的掛載點(diǎn)
fs_type：對于NFS來(lái)說(shuō)這個(gè)字段只要設置成nfs就可以了
fs_options:掛載的參數，可以使用的參數可以參考上面的mount參數。
fs_dump - 該選項被dump命令使用來(lái)檢查一個(gè)文件系統應該以多快頻率進(jìn)行轉儲，若不需要轉儲就設置該字段為0
fs_pass - 該字段被fsck命令用來(lái)決定在啟動(dòng)時(shí)需要被掃描的文件系統的順序，根文件系統/對應該字段的值應該為1，其他文件系統應該為2。若該文件系統無(wú)需在啟動(dòng)時(shí)掃描則設置該字段為0 。
5、與NFS有關(guān)的一些命令介紹
nfsstat:
查看NFS的運行狀態(tài)，對于調整NFS的運行有很大幫助
rpcinfo：
查看rpc執行信息，可以用于檢測rpc運行情況的工具。
四、NFS調優(yōu)
調優(yōu)的步驟：
1、測量當前網(wǎng)絡(luò )、服務(wù)器和每個(gè)客戶(hù)端的執行效率。
2、分析收集來(lái)的數據并畫(huà)出圖表。查找出特殊情況，例如很高的磁盤(pán)和CPU占用、已經(jīng)高的磁盤(pán)使用時(shí)間
3、調整服務(wù)器
4、重復第一到第三步直到達到你渴望的性能
與NFS性能有關(guān)的問(wèn)題有很多，通?？梢砸紤]的有以下這些選擇：
WSIZE,RSIZE參數來(lái)優(yōu)化NFS的執行效能
WSIZE、RSIZE對于NFS的效能有很大的影響。
wsize和rsize設定了SERVER和CLIENT之間往來(lái)數據塊的大小，這兩個(gè)參數的合理設定與很多方面有關(guān)，不僅是軟件方面也有硬件方面的因素會(huì )影響這兩個(gè)參數的設定（例如LINUX KERNEL、網(wǎng)卡，交換機等等）。
下面這個(gè)命令可以測試NFS的執行效能，讀和寫(xiě)的效能可以分別測試，分別找到合適的參數。對于要測試分散的大量的數據的讀寫(xiě)可以通過(guò)編寫(xiě)腳本來(lái)進(jìn)行測試。在每次測試的時(shí)候最好能重復的執行一次MOUNT和unmount。
time dd if=/dev/zero of=/mnt/home/testfile bs=16k count=16384
用于測試的WSIZE,RSIZE最好是1024的倍數，對于NFS V2來(lái)說(shuō)8192是RSIZE和WSIZE的最大數值，如果使用的是NFS V3則可以嘗試的最大數值是32768。
如果設置的值比較大的時(shí)候，應該最好在CLIENT上進(jìn)入mount上的目錄中，進(jìn)行一些常規操作（LS,VI等等），看看有沒(méi)有錯誤信息出現。有可能出現的典型問(wèn)題有LS的時(shí)候文件不能完整的列出或者是出現錯誤信息，不同的操作系統有不同的最佳數值，所以對于不同的操作系統都要進(jìn)行測試。
設定最佳的NFSD的COPY數目。
linux中的NFSD的COPY數目是在/etc/rc.d/init.d/nfs這個(gè)啟動(dòng)文件中設置的，默認是8個(gè)NFSD,對于這個(gè)參數的設置一般是要根據可能的CLIENT數目來(lái)進(jìn)行設定的，和WSIZE、RSIZE一樣也是要通過(guò)測試來(lái)找到最近的數值。
UDP and TCP
可以手動(dòng)進(jìn)行設置，也可以自動(dòng)進(jìn)行選擇。
mount -t nfs -o sync,tcp,noatime,rsize=1024,wsize=1024 EXPORT_MACHINE:/EXPORTED_DIR /DIR
UDP有著(zhù)傳輸速度快，非連接傳輸的便捷特性，但是UDP在傳輸上沒(méi)有TCP來(lái)的穩定，當網(wǎng)絡(luò )不穩定或者黑客入侵的時(shí)候很容易使NFS的 Performance 大幅降低甚至使網(wǎng)絡(luò )癱瘓。所以對于不同情況的網(wǎng)絡(luò )要有針對的選擇傳輸協(xié)議。nfs over tcp比較穩定，nfs over udp速度較快。在機器較少網(wǎng)絡(luò )狀況較好的情況下使用UDP協(xié)議能帶來(lái)較好的性能，當機器較多，網(wǎng)絡(luò )情況復雜時(shí)推薦使用TCP協(xié)議（V2只支持UDP協(xié)議）。在局域網(wǎng)中使用UDP協(xié)議較好，因為局域網(wǎng)有比較穩定的網(wǎng)絡(luò )保證，使用UDP可以帶來(lái)更好的性能，在廣域網(wǎng)中推薦使用TCP協(xié)議，TCP協(xié)議能讓NFS在復雜的網(wǎng)絡(luò )環(huán)境中保持最好的傳輸穩定性?？梢詤⒖歼@篇文章：http://www.hp.com.tw/ssn/unix/0212/unix021204.asp
版本的選擇
V3作為默認的選擇（RED HAT 8默認使用V2,SOLARIS 8以上默認使用V3），可以通過(guò)vers= mount option來(lái)進(jìn)行選擇。
LINUX通過(guò)mount option的nfsvers=n進(jìn)行選擇。
五、NFS故障解決
1、NFSD沒(méi)有啟動(dòng)起來(lái)
首先要確認 NFS 輸出列表存在，否則 nfsd 不會(huì )啟動(dòng)?？捎?exportfs 命令來(lái)檢查，如果 exportfs 命令沒(méi)有結果返回或返回不正確，則需要檢查 /etc/exports 文件。
2、mountd 進(jìn)程沒(méi)有啟動(dòng)
mountd 進(jìn)程是一個(gè)遠程過(guò)程調用 (RPC) ，其作用是對客戶(hù)端要求安裝（mount）文件系統的申請作出響應。mountd進(jìn)程通過(guò)查找 /etc/xtab文件來(lái)獲知哪些文件系統可以被遠程客戶(hù)端使用。另外，通過(guò)mountd進(jìn)程，用戶(hù)可以知道目前有哪些文件系統已被遠程文件系統裝配，并得知遠程客戶(hù)端的列表。查看mountd是否正常啟動(dòng)起來(lái)可以使用命令rpcinfo進(jìn)行查看，在正常情況下在輸出的列表中應該象這樣的行：
100005 1 udp 1039 mountd
100005 1 tcp 1113 mountd
100005 2 udp 1039 mountd
100005 2 tcp 1113 mountd
100005 3 udp 1039 mountd
100005 3 tcp 1113 mountd
如果沒(méi)有起來(lái)的話(huà)可以檢查是否安裝了PORTMAP組件。
rpm -qa|grep portmap
3、fs type nfs no supported by kernel
kernel不支持nfs文件系統，重新編譯一下KERNEL就可以解決。
4、can't contact portmapper: RPC: Remote system error - Connection refused
出現這個(gè)錯誤信息是由于SEVER端的PORTMAP沒(méi)有啟動(dòng)。
5、mount clntudp_create: RPC: Program not registered
NFS沒(méi)有啟動(dòng)起來(lái)，可以用showmout -e host命令來(lái)檢查NFS SERVER是否正常啟動(dòng)起來(lái)。
6、mount: localhost:/home/test failed, reason given by server: Permission denied
這個(gè)提示是當client要mount nfs server時(shí)可能出現的提示，意思是說(shuō)本機沒(méi)有權限去mount nfs server上的目錄。解決方法當然是去修改NFS SERVER咯。
7、被防火墻阻擋
這個(gè)原因很多人都忽視了，在有嚴格要求的網(wǎng)絡(luò )環(huán)境中，我們一般會(huì )關(guān)閉linux上的所有端口，當需要使用哪個(gè)端口的時(shí)候才會(huì )去打開(kāi)。而NFS默認是使用111端口，所以我們先要檢測是否打開(kāi)了這個(gè)端口，另外也要檢查T(mén)CP_Wrappers的設定。
六、NFS安全
NFS的不安全性主要體現于以下4個(gè)方面:
1、新手對NFS的訪(fǎng)問(wèn)控制機制難于做到得心應手,控制目標的精確性難以實(shí)現
2、NFS沒(méi)有真正的用戶(hù)驗證機制,而只有對RPC/Mount請求的過(guò)程驗證機制
3、較早的NFS可以使未授權用戶(hù)獲得有效的文件句柄
4、在RPC遠程調用中,一個(gè)SUID的程序就具有超級用戶(hù)權限.
加強NFS安全的方法：
1、合理的設定/etc/exports中共享出去的目錄，最好能使用anonuid，anongid以使MOUNT到NFS SERVER的CLIENT僅僅有最小的權限，最好不要使用root_squash。
2、使用IPTABLE防火墻限制能夠連接到NFS SERVER的機器范圍
iptables -A INPUT -i eth0 -p TCP -s 192.168.0.0/24 --dport 111 -j ACCEPT
iptables -A INPUT -i eth0 -p UDP -s 192.168.0.0/24 --dport 111 -j ACCEPT
iptables -A INPUT -i eth0 -p TCP -s 140.0.0.0/8 --dport 111 -j ACCEPT
iptables -A INPUT -i eth0 -p UDP -s 140.0.0.0/8 --dport 111 -j ACCEPT
3、為了防止可能的Dos攻擊，需要合理設定NFSD 的COPY數目。
4、修改/etc/hosts.allow和/etc/hosts.deny達到限制CLIENT的目的
/etc/hosts.allow
portmap: 192.168.0.0/255.255.255.0 : allow
portmap: 140.116.44.125 : allow
/etc/hosts.deny
portmap: ALL : deny
5、改變默認的NFS 端口
NFS默認使用的是111端口，但同時(shí)你也可以使用port參數來(lái)改變這個(gè)端口，這樣就可以在一定程度上增強安全性。
6、使用Kerberos V5作為登陸驗證系統
linux操作系統文章專(zhuān)題:linux操作系統詳解（linux不再難懂）
評論