Domino主機Fault Restart

-
最近發現我們Domino主機(6.0.3版/AIX)不定時的發生因為Fault而自動重開的現象, 因為主機會自動寄信通知我們管理員, 所以一定會知道有這個情形, 有時候重開後系統行為就很正常, 但有時候, 重開後系統就不太正常! 至少在重開時, 那五分鐘的時間內, 使用者會覺得不能寄信或收信!
主機寄來的通知信內容如下:
Fault Recovery Notification: Server s02/Princo was restarted after a fault on 02/13/2007 08:28:41

一開始我在Domino管理員界面的log裡找問題, 結果出事的那段時間就是沒有log!
後來在AIX的目錄下(/server1)找到log檔, 如下:
-rw-r--r-- 1 notes notes 755783 Feb 13 08:34 dcntrlr02130000.log

這個檔的內容就有出事時的log, 如下:
02/13/2007 08:28:34 SMTP Server: 10.1.10.122 disconnected. 1 message[s] received
02/13/2007 08:28:36 SMTP Server: 10.1.32.2 connected
02/13/2007 08:28:39 SMTP Server: Message 00029EDA (MessageID: <45d105e3.2080008@princo.com.tw>) received
02/13/2007 08:28:39 SMTP Server: 10.1.32.2 disconnected. 1 message[s] received
Stack base = 0x2ff21840, Stack size = 124168 bytes
Fatal Error signal = 0x0000000b PID/TID/K-TID = 13994/1/18887
Tue Feb 13 08:28:41 Fault recovery is in progress
Tue Feb 13 08:28:41 Running NSD
NSD is in progress .................
Tue Feb 13 08:33:59 Terminating tasks
Tue Feb 13 08:34:01 Freeing resources
Tue Feb 13 08:34:01 Fault recovery completeddomino-exited

另外在另一個目錄下(/server1/IBM_TECHNICAL_SUPPORT), 有另一個log檔:
-rw-r--r-- 1 notes notes 5799656 Feb 13 08:34 nsd_all_AIX_s02_02_13@08_28.log

這個檔很大, 裡面記錄著出事時系統的詳細狀態, 包括所有的process情況, 所以由上面的log檔指出有問題的PID=13994, 來找看看是那一支程式, 結果:
F S UID PID PPID C PRI NI ADDR SZ WCHAN STIME TTY TIME CMD
240001 A notes 13994 13170 0 60 20 2442 125820 * Jan 27 - 164:20 /opt/lotus/notes/latest/ibmpow/tmmscan

沒錯就是Trend Micro的ScanMail軟體, 由於我們最近發生了幾次相同的問題, 以一樣的方式來查看, 都是指出Trend Micro的這支程式出問題, 所以很明顯的兇手就是它了!

基本上這是花錢買的程式, 但是我對它已經信心盡失, 直接將該程式關掉, 並把信導給FreeBSD, 由其上所執行的Sendmail收進去後, 由ClamAV來做AntiVirus的工作。今天還只是第二天, 到目前為止, 我們的Domino主機還沒再出一樣的問題, 持續觀察看看吧!

留言

匿名表示…
好啊,不知你的问题解决了没有,我也遇到了此问题,但不是很理解你所写的,能不能搞得具体点,让大家看了更容易懂.
2008年9月1日 上午10:43:00
雨恩寫道…
謝謝你的關心, 到目前為止, 已經一年多了, 我們那台Domino Server運作很正常, 沒有再出現任何問題!
其實我自以為寫得很具體了,可能是環境沒交代清楚! 我們那台Domino是一台IBM RS6000的主機, 而log檔(日誌文件)會存在兩個地方:1.Domino本身,你可以在管理員界面找到, 2.作業系統(OS),以RS6000來說,就是AIX的/server1目錄(視你當初安裝時的設定可能不同)。重點是:Fault Restart的問題,必須找作業系統的log檔!
而且只看這個log檔是不足以解決問題!必須看另一個檔(/server1/IBM_TECHNICAL_SUPPORT/nsd_all...)先由第一個log檔找到主機是由那一個程序引起問題的(找PID), 再由第二個檔,利用PID找到這個程序的名稱(以我們的情形來說,就是tmmscan)。這樣就知道是那個軟體造成問題的了, 那你可以針對這個軟體, 再去問問是不是有更新或修正程式; 或者以我的情況來說, tmmscan是某個商業防毒軟體, 我們決定是不再使用該軟體, 用別的, 這樣也是可以解決!
所以, 如果你的主機環境, 不是IBM RS6000, 而是其他種類的, 如SUN SOLARIX, HP-UNIX, Linux, Windows等, 那麼log檔的位置應該也不太相同, 你自己可能要找一下。
2008年9月2日 下午5:48:00
張貼留言

這個網誌中的熱門文章

D-BUS學習筆記

-
圖片
我第一個看到的文章是 ali's Blog [1] , 其中提到二支程式server.c client.c，我試著去compile這二支程式， 沒什麼太大的問題就可以成功。因為這是所謂的dbus c api, 也就是low lever api，在ubuntu下只要安裝套件libdbus-1-dev, 就會安裝這個api: $ sudo apt-get install libdbus-1-dev 然後就如該文所提到的，在compile時，必須指定library: $ gcc server.c -o server -l dbus-1 此時再去compile程式，可能會發現找不到dbus.h的問題。其實檔案是存在的，只是gcc不知道去那裡找而已。我們只要加入-I/usr/include/dbus-1.0 -I/usr/lib/dbus-1.0/include 告訴gcc就可以了。 $ gcc -I/usr/include/dbus-1.0 -I/usr/lib/dbus-1.0/include -o server server.c -l dbus-1 如此，可以compile成功。但每次要打這麼多字，實在記不得，也容易打錯，所以使用Makefile吧！ 建一個檔案，其名為Makefile，內容如下： All: server client server: server.c   gcc -I/usr/include/dbus-1.0 -I/usr/lib/dbus-1.0/include -o server server.c -l dbus-1 client: client.c   gcc -I/usr/include/dbus-1.0 -I/usr/lib/dbus-1.0/include -o client client.c -l dbus-1 我們把server.c client.c Makefile三個檔案，都放在同一個目錄，叫做dbus-test好了。這樣以後只要: $ cd dbus-test $ make 就會正確的編出server client二支可執行的程式。我們也不用去記這些很長的路徑名稱了。用過Makefile的朋友應該看得出來，其實Makefile可以再簡短一些。改成如下： ...
閱讀完整內容

Cisco Switch學習筆記: EtherChannel

-
EtherChannel : 用來將二個交換器之間多條實體線路串成一條虛擬線路, 具有增加頻寬, 容錯的好處。 注意事項: FastEthernet只能和FastEthernet的埠串在一起, Giga只能和Giga的串在一起, 不可混在一起! 使用的協定 : PAgP(Port Aggregation Protocol) or LACP(Link Aggregation Control Protocol) 負載平衡及傳送方法 : source-MAC address, destination-MAC address, source-and-destination MAC address forwarding; 即以來源端MAC位址決定使用那條實體線路, 以目的端MAC位址決定使用那條線路, 以來源端及目的端MAC位址決定使用那條線路。 使用心得: 容錯能力很好, 實體線路中斷, 可以在數秒內切換至別條線路使用。 設定範例 : interface FastEthernet0/7 channel-group 1 mode passive interface FastEthernet0/8 channel-group 1 mode passive 表示將Fa0/7,Fa0/8設成同一個group, 使用LACP的被動模式! 將另一邊的埠也以同樣方式設定, 但mode設成active即可! 檢視狀態: sh etherchannel detail sh etherchannel load-balance sh etherchannel port sh etherchannel port-channel sh etherchannel protocol sh etherchannel summary 可以看到只要使用interface指令channel-group就可以設定了, 交換器會自己新增一個interface: interface Port-channel1 其他的功能會將這個介面當成如實體介面一樣使用, 例如: #sh spanning-tree Interface Role Sts Cost Prio.Nbr Type ---------------- ---- --- --------- -------- --------------------------...
閱讀完整內容

Cisco Switch學習筆記: interface的封包錯誤統計

-
有時候實體線路品質不好時, 我們想看看該線路的品質狀況, 可以用sh interface指令來看封包的錯誤比率等統計數字: #sh interface gi0/2 GigabitEthernet0/2 is up, line protocol is up (connected) . . Last clearing of "show interface" counters never . 678641 input errors, 30447 CRC, . . 此例中可以看到從以前到現在共有678641個輸入的錯誤, 30447個CRC錯誤! 那當我們把線路做了改善, 例如換新的線等, 我們會想知道是不是有真的有改善了! 如果統計數字是累積性的, 就很不方便觀察改善情形! 此時可以使用clear counters指令將這個界面的封包錯誤統計數字清除重來! # clear counters gi0/2 Clear "show interface" counters on this interface [confirm] #sh interface gi0/2 GigabitEthernet0/2 is up, line protocol is up (connected) . . Last clearing of "show interface" counters 00:00:10 . 0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored . . 這樣, 在一段時間後, 就可以觀察到線路改善後的封包錯誤統計情形!
閱讀完整內容