故障現(xiàn)象

某運(yùn)營商TECS資源池上報(bào)“主機(jī)磁盤分區(qū)使用率過高”的告警，如下圖所示。

故障分析

查看“主機(jī)磁盤分區(qū)使用率過高”告警詳情，通過處理當(dāng)前告警的節(jié)點(diǎn)和對應(yīng)的磁盤分區(qū)能夠快速的處理和恢復(fù)告警。

告警處理完成后需要進(jìn)一步排查分區(qū)增長的原因，有如下4種情況：

空間分配不足，規(guī)劃的分區(qū)空間不滿足現(xiàn)場集群和規(guī)模的要求。

出現(xiàn)大量crash和異常debug日志短時間沖擊磁盤分區(qū)，可能是人為或者進(jìn)程死循環(huán)導(dǎo)致。

日志文件或者定期輪詢文件未生效，導(dǎo)致歷史文件超限。

后端存儲異?；蛘吆蠖舜鎯?fù)用，導(dǎo)致磁盤使用率過高。

具體分析過程如下：

1. 根據(jù)告警詳細(xì)信息，使用SSH方式登錄相應(yīng)節(jié)點(diǎn)。

2. 在異常節(jié)點(diǎn)中執(zhí)行df -h命令，檢查輸出和操作系統(tǒng)運(yùn)行情況，查看是否有系統(tǒng)只讀不可寫等系統(tǒng)內(nèi)核崩潰情況，如下圖所示。

3. 檢查/var目錄下是否有過大問題。通過在每級目錄中執(zhí)行du -sh * 命令，檢查文件大小，從而排查最大異常問題，按照經(jīng)驗(yàn)var下異常大小文件一般是/var/log下的日志，如下圖所示。

4. 檢查日志存儲文件大小，如下圖所示。

5. 根據(jù)檢查結(jié)果發(fā)現(xiàn)，logrotate機(jī)制未生效，日志文件未按照設(shè)定參數(shù)被壓縮，轉(zhuǎn)儲不成功，導(dǎo)致日志文件過大，占用磁盤空間。

故障處理

1. 執(zhí)行如下命令，清理磁盤。

a. 執(zhí)行> /var/lib/logrotate/logrotate.status命令，清空轉(zhuǎn)儲記錄。

b. 執(zhí)行l(wèi)ogrotate -d /etc/logrotate.conf命令，手動進(jìn)行日志轉(zhuǎn)儲。

c. 執(zhí)行echo > /var/log/tecs/access/neutron/neutron-api.log命令，寫入空，覆蓋到日志文件內(nèi)，如下圖所示。

2. 清理完成后重新檢查文件大小和磁盤占用情況，問題解決。

3. 總結(jié)：對于磁盤分區(qū)使用率高問題，如果使用率達(dá)到100%就會導(dǎo)致節(jié)點(diǎn)不可用，系統(tǒng)自動備份失敗，數(shù)據(jù)庫定時備份失敗，無法登錄root用戶，等相關(guān)問題，存在很大的隱患，發(fā)現(xiàn)問題需要盡快定位對象主機(jī)上磁盤占用高的文件，進(jìn)行處理。

本次是由于logrotate機(jī)制未生效，日志文件未按照設(shè)定參數(shù)被壓縮、轉(zhuǎn)儲，從而使日志文件不停增大，占用全部磁盤空間導(dǎo)致。

清理文件，觸發(fā)轉(zhuǎn)儲服務(wù)后，磁盤占用恢復(fù)正常。

建議定期檢查系統(tǒng)磁盤空間占用，預(yù)防此類事件發(fā)生。