Sessizce Köşede Bekleyen Risk: Storage İzlemeyi Neden Erteliyoruz?
Sistem odalarında en çok karşılaştığım senaryolardan biridir: Sunucular pırıl pırıl izlenir, CPU grafiklerine her sabah kahve eşliğinde bakılır, network tarafında paket kayıpları anlık olarak takip edilir. Ancak iş depolama ünitelerine (storage) geldiğinde, genellikle “çalışıyorsa dokunma” veya “üzerindeki LED’ler yeşil yanıyor, sorun yok” mantığı devreye girer. Ta ki o disklerden biri sessizce can verip, hot-spare disk devreye girmeden ikinci bir disk de hata verene kadar.
HPE MSA 2060, orta ölçekli işletmelerin ve şube yapılarının can damarıdır. Fiyat/performans oranı oldukça yüksek olan bu cihaz, doğası gereği dayanıklıdır. Ancak bu dayanıklılık, bazen sistem yöneticilerinde sahte bir güven duygusu yaratır. Sahada gördüğüm en büyük hata, MSA 2060’ın kendi yönetim arayüzüne (SMU) güvenip, buradaki uyarıları merkezi bir izleme sistemine bağlamamaktır. Oysa Zabbix gibi güçlü bir platform elinizin altındayken, MSA 2060’ı kör noktada bırakmak büyük bir lükstür.
Bu yazıda, şablon belgelerden sıyrılarak, sahada bizzat uyguladığım ve hayat kurtaran HPE MSA 2060 Zabbix entegrasyonu detaylarına ve gerçekten işinize yarayacak trigger tasarımlarına odaklanacağız. Lafı dolandırmadan, doğrudan yapılandırma masasına geçelim.
Protokol Seçimi: SNMP mi, API mi?
MSA 2060 entegrasyonuna başlarken önünüzde iki yol bulunur. Birincisi klasik, güvenilir ama bazen hantal olabilen SNMP. İkincisi ise cihazın sunduğu REST API arayüzü. Birçok meslektaşımın doğrudan API entegrasyonuna yöneldiğini görüyorum. Evet, API daha fazla detay sunar ancak sahada tecrübe ettiğim bir gerçek var: API session’larının zaman zaman MSA kontrolcülerinde (controller) gereksiz yük oluşturduğu ve kilitlenmelere yol açtığı durumlar olabiliyor. Özellikle firmware sürümünüz güncel değilse.
Bu yüzden ben, üretim ortamlarında her zaman öncelikle SNMPv3 tercih edilmesini öneriyorum. Hem güvenlik açısından kimlik doğrulama ve şifreleme sunar hem de kontrolcüye binen yükü minimumda tutar. Zabbix’in standart şablonları (templates) arasında yer alan “HP Enterprise MSA by SNMP” bu iş için biçilmiş kaftandır. Ancak bu şablonu olduğu gibi bırakırsanız, gecenin üçünde gereksiz bildirimlerle uyanmanız işten bile değildir. Şablonu kendi yapınıza göre özelleştirmeniz gerekir.
Sahadan Alınan Derslerle Özelleştirilmiş Trigger Tasarımları
Varsayılan Zabbix şablonları genellikle genel geçer kurallara göre yazılır. “Disk doluluğu %90’ı geçince uyar” gibi basit kurallar, veri tabanı barındıran dinamik bir MSA 2060’ta sürekli alarm üretir. Sahada en sık karşılaştığımız sorunlardan biri olan “alarm yorgunluğu” (alert fatigue) tam olarak burada başlar. Gerçek kriz anlarını kaçırmamak için akıllı trigger’lar tasarlamalıyız.
1. Kontrolcü Sıcaklığı ve Fan Durumu (Çevre Koşulları)
Sistem odasındaki klimanın arızalanması, sunuculardan önce storage ünitelerini vurur. MSA 2060’ın kontrolcü sıcaklıklarını izlerken ani yükselişleri yakalamak hayati önem taşır. Sadece sabit bir eşik değer (örneğin 60 derece) koymak yerine, son 15 dakikadaki artış trendini izleyen bir trigger yazmak çok daha sağlıklıdır.
Aşağıdaki trigger ifadesi, kontrolcü sıcaklığındaki ani 5 derecelik artışları yakalar:
change(/HPE MSA 2060 by SNMP/sensor.temp.value[controller_a],15m) > 5
Bu sayede klima arızasını, cihaz kritik sıcaklık sınırına ulaşmadan çok önce fark edebilirsiniz.
2. Disk Ömrü ve SSD Aşınma Oranı (Wear-Out Indicator)
Eğer MSA 2060 üzerinde SSD diskler kullanıyorsanız (ki Tiering yapısı için genellikle kullanılır), bu disklerin bir yazma ömrü olduğunu bilirsiniz. SSD’lerin “Wear-Out” yani aşınma seviyesini izlememek, bir sabah tüm array’in çökmesiyle sonuçlanabilir. Zira aynı gruptaki benzer SSD’ler genellikle aynı zamanlarda ömürlerini tamamlar.
- Kritik Eşik: SSD ömrü %10’un altına düştüğünde “High” seviyeli alarm oluşturun.
- Uyarı Eşiği: Ömür %20’nin altına indiğinde yedek disk siparişi vermek için “Average” seviyeli bir uyarı ayarlayın.
Zabbix üzerinde bunu gerçekleştirmek için kullanacağımız trigger mantığı şu şekildedir:
last(/HPE MSA 2060 by SNMP/storage.ssd.wearout[disk_slot_1]) < 10
3. Cache Bellek Durumu ve Pil (Supercapacitor) Sağlığı
MSA 2060’ta yazma önbelleği (write cache) performansı doğrudan etkiler. Elektrik kesintilerinde bu önbellekteki verilerin kaybolmaması için cihazda “Supercapacitor” adı verilen piller bulunur. Bu pillerin sağlığı bozulduğunda, MSA güvenlik amacıyla yazma önbelleğini kapatır ve doğrudan diske yazmaya (write-through) başlar. Bu durum, IOPS değerlerinizin çakılmasına ve uygulamalarınızın donmasına neden olur. Sahada en çok gözden kaçan performans düşüşü nedeni budur.
Pil sağlığı durumunu izleyen trigger mutlaka anlık (real-time) olmalı ve hata durumunda doğrudan en yüksek öncelikli alarmı tetiklemelidir:
last(/HPE MSA 2060 by SNMP/storage.capacitor.status[controller_a]) <> 1
Performans Verilerini Anlamlandırmak
Sadece donanım sağlığını izlemek yetmez; MSA 2060’ın ne kadar nefes aldığını da bilmeniz gerekir. IOPS ve throughput (veri akış hızı) değerlerini Zabbix üzerinde grafikleştirirken, bu verileri “Read” ve “Write” olarak ayırmanızı öneririm. Disk havuzlarındaki (Pool A ve Pool B) gecikme sürelerini (latency) takip etmek, sanallaştırma ortamınızdaki (VMware/Hyper-V) yavaşlık şikayetlerinin kaynağını bulmanızı sağlar.
Eğer bir veri tabanı sunucusunda disk kuyruk uzunluğu artıyorsa ve MSA tarafındaki okuma gecikmesi 20 ms’nin üzerine çıkıyorsa, burada bir darboğaz (bottleneck) var demektir. Zabbix’in grafik yeteneklerini kullanarak, gecikme süreleri ile IOPS değerlerini aynı ekranda birleştiren dashboard’lar hazırlamak, sorun anında kök neden analizi yaparken size saatler kazandıracaktır.
Peki, tüm bu sistem kurulduktan sonra geriye ne kalıyor? Tabii ki sistemi test etmek. İlk fırsatta, planlı bir bakım zamanında, MSA kontrolcülerinden birinin yönetim kablosunu çekerek veya bir diski hafifçe yerinden oynatarak (eğer cesaretiniz varsa!) Zabbix’in bu durumu ne kadar sürede algılayıp size bildirdiğini test edin. Unutmayın, test edilmemiş bir izleme sistemi, aslında var olmayan bir sistemdir. Bir sonraki sistem odası kahvenizde, MSA grafiklerinizin sorunsuz aktığını görmeniz dileğiyle.