Внезапно слетел hotspare в рейде

Zabbix пожаловался, что на моём сервере что-то не так с рейдом. Оказалось, что мой случай очень точно описан на сайте в главе про INOPERABLE. Странно, что проблема только с hot spare и странно она решается. Решил как они попросили.

Установка клиентского интерфейса RAID Adaptec, мониторинг zabbix

Попытался вспомнить как я мониторил raid контроллер на своём красивом IBM-овском сервере, вспомнил, оказалось, что эта утилита — графическая. Тогда я пошел и разыскал консольную адаптековскую утилиту, но она оказалась в rpm. Так что я её преобразовал в deb (можно скачать тут: adaptec-cli_5.50.b17901-5_i386.deb). Установил и получил красиво.
Как всегда добавляем в /etc/zabbix/zabbix_agentd.conf:

UserParameter=my.raid,sudo arcconf getconfig 1 | grep Status.*: | awk -F «: » ‘BEGIN { k=»Optimal» } { if ($2!=»Optimal») {k=$2}} END {print k}’

Добавляем в zabbix элемент данных …

… и триггер:

И можно выдёргивать диски — получать уведомления.

Ещё раз об установке 3ware raid контроллера, обращение из линукса, контроль в zabbix

Во-первых, надо установить утилиту для управления raid контроллером:

echo "deb http://jonas.genannt.name/debian squeeze restricted" >> /etc/apt/sources.list
wget -O - http://jonas.genannt.name/debian/jonas_genannt.pub | apt-key add -
apt-get update
apt-get install 3ware-cli-binary

После этого можно командой tw_cli show посмотреть список имеющихся у вас контроллеров. У меня есть контроллер c2, поэтому команда tw_cli /c2 show покажет мне состояние как RAID, так и каждого диска в отдельности.

В этом месте нам захочется мониторить эту красоту при помощи zabbix. Читать далее

Свободное место на диске, на котором выполняется резервное копирование

На рисунке отчётливо видны ежедневные, еженедельные и ежемесячные архивации.

Вот лично из вас никто не думает, что кто-то прохлопал момент, когда диска уже мало для этой операции? Заказал три терабайтника для создания нормального пятого RAID без извращений. Кстати, там только вопрос. А сами извращения я, похоже, не описал. Там два RAID5, причём, каждый из них собран на одном полутерабайтнике и двух половинках разных терабайтников. Извращение, но RAID5.

Как разбить диск под RAID-5: вот лично я стою на асфальте обутый в лыжи.

Исключительно тупой вопрос. Не то, что бы у меня нет боевых серверов, которые у меня бы в боевом режиме крутились, но тем не менее. В своё время я начитался ваших комментов, подумал своей головой и сделал отдельные диски, причём ни во что не собранные, причём, оставил их на ntfs, кроме одного, на котором была система. Дисков у меня четыре. Я исходил из соображений, что теряя один из диском я капитально роняю систему, но данные на остальных винтах остаются. Сейчас я себе думаю, что хочу сделать RAID5 на всех этих четырёх дисках (без хотсвапа). И возник у меня вопрос: если я скажу системе делай как знаешь, то она мне соберёт один RAID5, а потом его поделит на партишен под свап и всё остальное (я решил не делить на отдельные партишены под логи и базы, потому что у меня zabbiх будет мне письма писать когда размеры будут угрожающие). Внимание вопросы:
1) Зачем мне swap на RAID5? Если я сделаю отдельные свапики на каждом из дисков (по пятьсот мег) — они будут использоваться системой все четыре?
2) Как установить grub так, что бы при вылетании любого из дисков я имел автоматически загружающийся сервер?

Программный RAID на debian. Создание при установке системы.

Я выполнял эту процедуру раньше, но почему-то она не нашла своего отображения в моём уютном дневничке. Или теги не расставил 🙂 Восполняю этот пробел 🙂

Для того, что бы установить программный raid при установке системы в самом начале, когда только появляется приглашение на установку, необходимо нажать [tab] и в появившейся снизу строке с опциями установки дописать dmraid=true. Это раз. Потому что функция для lenny ещё экспериментальная 🙂

Во-вторых, надо дойти до дисков, удалить старые партишены, создать новые и у них отметить использование «Для томов RAID». И вот только после этого можно будет выбрать управление RAID, собрать эти тома в RAID и на этом RAID создать партишен и выбрать куда его монтировать.

Это я тут устанваливал систему на сервер, который нужен только на время — данные перебросить. В нём есть аппаратный RAID и ещё четыре диска в программном. Точнее, в программном было четыре, но один умер напрочь в прошлой инкарнации сервера. Поэтому сейчас я собирал RAID5 из оставшихся трёх дисков без всякого hot spare.

Мониторинг за состоянием raid контроллера Adaptec на сервере IBM под debain

В предыдущей статье мы учились устанавливать консольную утилиту для работы с Adaptec raid контроллером под debian. К сожалению Adaptec официально поддерживает только несколько rpm-ориентированных дистрибутивов, поэтому статья была нужна. Но сейчас у нас команда

/usr/StorMan/arcconf getconfig 1

Выдаёт полную информацию о контроллере и его состоянии и мы можем научить debain писать нам письма о том, что с raid что-то не то.

cd /usr/StorMan
vim checkraid.pl

Разумеется, каталог в котором будет находиться скрипт у вас может быть другой (у меня такой, потому что я пока не знаю где хранить скрипты). И любимый редактор может быть не vim, а то, что вам ближе по духу, например, nano. Так или иначе, но в свежесозданный файл вы помещаете скрипт следующего содержания: Читать далее

Установка на IBM ServeRAID 8k консольных утилит adaptec StorMan под debian. Мониторинг состояния raid

Я очень боялся, что для моего чёрного rack mount IBM-овского сервера надо будет расстаться с debian, потому что не смогу корректно видеть оборудование. Debian Lenny установился исключительно корректно — в самом начале при установке с CD сетевой инсталляции (мне так проще — есть репозиторий локальный) у меня спросило про какой-то конкретный firmware для сетевой платы. Я скачал именно этот файл и подсунул его на USB флешке. Всё остальное установилось красиво и без вопросов. Остался непонятный момент с мониторингом raid. Raid уровня 6 я проинициализировал из Bios, а инсталляшка его увидела как диск и на него встала. Вопрос в том, что мне надо своевременно узнавать об отказах дисков. Не на лампочки же ходить смотреть! Потому что система не будет жаловаться если два из восьми дисков просто «отключатся». Я проверял 🙂 Итак, дальше — подробная инструкция как я делал. Потому что мне через несколько дней это повторять ещё раз. Когда от экспериментов к реальной установке перейду. Читать далее

Suse на сервере IBM и мониторинг raid контроллера adapctec

Из всех дистрибутивов линукса, которые IBM рекомендует для своих серверов программных и аппаратных у меня под рукой оказался только Suse 11.2. SuSE 11.3 уже есть, но под рукой он не оказался. Я установил Suse. Ничего особенного там нет. Что-то красивше чем обычно, что-то страшнее. Очень удобно было выставить по умолчанию грузить полноценный linux, но без GUI. Зачем мне на сервере GUI в обычном состоянии? А консольная команда startx даёт моментальный эффект запуска графики. Читать далее

Неожиданные грабли в установке debian на сервер ibm

Устанавливал я сегодня debian на чёрный rack mount сервер IBM. Сервер такой крутой, что просто неописуемо какой. Всё хотсвапное — аж сам себе завидую, что такую железяку руками трогаю. Сервер при включении самолюбованием около минуты страдает. Это ещё до операционной системы… Так вот, пока я с сервром балуюсь, учусь в разных хитрых режимах устанавливать raid. Систему я пока только для красоты ставлю — пока ещё с дисками балуюсь. И вот вчера сервер установился с полпинка, а сегодня установился, а после перезагрузки сдулся вноль. Вроде как запускается, а потом говорит, что не могу найти корневую дисковую систему и всё, умирает значит. Я ещё раз переставляю — результат тот же. Смотрю вдумчиво и внимательно, а оказывается, что не всё так просто. Вспомнил я, что при установке просит инсталлятор firmware для сетевой карты. В IBM-овском сервере сетевые карты серьёзные, а в CD для сетевой инсталляции такого драйвера нет. Ну он и говорит: дайте мне USB с файлом таким-то таким-то. Я файл скачал, да в нужный момент флешку воткнул. А тут и оказалось, что флешку воткнул, сетевая карточка ожила, установка дальше продолжилась. А когда речь за установку пошла, то флешка оказалась /dev/sda, а супернавороченный RAID 6 — /dev/sdb. Разумеется, излечённая после установки флешка уже не фигурировала в перезагруженной системе и никакого /dev/sdb уже после перезагрузки не наблюдалось. Помогло выдёргивание флешки сразу, как только драйвер для сетевой карты с него скачивался. Тогда всё на своих местах — система у меня уже есть 🙂