"Нас Атакуют!" Изобличи козни лукавого, запрети диаволу
Восстановление работоспособности Оракл RAC после полной потери дисков
Технология Oracle Real Application Cluster (RAC) получила широкое распространение благодаря производительности, масштабируемости и надёжности. Предлагаемые Ораклом средства резервного копирования позволяют быстро восстановить данные пользователя после потери дисков. В то же время, полная потеря voting disks и crs disks происходит редко и обычно застаёт администраторов баз данных врасплох. Непродуманные действия приводят к необходимости переустановки Grid Infrastructure (т.е. всего кластера).
Предлагаемая читателю заметка рассказывает о быстром восстановлении работоспособности Oracle RAC 11g Grid Infrastructure после полной потери voting disks (дисков кворума) и crs disks.
Прежде чем мы продолжим, я хотел бы привести строки из Евангелия:
.................. == От Марка святое благовествование == ......................
=== Глава 16, Стих 14 ===
14 Наконец, явился самим одиннадцати, возлежавшим на вечери, и упрекал их за
неверие и жестокосердие, что видевшим Его воскресшего не поверили.
15 И сказал им: идите по всему миру и проповедуйте Евангелие всей твари.
16 Кто будет веровать и креститься, спасен будет; а кто не будет веровать,
осужден будет.
Лично для вас благая весть - Единородный Сын Божий Иисус Христос любит вас, Он взошёл на крест за ваши грехи, был распят и на третий день воскрес, сел одесную Бога и открыл нам дорогу в Царствие Небесное.
В преддверии Великого Поста и Пасхи Христовой начинается Неделя о
Страшном суде. В эту неделю каждому из нас следует особенно хорошо задуматься о
том, как и для чего мы живём, какие поступки совершаем и как относимся к
окружающим нас братьям и сёстрам.
Евангелие от Марка ясно показывает нам что Господь, невзирая на лица,
осуждает всех согрешивших - даже Святых Апостолов Иисус упрекал "за неверие и
жестокосердие, что видевшим Его воскресшего не поверили". И это были люди,
ходившие со Христом, следовавшие во всём Его учению, видевшие ужас Его распятия.
Задумайтесь - каково же будет нам, ежедневно грешащим и не кающимся, расстраивающим,
раздражающим и гневящим Отца небесного нашими неверием и жестокосердием?
Именно поэтому последняя неделя перед Великим Постом и напоминает нам о
неизбежности Страшного Суда. Судя по нашим делам, все мы заслуживаем осуждения
за наше безверие и невнимание к Богу. Что же делать нам, как спастись? И тут
Евангелие даёт нам простой и ясный ответ - "Кто будет веровать и креститься,
спасен будет".
Покайтесь, примите Иисуса как вашего Спасителя, ибо наступают последние времена и время близко - стоит Судья у ворот.
Пожалуйста, в своих каждодневных трудах, какими бы занятыми вы себе ни казались - находите время для Бога, Его заповедей и Библии.
На главной странице этого сайта вы найдете программу для чтения Библии в командной строке - буду очень рад если программа окажется полезной. Пожалуйста, читайте Библию, на экране или в печатном виде - вы будете искренне удивлены как много там сказано лично про вас и ваши обстоятельства.
Вернёмся к нашим техническим деталям.
В качестве тестовой системы мы будем использовать 8-узловой Oracle 11g Release 2 кластер на платформе Exadata. Начав с быстрого обзора средств резервного копирования, мы предпримем деструктивные действия и в конце восстановим полную работосопособность системы.
Резервное копирование для RAC
Для удачного последующего восстановления кластера вначале нам необходимо проверить наличие полного работающего бэкапа кластерной базы данных и CRS дисков.
Начнём с холодного (offline) бэкапа кластерной базы данных. Если у вас имеется надёжная проверенная резервная копия базы, то этот шаг можно пропустить. На платформе Exadata (как и любой другой, использующей Oracle ASM), мы должны использовать Recovery Manager.
........................ == Книга пророка Варуха == ............................ === Глава 3, Стих 2 === 1 Господи Вседержителю, Боже Израиля! стесненная душа и унылый дух взывает к Тебе: 2 услышь, Господи, и помилуй, ибо Ты Бог милосердый; помилуй, ибо мы согрешили пред Тобою; 3 Ты - вечно пребывающий, а мы - вечно погибающие. (b+/b-, c+/c-, +/-, *) > [oracle@reatdb01 backup]$ rman Recovery Manager: Release 11.2.0.2.0 - Production on Mon Feb 20 01:06:39 2012 Copyright (c) 1982, 2009, Oracle and/or its affiliates. All rights reserved. RMAN> connect target connected to target database (not started) -- База должна быть остановлена -- без использования опции "abort". RMAN> startup mount -- Монтируется только один экземпляр из восьми. Oracle instance started database mounted Total System Global Area 8351150080 bytes Fixed Size 2243120 bytes Variable Size 4580181456 bytes Database Buffers 3758096384 bytes Redo Buffers 10629120 bytes RMAN> -- База данных не открывается для пользователей. RMAN> report schema 2> ; using target database control file instead of recovery catalog Report of database schema for database with db_unique_name reatdb List of Permanent Datafiles =========================== File Size(MB) Tablespace RB segs Datafile Name ---- -------- -------------------- ------- ------------------------ 1 740 SYSTEM *** +DBFS_DG/reatdb/datafile/system.256.770108715 2 2820 SYSAUX *** +DBFS_DG/reatdb/datafile/sysaux.257.770108715 3 100 UNDOTBS1 *** +DBFS_DG/reatdb/datafile/undotbs1.258.770108715 4 5 USERS *** +DBFS_DG/reatdb/datafile/users.259.770108715 5 345 EXAMPLE *** +DBFS_DG/reatdb/datafile/example.267.770108799 6 25 UNDOTBS2 *** +DBFS_DG/reatdb/datafile/undotbs2.268.770108945 7 50 UNDOTBS3 *** +DBFS_DG/reatdb/datafile/undotbs3.269.770108945 8 50 UNDOTBS4 *** +DBFS_DG/reatdb/datafile/undotbs4.270.770108945 9 50 UNDOTBS5 *** +DBFS_DG/reatdb/datafile/undotbs5.271.770108945 10 525 UNDOTBS6 *** +DBFS_DG/reatdb/datafile/undotbs6.272.770108945 11 1050 UNDOTBS7 *** +DBFS_DG/reatdb/datafile/undotbs7.273.770108945 12 150 UNDOTBS8 *** +DBFS_DG/reatdb/datafile/undotbs8.274.770108945 List of Temporary Files ======================= File Size(MB) Tablespace Maxsize(MB) Tempfile Name ---- -------- -------------------- ----------- -------------------- 1 475 TEMP 32767 +DBFS_DG/reatdb/tempfile/temp.266.770108797 RMAN> RMAN> backup current controlfile format '/u01/app/oracle/backup/ctrl_bckp.dmp'; Starting backup at 20-FEB-12 allocated channel: ORA_DISK_1 channel ORA_DISK_1: SID=128 instance=reatdb1 device type=DISK channel ORA_DISK_1: starting full datafile backup set channel ORA_DISK_1: specifying datafile(s) in backup set including current control file in backup set channel ORA_DISK_1: starting piece 1 at 20-FEB-12 channel ORA_DISK_1: finished piece 1 at 20-FEB-12 piece handle=/u01/app/oracle/backup/ctrl_bckp.dmp tag=TAG20120220T012323 comment=NONE channel ORA_DISK_1: backup set complete, elapsed time: 00:00:03 Finished backup at 20-FEB-12 RMAN> RMAN> backup spfile format '/u01/app/oracle/backup/spfile_bckp.dmp'; Starting backup at 20-FEB-12 using channel ORA_DISK_1 channel ORA_DISK_1: starting full datafile backup set channel ORA_DISK_1: specifying datafile(s) in backup set including current SPFILE in backup set channel ORA_DISK_1: starting piece 1 at 20-FEB-12 channel ORA_DISK_1: finished piece 1 at 20-FEB-12 piece handle=/u01/app/oracle/backup/spfile_bckp.dmp tag=TAG20120220T012355 comment=NONE channel ORA_DISK_1: backup set complete, elapsed time: 00:00:01 Finished backup at 20-FEB-12 RMAN> RMAN> sql 'alter database backup controlfile to trace'; sql statement: alter database backup controlfile to trace RMAN> RMAN> backup database format '/u01/app/oracle/backup/bckp_%U'; Starting backup at 20-FEB-12 using channel ORA_DISK_1 channel ORA_DISK_1: starting full datafile backup set channel ORA_DISK_1: specifying datafile(s) in backup set input datafile file number=00002 name=+DBFS_DG/reatdb/datafile/sysaux.257.770108715 input datafile file number=00011 name=+DBFS_DG/reatdb/datafile/undotbs7.273.770108945 input datafile file number=00001 name=+DBFS_DG/reatdb/datafile/system.256.770108715 input datafile file number=00010 name=+DBFS_DG/reatdb/datafile/undotbs6.272.770108945 input datafile file number=00005 name=+DBFS_DG/reatdb/datafile/example.267.770108799 input datafile file number=00012 name=+DBFS_DG/reatdb/datafile/undotbs8.274.770108945 input datafile file number=00003 name=+DBFS_DG/reatdb/datafile/undotbs1.258.770108715 input datafile file number=00007 name=+DBFS_DG/reatdb/datafile/undotbs3.269.770108945 input datafile file number=00008 name=+DBFS_DG/reatdb/datafile/undotbs4.270.770108945 input datafile file number=00009 name=+DBFS_DG/reatdb/datafile/undotbs5.271.770108945 input datafile file number=00006 name=+DBFS_DG/reatdb/datafile/undotbs2.268.770108945 input datafile file number=00004 name=+DBFS_DG/reatdb/datafile/users.259.770108715 channel ORA_DISK_1: starting piece 1 at 20-FEB-12 channel ORA_DISK_1: finished piece 1 at 20-FEB-12 piece handle=/u01/app/oracle/backup/bckp_03n3ojrv_1_1 tag=TAG20120220T012727 comment=NONE channel ORA_DISK_1: backup set complete, elapsed time: 00:02:25 channel ORA_DISK_1: starting full datafile backup set channel ORA_DISK_1: specifying datafile(s) in backup set including current control file in backup set including current SPFILE in backup set channel ORA_DISK_1: starting piece 1 at 20-FEB-12 channel ORA_DISK_1: finished piece 1 at 20-FEB-12 piece handle=/u01/app/oracle/backup/bckp_04n3ok0h_1_1 tag=TAG20120220T012727 comment=NONE channel ORA_DISK_1: backup set complete, elapsed time: 00:00:03 Finished backup at 20-FEB-12 RMAN> [oracle@reatdb01 ~]$ ls -latrh /u01/app/oracle/backup/ total 2.4G drwxr-xr-x 13 oracle oinstall 4.0K Feb 20 01:05 .. -rw-r----- 1 oracle oinstall 19M Feb 20 01:23 ctrl_bckp.dmp -rw-r----- 1 oracle oinstall 96K Feb 20 01:23 spfile_bckp.dmp -rw-r----- 1 oracle oinstall 2.4G Feb 20 01:27 bckp_03n3ojrv_1_1 -rw-r----- 1 oracle oinstall 19M Feb 20 01:30 bckp_04n3ok0h_1_1 drwxr-xr-x 2 oracle oinstall 4.0K Feb 20 01:30 . -rw-r----- 1 oracle oinstall 13K Feb 20 01:30 control_create.sql [oracle@reatdb01 ~]$
Теперь проверим наличие резервных копий Oracle CRS, автоматически включающих диски кворума (voting disks). Oracle CRS делает такие копии самостоятельно, через определённые интервалы времени, установленные производителем.
.......................... == Книга Екклезиаста == ............................. === Глава 2, Стих 11 === 11 И оглянулся я на все дела мои, которые сделали руки мои, и на труд, которым трудился я, делая _их:_ и вот, все - суета и томление духа, и нет _от них_ пользы под солнцем! 12 И обратился я, чтобы взглянуть на мудрость и безумие и глупость: ибо что _может сделать_ человек после царя _сверх того,_ что уже сделано? 13 И увидел я, что преимущество мудрости перед глупостью такое же, как преимущество света перед тьмою: 14 у мудрого глаза его - в голове его, а глупый ходит во тьме; но узнал я, что одна участь постигает их всех. (b+/b-, c+/c-, +/-, *) > -- Определим где находятся автоматические резервные копии OCR / VD. [oracle@reatdb01 ~]$ /u01/app/11.2.0/grid/bin/ocrconfig -showbackup reatdb01 2012/02/19 23:57:24 /u01/app/11.2.0/grid/cdata/reat/backup00.ocr -- каждые 4 часа reatdb01 2012/02/19 19:57:23 /u01/app/11.2.0/grid/cdata/reat/backup01.ocr reatdb01 2012/02/19 15:57:23 /u01/app/11.2.0/grid/cdata/reat/backup02.ocr reatdb01 2012/02/19 07:57:21 /u01/app/11.2.0/grid/cdata/reat/day.ocr -- ежедневно reatdb01 2012/02/19 07:57:21 /u01/app/11.2.0/grid/cdata/reat/week.ocr -- еженедельно reatdb08 2011/12/17 09:47:21 /u01/app/11.2.0/grid/cdata/reat/backup_20111217_094721.ocr -- backup сделан reatdb08 2011/12/17 09:44:35 /u01/app/11.2.0/grid/cdata/reat/backup_20111217_094435.ocr -- пользователем [oracle@reatdb01 ~]$ [oracle@reatdb01 ~]$ ls -la /u01/app/11.2.0/grid/cdata/reat/ total 50312 drwxrwxr-x 2 oracle oinstall 4096 Feb 19 23:57 . drwxrwxr-x 5 oracle oinstall 4096 Dec 17 03:34 .. -rw------- 1 root root 8568832 Feb 19 23:57 backup00.ocr -rw------- 1 root root 8568832 Feb 19 19:57 backup01.ocr -rw------- 1 root root 8568832 Feb 19 15:57 backup02.ocr -rw------- 1 root root 8568832 Feb 19 07:57 day.ocr -rw------- 1 root root 8568832 Feb 2 23:53 week_.ocr -rw------- 1 root root 8568832 Feb 19 07:57 week.ocr [oracle@reatdb01 ~]$
Очевидно, что теперь мы имеем все необходимые копии. Убедимся что наш кластер исправно работает.
........... == Второе соборное послание святого апостола Петра == .............. === Глава 2, Стих 8 === 4 Ибо, если Бог ангелов согрешивших не пощадил, но, связав узами адского мрака, предал блюсти на суд для наказания; 5 и если не пощадил первого мира, но в восьми душах сохранил семейство Ноя, проповедника правды, когда навел потоп на мир нечестивых; 6 и если города Содомские и Гоморрские, осудив на истребление, превратил в пепел, показав пример будущим нечестивцам, 7 а праведного Лота, утомленного обращением между людьми неистово развратными, избавил 8 (ибо сей праведник, живя между ними, ежедневно мучился в праведной душе, видя и слыша дела беззаконные) -- 9 то, конечно, знает Господь, как избавлять благочестивых от искушения, а беззаконников соблюдать ко дню суда, для наказания, 10 а наипаче тех, которые идут вслед скверных похотей плоти, презирают начальства, дерзки, своевольны и не страшатся злословить высших, 11 тогда как и Ангелы, превосходя их крепостью и силою, не произносят на них пред Господом укоризненного суда. (b+/b-, c+/c-, +/-, *) > [oracle@reatdb01 ~]$ /u01/app/11.2.0/grid/bin/crsctl check cluster -all ************************************************************** reatdb01: CRS-4537: Cluster Ready Services is online CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online ************************************************************** reatdb02: CRS-4537: Cluster Ready Services is online CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online ************************************************************** reatdb03: CRS-4537: Cluster Ready Services is online CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online ************************************************************** reatdb04: CRS-4537: Cluster Ready Services is online CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online ************************************************************** reatdb05: CRS-4537: Cluster Ready Services is online CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online ************************************************************** reatdb06: CRS-4537: Cluster Ready Services is online CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online ************************************************************** reatdb07: CRS-4537: Cluster Ready Services is online CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online ************************************************************** reatdb08: CRS-4537: Cluster Ready Services is online CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online ************************************************************** [oracle@reatdb01 ~]$
Теперь настало время нарушить спокойствие наших ДБА и произвести "необратимые разрушения".
Диагностика потери работоспособности RAC
Итак, что-то произошло и наша кластерная база данных стала недоступна для пользователей. Выясним, что же случилось. Мы уже знаем что на узлах кластера нет активных процессов базы данных. Работает ли сам кластер?
[oracle@reatdb01 ~]$ /u01/app/11.2.0/grid/bin/olsnodes PRCO-19: Failure retrieving list of nodes in the cluster PRCO-2: Unable to communicate with the clusterware [oracle@reatdb01 ~]$
Сам кластер находится в неработоспособном состоянии. Посмотрим были ли какие-либо нарушения в работе операционной системы.
[oracle@reatdb01 ~]$ dcli -g dbs_group -l root uptime -- утилита dcli позволяет запускать команды параллельно reatdb01: 02:15:10 up 5 min, 1 user, load average: 0.21, 0.43, 0.22 reatdb02: 02:15:10 up 5 min, 0 users, load average: 0.23, 0.45, 0.23 reatdb03: 02:15:10 up 5 min, 0 users, load average: 0.19, 0.30, 0.14 reatdb04: 02:15:10 up 5 min, 0 users, load average: 0.20, 0.32, 0.16 reatdb05: 02:15:10 up 5 min, 0 users, load average: 0.06, 0.28, 0.15 reatdb06: 02:15:10 up 5 min, 0 users, load average: 0.23, 0.26, 0.12 reatdb07: 02:15:10 up 5 min, 0 users, load average: 0.12, 0.21, 0.10 reatdb08: 02:15:10 up 4 min, 0 users, load average: 0.19, 0.26, 0.11 [oracle@reatdb01 ~]$
Как видно, все 8 узлов кластера перегрузились сами собой в одно и то же время. Это очень похоже на результат сбоя в работе Oracle Clusterware. Проверим лог файлы в Oracle Grid Infrastructure home.
[root@reatdb01 reatdb01]# pwd /u01/app/11.2.0/grid/log/reatdb01 [root@reatdb01 reatdb01]# [root@reatdb01 reatdb01]# tail alertreatdb01.log ... 2012-02-20 02:04:52.798 [cssd(15693)]CRS-1649:An I/O error occured for voting file: o/192.168.10.22/GD_DBFS_CD_03_reatss04; details at (:CSSNM00059:) in /u01/app/11.2.0/grid/log/reatdb01/cs sd/ocssd.log. ... [cssd(15693)]CRS-1615:No I/O has completed after 50% of the maximum interval. Voting file o/192.168.10.20/GD_DBFS_CD_03_reatss02 will be considered not functional in 99760 milliseconds ... [cssd(15693)]CRS-1604:CSSD voting file is offline: o/192.168.10.19/GD_DBFS_CD_03_reatss01; details at (:CSSNM00058:) in /u01/app/11.2.0/grid/log/reatdb01/cssd/ocssd.log. 2012-02-20 02:08:09.079 [cssd(15693)]CRS-1604:CSSD voting file is offline: o/192.168.10.20/GD_DBFS_CD_03_reatss02; details at (:CSSNM00058:) in /u01/app/11.2.0/grid/log/reatdb01/cssd/ocssd.log. 2012-02-20 02:08:10.081 [cssd(15693)]CRS-1604:CSSD voting file is offline: o/192.168.10.9/GD_DBFS_CD_03_reatss05; details at (:CSSNM00058:) in /u01/app/11.2.0/grid/log/reatdb01/cssd/ocssd.log. 2012-02-20 02:08:10.081 [cssd(15693)]CRS-1604:CSSD voting file is offline: o/192.168.10.21/GD_DBFS_CD_03_reatss03; details at (:CSSNM00058:) in /u01/app/11.2.0/grid/log/reatdb01/cssd/ocssd.log. 2012-02-20 02:08:10.082 [cssd(15693)]CRS-1606:The number of voting files available, 1, is less than the minimum number of voting files required, 3, resulting in CSSD termination to ensure data integrity; details at (:CSSNM00018:) in /u01/app/11.2.0/grid/log/reatdb01/cssd/ocssd.log 2012-02-20 02:08:10.082 [cssd(15693)]CRS-1656:The CSS daemon is terminating due to a fatal error; Details at (:CSSSC00012:) in /u01/app/11.2.0/grid/log/reatdb01/cssd/ocssd.log 2012-02-20 02:08:10.113 [cssd(15693)]CRS-1652:Starting clean up of CRSD resources. 2012-02-20 02:08:10.297 [cssd(15693)]CRS-1653:The clean up of the CRSD resources failed. 2012-02-20 02:08:11.626 [ohasd(4597)]CRS-2765:Resource 'ora.evmd' has failed on server 'reatdb01'. ... [ohasd(4597)]CRS-8011:reboot advisory message from host: reatdb05, component: cssmonit, with time stamp: L-2012-02-20-02:08:12.438 [ohasd(4597)]CRS-8013:reboot advisory message text: clsnomon_status: need to reboot, unexpected failure 8 received from CSS 2012-02-20 02:08:12.482 [ohasd(4597)]CRS-8011:reboot advisory message from host: reatdb05, component: cssagent, with time stamp: L-2012-02-20-02:08:12.439 [ohasd(4597)]CRS-8013:reboot advisory message text: clsnomon_status: need to reboot, unexpected failure 8 received from CSS 2012-02-20 02:08:12.620 [ohasd(4597)]CRS-8011:reboot advisory message from host: reatdb06, component: cssagent, with time stamp: L-2012-02-20-02:08:12.620 [ohasd(4597)]CRS-8013:reboot advisory message text: clsnomon_status: need to reboot, unexpected failure 8 received from CSS 2012-02-20 02:08:12.620 [ohasd(4597)]CRS-8011:reboot advisory message from host: reatdb03, component: cssmonit, with time stamp: L-2012-02-20-02:08:12.620 [ohasd(4597)]CRS-8013:reboot advisory message text: clsnomon_status: need to reboot, unexpected failure 8 received from CSS ... *** reboot *** ... [cssd(6887)]CRS-1713:CSSD daemon is started in clustered mode *** ВАЖНО - no Voting Disks *** 2012-02-20 02:12:56.579 [cssd(6887)]CRS-1714:Unable to discover any voting files, retrying discovery in 15 seconds; Details at (:CSSNM00070:) in /u01/app/11.2.0/grid/log/reatdb01/cssd/ocssd.log *** ВАЖНО - no CRS Disks *** 2012-02-20 02:13:00.285 [client(6941)]CRS-1013:The OCR location in an ASM disk group is inaccessible. Details in /u01/app/11.2.0/grid/log/reatdb01/client/crsctl_oracle.log. ... 2012-02-20 02:15:06.721 [client(9501)]CRS-1013:The OCR location in an ASM disk group is inaccessible. Details in /u01/app/11.2.0/grid/log/reatdb01/client/crsctl_oracle.log. 2012-02-20 02:15:11.877 [cssd(6887)]CRS-1714:Unable to discover any voting files, retrying discovery in 15 seconds; Details at (:CSSNM00070:) in /u01/app/11.2.0/grid/log/reatdb01/cssd/ocssd.log 2012-02-20 02:15:26.906 [cssd(6887)]CRS-1714:Unable to discover any voting files, retrying discovery in 15 seconds; Details at (:CSSNM00070:) in /u01/app/11.2.0/grid/log/reatdb01/cssd/ocssd.log 2012-02-20 02:15:41.935 [cssd(6887)]CRS-1714:Unable to discover any voting files, retrying discovery in 15 seconds; Details at (:CSSNM00070:) in /u01/app/11.2.0/grid/log/reatdb01/cssd/ocssd.log 2012-02-20 02:15:56.964 [cssd(6887)]CRS-1714:Unable to discover any voting files, retrying discovery in 15 seconds; Details at (:CSSNM00070:) in /u01/app/11.2.0/grid/log/reatdb01/cssd/ocssd.log [root@reatdb01 reatdb01]#
Лог файлы показывают, что по какой-то причине были одновременно потеряны все CRS и Voting disk файлы, находящиеся в дисковой группе ASM. Визуальная проверка показала, что все диски в трёх ячейках (Exadata Storage Server) были физически повреждены, что привело к невосстановимой потере всех дисковых групп. Подобный эффект может быть причинён плохо работающим RAID контроллером, неудачным обновлением firmware дисков или любым другим логическим повреждением данных. К сожалению, в реальной жизни события развиваются по такому сценарию значительно чаще, чем нам хотелось бы.
Восстановление работоспособности RAC
Предположим, что мы физически заменили все повреждённые диски и они благополучно распознаны дисковыми RAID контроллерами и операционными системами. Возможно, что нам пришлось полностью восстановить операционную систему и конфигурацию повреждённых ячеек Exadata, посредством загрузки со встроенного USB диска. Теперь, когда всё hardware восстановлено, нам необходимо вернуть кластер в рабочее состояние. Этот процесс начинается с восстановления дисковых групп ASM. Выполним некоторые предварительные действия:
............... == Книга Премудрости Иисуса, сына Сирахова == .................. === Глава 10, Стих 8 === 8 Владычество переходит от народа к народу по причине несправедливости, обид и любостяжания. (b+/b-, c+/c-, +/-, *) > -- убедимся, что Oracle CRS остановлен на всех узлах кластера - выполним команду как "root". [root@reatdb01 reatdb01]# dcli -g /home/oracle/dbs_group -l root /u01/app/11.2.0/grid/bin/crsctl stop crs -f ... Обычно, на это требуется достаточно долгое время. -- Теперь все процессы CRS уже должны быть остановлены на всех узлах кластера: [root@reatdb01 reatdb01]# dcli -g /home/oracle/dbs_group -l root ps -ef | grep d.bin reatdb01: root 30725 10206 0 02:34 pts/0 00:00:00 grep d.bin [root@reatdb01 reatdb01]# -- Определим местонахождение резервных копий OCR [root@reatdb01 reatdb01]# dcli -g /home/oracle/dbs_group -l root find / -name *.ocr -print reatdb01: /u01/app/11.2.0/grid/cdata/reat/day.ocr reatdb01: /u01/app/11.2.0/grid/cdata/reat/backup00.ocr reatdb01: /u01/app/11.2.0/grid/cdata/reat/week.ocr reatdb01: /u01/app/11.2.0/grid/cdata/reat/backup01.ocr reatdb01: /u01/app/11.2.0/grid/cdata/reat/backup02.ocr reatdb01: /u01/app/11.2.0/grid/cdata/reat/week_.ocr reatdb03: /u01/app/11.2.0/grid/cdata/reat/day.ocr reatdb03: /u01/app/11.2.0/grid/cdata/reat/backup00.ocr reatdb03: /u01/app/11.2.0/grid/cdata/reat/week_.ocr reatdb03: /u01/app/11.2.0/grid/cdata/reat/day_.ocr reatdb03: /u01/app/11.2.0/grid/cdata/reat/backup01.ocr reatdb03: /u01/app/11.2.0/grid/cdata/reat/backup02.ocr reatdb03: /u01/app/11.2.0/grid/cdata/reat/week.ocr reatdb08: /u01/app/11.2.0/grid/cdata/reat/backup_20111217_094435.ocr reatdb08: /u01/app/11.2.0/grid/cdata/reat/backup_20111217_094721.ocr [root@reatdb01 reatdb01]# -- Мы будем восстанавливать последний backup: [root@reatdb01 reatdb01]# ls -latrh /u01/app/11.2.0/grid/cdata/reat/backup00.ocr -rw------- 1 root root 8.2M Feb 19 23:57 /u01/app/11.2.0/grid/cdata/reat/backup00.ocr [root@reatdb01 reatdb01]# -- Куда же именно необходимо восстановить OCR и VD? В нашей системе - в ASM группу DBFS_DG. [root@reatdb01 reatdb01]# cat /etc/oracle/ocr.loc ocrconfig_loc=+DBFS_DG -- Именно здесь стартующие процессы будут искать конфигурацию CRS. local_only=FALSE [root@reatdb01 reatdb01]#
Поскольку OCR диск расположен в ASM группе, восстановить автоматический или пользовательский бэкап OCR напрямую из копии нельзя. Команда "ocrconfig -restore", восстанавливающая OCR, требует присутствия ASM. В то же время, ASM не может стартовать без работающих процессов CRS. К тому же, для удачного восстановления OCR диск должен быть как-то защищён от "посторонних" записей на время копирования данных из backup файла.
Решить эту головоломку позволяет "эксклюзивный" режим запуска процессов CRS.
........................... == Притчи Соломона == .............................. === Глава 26, Стих 18 === 18 Как притворяющийся помешанным бросает огонь, стрелы и смерть, 19 так - человек, который коварно вредит другу своему и потом говорит: "я только пошутил". (b+/b-, c+/c-, +/-, *) > -- Запускаем CRS stack в "эксклюзивном" режиме только на том узле кластера, на котором находится резервная копия [root@reatdb01 ~]# /u01/app/11.2.0/grid/bin/crsctl start crs -excl -nocrs --- ВАЖНО CRS-4123: Oracle High Availability Services has been started. CRS-2672: Attempting to start 'ora.mdnsd' on 'reatdb01' CRS-2676: Start of 'ora.mdnsd' on 'reatdb01' succeeded CRS-2672: Attempting to start 'ora.gpnpd' on 'reatdb01' CRS-2676: Start of 'ora.gpnpd' on 'reatdb01' succeeded CRS-2672: Attempting to start 'ora.cssdmonitor' on 'reatdb01' CRS-2672: Attempting to start 'ora.gipcd' on 'reatdb01' CRS-2676: Start of 'ora.cssdmonitor' on 'reatdb01' succeeded CRS-2676: Start of 'ora.gipcd' on 'reatdb01' succeeded CRS-2672: Attempting to start 'ora.cssd' on 'reatdb01' CRS-2672: Attempting to start 'ora.diskmon' on 'reatdb01' CRS-2676: Start of 'ora.diskmon' on 'reatdb01' succeeded CRS-2676: Start of 'ora.cssd' on 'reatdb01' succeeded CRS-2672: Attempting to start 'ora.drivers.acfs' on 'reatdb01' CRS-2672: Attempting to start 'ora.cluster_interconnect.haip' on 'reatdb01' CRS-2672: Attempting to start 'ora.ctssd' on 'reatdb01' CRS-2676: Start of 'ora.drivers.acfs' on 'reatdb01' succeeded CRS-2676: Start of 'ora.ctssd' on 'reatdb01' succeeded CRS-2676: Start of 'ora.cluster_interconnect.haip' on 'reatdb01' succeeded CRS-2672: Attempting to start 'ora.asm' on 'reatdb01' CRS-2676: Start of 'ora.asm' on 'reatdb01' succeeded --- ВАЖНО [root@reatdb01 ~]#
Необходимые CSS и ASM процессы были запущены без OCR диска с "ограниченной" функциональностью, достаточной для создания дисковой группы и последующего размещения в ней восстановленных записей OCR. Создадим нужные дисковые группы.
......................... == Книга пророка Авдия == ............................ === Глава 1, Стих 9 === 5 Не воры ли приходили к тебе? не ночные ли грабители, что ты так разорен? Но они украли бы столько, сколько надобно им. Если бы проникли к тебе обиратели винограда, то и они разве не оставили бы несколько ягод? 6 Как обобрано все у Исава и обысканы тайники его! 7 До границы выпроводят тебя все союзники твои, обманут тебя, одолеют тебя живущие с тобою в мире, ядущие хлеб твой нанесут тебе удар. Нет в нем смысла! 8 Не в тот ли день это будет, говорит Господь, когда Я истреблю мудрых в Едоме и благоразумных на горе Исава? 9 Поражены будут страхом храбрецы твои, Феман, дабы все на горе Исава истреблены были убийством. (b+/b-, c+/c-, +/-, *) > -- Создание дискгруппы, согласно ocr.loc файлу (DBFS_DG в нашем случае) [oracle@reatdb01 ~]$ . oraenv ORACLE_SID = [oracle] ? +ASM1 The Oracle base has been set to /u01/app/oracle [oracle@reatdb01 ~]$ [oracle@reatdb01 ~]$ sqlplus / as sysasm SQL*Plus: Release 11.2.0.2.0 Production on Mon Feb 20 03:46:09 2012 Copyright (c) 1982, 2010, Oracle. All rights reserved. Connected to: Oracle Database 11g Enterprise Edition Release 11.2.0.2.0 - 64bit Production With the Real Application Clusters and Automatic Storage Management options INST_ID INSTANCE_NAME HOST_NAME STATUS LOGINS ---------- ---------------- --------------------------------------------- ------------ ---------- 1 +ASM1 reatdb01.read-and-think.org STARTED ALLOWED 1 row selected. Elapsed: 00:00:00.04 03:46:09 SQL> 03:49:39 SQL> create diskgroup DBFS_DG normal redundancy 03:50:44 2 disk 'o/*/GD_DBFS*' -- Так указываются имена дисков в Exadata 03:51:33 3 ATTRIBUTE 'cell.smart_scan_capable'='true', -- Использовать функцию Exadata Smart Scan 03:51:43 4 'AU_SIZE' = '4M', 03:51:51 5 'COMPATIBLE.ASM' = '11.2.0.2', 03:52:03 6 'COMPATIBLE.RDBMS' = '11.2.0.2'; Diskgroup created. Elapsed: 00:00:14.54 03:52:24 SQL> --- Создадим все остальные группы, необходимые для последующего восстановления файлов базы данных 03:56:01 SQL> select GROUP_NUMBER, TOTAL_MB, REQUIRED_MIRROR_FREE_MB, USABLE_FILE_MB, OFFLINE_DISKS 03:56:28 2 from v$asm_diskgroup; GROUP_NUMBER TOTAL_MB REQUIRED_MIRROR_FREE_MB USABLE_FILE_MB OFFLINE_DISKS ------------ ---------- ----------------------- -------------- ------------- 1 4239360 307200 1965420 0 -- Нет "offline" дисков 2 33996800 2457600 15768828 0 3 32168000 2325376 14920540 0 3 rows selected. Elapsed: 00:00:00.29 03:56:33 SQL> 1 select GROUP_NUMBER, HEADER_STATUS, count(*) 2 from v$asm_disk 3 group by GROUP_NUMBER, HEADER_STATUS 4* order by GROUP_NUMBER, HEADER_STATUS 03:59:58 SQL> / GROUP_NUMBER HEADER_STATU COUNT(*) ------------ ------------ ---------- 1 MEMBER 138 -- Все ASM диски являются участниками групп 2 MEMBER 166 3 MEMBER 166 3 rows selected. Elapsed: 00:00:00.23 03:59:59 SQL>
Теперь у нас есть необходимое "хранилище" для новых записей OCR - дисковая группа DBFS_DG. Восстановим OCR бэкап из найденного выше файла.
........................ == Книга пророка Иеремии == ........................... === Глава 2, Стих 17 === 17 Не причинил ли ты себе это тем, что оставил Господа Бога твоего в то время, когда Он путеводил тебя? 18 И ныне для чего тебе путь в Египет, чтобы пить воду из Нила? и для чего тебе путь в Ассирию, чтобы пить воду из реки ее? 19 Накажет тебя нечестие твое, и отступничество твое обличит тебя; итак познай и размысли, как худо и горько то, что ты оставил Господа Бога твоего и страха Моего нет в тебе, говорит Господь Бог Саваоф. (b+/b-, c+/c-, +/-, *) > -- Восстанавливаем последний OCR backup, как пользователь "root". [root@reatdb01 ~]# /u01/app/11.2.0/grid/bin/ocrconfig -restore /u01/app/11.2.0/grid/cdata/reat/backup00.ocr [root@reatdb01 ~]# -- Восстановленные данные сохраняются в дисковой группе DBFS_DG, согласно файлу "/etc/oracle/ocr.loc". -- Проверим результат восстановления: [root@reatdb01 ~]# /u01/app/11.2.0/grid/bin/ocrcheck Status of Oracle Cluster Registry is as follows : Version : 3 Total space (kbytes) : 262120 Used space (kbytes) : 4220 Available space (kbytes) : 257900 ID : 1452089109 Device/File Name : +DBFS_DG Device/File integrity check succeeded Device/File not configured Device/File not configured Device/File not configured Device/File not configured Cluster registry integrity check succeeded Logical corruption check succeeded [root@reatdb01 ~]#
Теперь необходимо восстановить данные для дисков кворума (voting disks) - их копии хранятся в только что созданном CRS.
................... == От Луки святое благовествование == ...................... === Глава 5, Стих 8 === 8 Увидев это, Симон Петр припал к коленям Иисуса и сказал: выйди от меня, Господи! потому что я человек грешный. (b+/b-, c+/c-, +/-, *) > [root@reatdb01 ~]# /u01/app/11.2.0/grid/bin/crsctl replace votedisk +DBFS_DG Successful addition of voting disk 37f5676d6fae4fcabfd097a08e2f4392. Successful addition of voting disk b1f9ddce679c4f78bf25b7735617e56a. Successful addition of voting disk 335dbdf0aec74fe9bf9315fb82fc813a. Successfully replaced voting disk group with +DBFS_DG. CRS-4266: Voting file(s) successfully replaced -- По умолчанию создаются 3 диска [root@reatdb01 ~]# [root@reatdb01 ~]# /u01/app/11.2.0/grid/bin/crsctl query css votedisk ## STATE File Universal Id File Name Disk group -- ----- ----------------- --------- --------- 1. ONLINE 37f5676d6fae4fcabfd097a08e2f4392 (o/192.168.10.18/GD_DBFS_CD_09_reatss14) [DBFS_DG] 2. ONLINE b1f9ddce679c4f78bf25b7735617e56a (o/192.168.10.17/GD_DBFS_CD_08_reatss13) [DBFS_DG] 3. ONLINE 335dbdf0aec74fe9bf9315fb82fc813a (o/192.168.10.16/GD_DBFS_CD_07_reatss12) [DBFS_DG] Located 3 voting disk(s). [root@reatdb01 ~]#
Сами экземпляры ASM могли использовать общий серверный параметр файл, хранимый в дисковой группе и потерянный вместе с дисками. В таком случае содержимое SPFILE для ASM может быть легко восстановлено - найдите в ASM alert log файле строку "System parameters with non-default values" и используйте последующие значения.
Теперь, когда все необходимые действия по восстановлению данных выполнены, мы можем остановить CRS, всё ещё работающий в "эксклюзивном" режиме.
.............................. == Псалтирь == .................................. === Глава 27, Стих 9 === 9 Спаси народ Твой и благослови наследие Твое; паси их и возвышай их во веки! (b+/b-, c+/c-, +/-, *) > [root@reatdb01 ~]# /u01/app/11.2.0/grid/bin/crsctl stop crs -f CRS-2791: Starting shutdown of Oracle High Availability Services-managed resources on 'reatdb01' CRS-2673: Attempting to stop 'ora.drivers.acfs' on 'reatdb01' CRS-2673: Attempting to stop 'ora.ctssd' on 'reatdb01' CRS-2673: Attempting to stop 'ora.asm' on 'reatdb01' CRS-2673: Attempting to stop 'ora.mdnsd' on 'reatdb01' CRS-2677: Stop of 'ora.mdnsd' on 'reatdb01' succeeded CRS-2677: Stop of 'ora.asm' on 'reatdb01' succeeded CRS-2673: Attempting to stop 'ora.cluster_interconnect.haip' on 'reatdb01' CRS-2677: Stop of 'ora.drivers.acfs' on 'reatdb01' succeeded CRS-2677: Stop of 'ora.cluster_interconnect.haip' on 'reatdb01' succeeded CRS-2677: Stop of 'ora.ctssd' on 'reatdb01' succeeded CRS-2673: Attempting to stop 'ora.cssd' on 'reatdb01' CRS-2677: Stop of 'ora.cssd' on 'reatdb01' succeeded CRS-2673: Attempting to stop 'ora.diskmon' on 'reatdb01' CRS-2673: Attempting to stop 'ora.gipcd' on 'reatdb01' CRS-2677: Stop of 'ora.gipcd' on 'reatdb01' succeeded CRS-2673: Attempting to stop 'ora.gpnpd' on 'reatdb01' CRS-2677: Stop of 'ora.diskmon' on 'reatdb01' succeeded CRS-2677: Stop of 'ora.gpnpd' on 'reatdb01' succeeded CRS-2793: Shutdown of Oracle High Availability Services-managed resources on 'reatdb01' has completed CRS-4133: Oracle High Availability Services has been stopped. [root@reatdb01 ~]#
Наш кластер уже может быть запущен в нормальном режиме. Конечно, база данных не сможет запуститься - её файлы были потеряны.
......... == Второе послание к Коринфянам святого апостола Павла == ............ === Глава 5, Стих 18 === 18 Все же от Бога, Иисусом Христом примирившего нас с Собою и давшего нам служение примирения, 19 потому что Бог во Христе примирил с Собою мир, не вменяя _людям_ преступлений их, и дал нам слово примирения. (b+/b-, c+/c-, +/-, *) > [root@reatdb01 ~]# /u01/app/11.2.0/grid/bin/crsctl start crs CRS-4123: Oracle High Availability Services has been started. [root@reatdb01 ~]# [oracle@reatdb01 ~]$ dcli -g dbs_group -l root /u01/app/11.2.0/grid/bin/crsctl start crs reatdb01: CRS-4640: Oracle High Availability Services is already active reatdb01: CRS-4000: Command Start failed, or completed with errors. reatdb02: CRS-4123: Oracle High Availability Services has been started. reatdb03: CRS-4123: Oracle High Availability Services has been started. reatdb04: CRS-4123: Oracle High Availability Services has been started. reatdb05: CRS-4123: Oracle High Availability Services has been started. reatdb06: CRS-4123: Oracle High Availability Services has been started. reatdb07: CRS-4123: Oracle High Availability Services has been started. reatdb08: CRS-4123: Oracle High Availability Services has been started. [oracle@reatdb01 ~]$ [root@reatdb01 ~]# /u01/app/11.2.0/grid/bin/crsctl check cluster CRS-4537: Cluster Ready Services is online CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online [root@reatdb01 ~]# /u01/app/11.2.0/grid/bin/crsctl check cluster -all ************************************************************** reatdb01: CRS-4537: Cluster Ready Services is online CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online ************************************************************** reatdb02: CRS-4537: Cluster Ready Services is online CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online ************************************************************** reatdb03: CRS-4537: Cluster Ready Services is online CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online ************************************************************** reatdb04: CRS-4537: Cluster Ready Services is online CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online ************************************************************** reatdb05: CRS-4537: Cluster Ready Services is online CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online ************************************************************** reatdb06: CRS-4537: Cluster Ready Services is online CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online ************************************************************** reatdb07: CRS-4537: Cluster Ready Services is online CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online ************************************************************** reatdb08: CRS-4537: Cluster Ready Services is online CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online ************************************************************** [root@reatdb01 ~]#
Всё, что остаётся сделать для полного восстановления нашего кластера - это восстановить базу данных из бэкапа, используя Oracle RMAN. Я уверен, что уважаемый читатель сможет справиться с этой задачей. Моя заметка Резервное копирование баз данных Oracle - современный подход может направить вас в нужном направлении.
Спасибо что зашли,
Будьте благословенны!
Денис
