Clusters: OCFS2 filesystem

[Marley]

OCFS2 это кластерная файловая система общего назначения, разработанная Oracle специально для кластеризации файлов баз данных, доступна пока только для RHEL и OEL. Она может использоваться для размещения файлов Oracle Clusterware, датафайлов Oracle RAC, приложения Oracle или любых других файлов. Вторая версия OCFS имеет значительные изменения, новшества коснулись настройки использования датафайлов и файлов Oracle Clusterware.

Файловая система ocfs2, предназначенная для совместного использования двумя или более Linux-системами, т.е. мы имеем возможность одновременно монтировать разделы в режиме RW на нескольких узлах.



OCFS2 свободно распространяется Oracle в трех RPM-пакетах: модуле ядра, наборе утилит и графической консоли. Для каждой версии ядра ОС следует использовать соответствующий пакет.

===============================


Пример инсталляции с помощью yum описан ниже! и он предпочтетельней!

Здесь попробую перечислить действия, необходимые для инсталляции, когда возможности пользоваться yum нет. (Админы закрыли доступ к публичным репозиториям).


Модуль ядра можно скачать по адресу:
http://oss.oracle.com/projects/ocfs2/files/


Утилиту и консоль:
http://oss.oracle.com/projects/ocfs2-tools/files/


================================================== =============
Пример инсталляции для x86_64

# uname -a
Linux <name> 2.6.18-194.el5 #1 SMP Mon Mar 29 22:10:29 EDT 2010 x86_64 x86_64 x86_64 GNU/Linux


Модуль ядра для x86-x64:
http://oss.oracle.com/projects/ocfs2...86_64/1.4.7-1/

Утилиту и консоль для x86-x64:
http://oss.oracle.com/projects/ocfs2...86_64/1.4.4-1/



# ls

ocfs2-2.6.18-194.el5-1.4.7-1.el5.x86_64.rpm
ocfs2console-1.4.4-1.el5.x86_64.rpm
ocfs2-tools-1.4.4-1.el5.x86_64.rpm
ocfs2-tools-debuginfo-1.4.4-1.el5.x86_64.rpm
ocfs2-tools-devel-1.4.4-1.el5.x86_64.rpm

key ID 1e5e0159
# vi key_1e5e0159

-----BEGIN PGP PUBLIC KEY BLOCK-----
Version: GnuPG v1.2.6 (GNU/Linux)

mQGiBEZNBCgRBAC3RQKaN5WC3EQN1RhLeM4WXl9GLz2p/nvoDSpGQVKYxpobYScF
nNkn6CUPuIhLrVJRAuVhCjgpOZS/KtU3n1P+eSm9FauqW1FoA7WUzsZRyMZh5T8A
1RpaTxYv+nb667EKmBXEUFgMyZK4JRzPrVFIoxjI5AX3vQzlefQi3aluewCgsSc5
3rm/0reucF/wpIVIhA2yYZED/jFO/DzJJ5XLRPcPhVz8Zm5rtOmOoN9So5wrv5l5
NxVejlZSo7W/AOdOlIkRztZ8qLCFblG/jwLL97ERPAkIh69ISHlmO5LVerDek/j+
jyr07YsoF3ahhay0R3NDJH95VJhJqOefqRv+YLFK1bbwE5Sqjb/0QOu/6cqRWZFx
glw3BACTKKKkrFcpWmYd3sG0vn04xcQsh2yhCq1S+4nFhbV2KH14StHV8caZCDlA
Hsfh/bM1feXTYlJSIxuokYBEavt2fKeInp59TKPdRxjawAHGwfexgBnqT6GCcZlD
0XWScUKe9X+g6DbsV+/wt7g/Q1nUAZYl4hb1rn+FGxWYOI02+7RET3JhY2xlIE9T
UyBncm91cCAoT3BlbiBTb3VyY2UgU29mdHdhcmUgZ3JvdXApIDxidWlsZEBvc3Mu
b3JhY2xlLmNvbT6IZAQTEQIAJAUCRk0EKAIbAwUJDwmcAAYLCQgHAwIDFQIDAxYC
AQIeAQIXgAAKCRBmztPeHl4BWb/lAJ96rhwoCYBzB+gxQenOZXQA8ulabgCfaV0m
jWLQLm0hnp5gFk0AFM0q2Za5AQ0ERk0EKhAEAIlQEI38AN1tgzX/70Ny1BulBpmq
5FAT62fMl5Bc8lXrmNBpX7Qwca6IMyuqCt00hTBwcY8PWkdQs0V4T9hrMlALq1gF
whF5ViTUAC3BPFrggJJxTYx+r6z7IWnt/v2WLnUlJ0PP6/8s6IFplFxhBZVPAshN
3tz7wOacVb7L7/PvAAQNA/9gmi1sNHfDg7Ng2idNfpr0PKWAQJ+VnUAEENEAMXIn
vYZovJ5HTluzLDWM4yBmK7lqxSdN+7Ro6LYz7orRVNLpGJD8EHO2uZDQkeFiwb2N
HfjKR52Or5mj/AmIxZR4A9626PlaVAXq8Pba44nUMp1VpNkvsJUmgxIz4s8sRJuN
t4hPBBgRAgAPBQJGTQQqAhsMBQkPCZwAAAoJEGbO094eXgFZ6yUAn2E9A2rtGsNV
TUIjQIsRduYTj8yWAKCtqU1Tg2CyTeSsSBZlnpdbA1qzGw==
=WJsp
-----END PGP PUBLIC KEY BLOCK-----

# rpm --import key_1e5e0159

# rm -f key_1e5e0159



// Заходим и скачиваем
http://public-yum.oracle.com/repo/Or...6/base/x86_64/


# ls

bitmap-fonts-0.3-5.1.1.noarch.rpm
e2fsprogs-devel-1.39-23.el5_5.1.x86_64.rpm
e2fsprogs-libs-1.39-23.el5_5.1.x86_64.rpm
glib2-devel-2.12.3-4.el5_3.1.x86_64.rpm
pkgconfig-0.21-2.el5.x86_64.rpm
vte-0.14.0-2.el5.x86_64.rpm

# rpm -Uhv *

Preparing...                ########################################### [100%]
   1:e2fsprogs-libs         ########################################### [ 17%]
   2:pkgconfig              ########################################### [ 33%]
   3:bitmap-fonts           ########################################### [ 50%]
   4:e2fsprogs-devel        ########################################### [ 67%]
   5:glib2-devel            ########################################### [ 83%]
   6:vte                    ########################################### [100%]

# ls

ocfs2-2.6.18-194.el5-1.4.7-1.el5.x86_64.rpm
ocfs2console-1.4.4-1.el5.x86_64.rpm
ocfs2-tools-1.4.4-1.el5.x86_64.rpm
ocfs2-tools-debuginfo-1.4.4-1.el5.x86_64.rpm
ocfs2-tools-devel-1.4.4-1.el5.x86_64.rpm

# rpm -Uhv *

Preparing...                ########################################### [100%]
   1:ocfs2-tools            ########################################### [ 20%]
   2:ocfs2-2.6.18-194.el5   ########################################### [ 40%]
   3:ocfs2console           ########################################### [ 60%]
   4:ocfs2-tools-debuginfo  ########################################### [ 80%]
   5:ocfs2-tools-devel      ########################################### [100%]

[Marley]

Шаг 1.

// Уменьшили время для выбора ядра пользователем.
# vi /etc/grub.conf
timeout=1


# vi /etc/selinux/config
SELINUX=disabled


// Отключаем firewall
# chkconfig iptables --level 345 off

[Marley]

Инсталляция OCFS2 в OEL55

Необходимо инсталлировать дополнительные пакеты на все ноды кластера.

// Создаем файл с описанием подключения к репозиторию
# vi /etc/yum.repos.d/oracleLinuxRepo.repo

[OEL55_PublicRepo]
name=Enterprise Linux $releasever - $basearch - latest
baseurl=http://public-yum.oracle.com/repo/OracleLinux/OL5/6/base/x86_64/
gpgkey=http://public-yum.oracle.com/RPM-GPG-KEY-oracle-el5
gpgcheck=1
enabled=1

// Для проверки правильности созданного файла, воспользуйтесь командой
# yum list

// Инсталляция необходимых пакетов
# yum install -y \
ocfs2-2.6.18-238.el5.x86_64 \
ocfs2console \
ocfs2-tools \
ocfs2-tools-debuginfo \
ocfs2-tools-devel

[Marley]

Настраиваем сеть
https://odba.ru/showpost.php?p=6726&postcount=6

[Marley]

Настройка OCFS2

Для настройки нужно подготовить конфигурационный файл для сервиса блокировок:

# mkdir /etc/ocfs2

// Создайне на каждом из узлов кластера файлы конфигурации
// файл чувствителен к регистру и пробелам. Пробелы для определения блоков обязательны (как в языке программирования Python.

# vi /etc/ocfs2/cluster.conf

cluster:
    node_count = 2
    name = ocfs2

node:
    ip_port = 7777
    ip_address = 192.168.10.10
    number = 0
    name = server1
    cluster = ocfs2

node:
    ip_port = 7777
    ip_address = 192.168.10.11
    number = 1
    name = server2
    cluster = ocfs2

// Поднимаем на 2-х узлах
# /etc/init.d/o2cb online ocfs2

// Если файл некорректен, при старте появляется сообщение:

Starting O2CB cluster ocfs2: Failed
o2cb_ctl: Unable to load cluster configuration file "/etc/ocfs2/cluster.conf"
Stopping O2CB cluster ocfs2: Failed
o2cb_ctl: Unable to load cluster configuration file "/etc/ocfs2/cluster.conf"

// Если все нормально

Loading filesystem "configfs": OK
Mounting configfs filesystem at /sys/kernel/config: OK
Loading filesystem "ocfs2_dlmfs": OK
Creating directory '/dlm': OK
Mounting ocfs2_dlmfs filesystem at /dlm: OK
Starting O2CB cluster ocfs2: OK

[Marley]

// Рассматривается инсталляция для DRBD https://odba.ru/showthread.php?t=418
// Поэтому и форматируем созданное устройство

# mkfs.ocfs2 /dev/drbd0

mkfs.ocfs2 1.6.3
Cluster stack: classic o2cb
Label:
Features: sparse backup-super unwritten inline-data strict-journal-super
Block size: 4096 (12 bits)
Cluster size: 4096 (12 bits)
Volume size: 42948308992 (10485427 clusters) (10485427 blocks)
Cluster groups: 326 (tail covers 2227 clusters, rest cover 32256 clusters)
Extent allocator size: 8388608 (2 groups)
Journal size: 268423168
Node slots: 8
Creating bitmaps: done
Initializing superblock: done
Writing system files: done
Writing superblock: done
Writing backup superblock: 3 block(s)
Formatting Journals: done
Growing extent allocator: done
Formatting slot map: done
Formatting quota files: done
Writing lost+found: done
mkfs.ocfs2 successful

[Marley]

Автозагрузка сервиса OCFS2:

Чтобы модуль поддержки OCFS2 активировался при загрузке, на каждой ноде выполняется:

# /etc/init.d/o2cb enable

// Если все хорошо

Writing O2CB configuration: OK
Cluster ocfs2 already online

----------------------------------------------------
// Если появляется сообщение об ошибке

Writing O2CB configuration: OK
Loading filesystem "configfs": OK
Mounting configfs filesystem at /sys/kernel/config: OK
Loading filesystem "ocfs2_dlmfs": Unable to load filesystem "ocfs2_dlmfs"
Failed

С сайта oracle
http://oss.oracle.com/projects/ocfs2....6.18-194.el5/

На обеих нодах скопировть и инсталлировать пакет, согласно версии ядра.

cd /tmp
wget http://oss.oracle.com/projects/ocfs2...el5.x86_64.rpm

rpm -i ocfs2-2.6.18-194.el5-1.4.7-1.el5.x86_64.rpm


# /etc/init.d/o2cb load

Loading filesystem "ocfs2_dlmfs": OK
Creating directory '/dlm': OK
Mounting ocfs2_dlmfs filesystem at /dlm: OK

================================================== =========


# /etc/init.d/o2cb status

Driver for "configfs": Loaded
Filesystem "configfs": Mounted
Driver for "ocfs2_dlmfs": Loaded
Filesystem "ocfs2_dlmfs": Mounted
Checking O2CB cluster ocfs2: Online
Heartbeat dead threshold = 31
  Network idle timeout: 30000
  Network keepalive delay: 2000
  Network reconnect delay: 2000
Checking O2CB heartbeat: Not active

// На 2-х нодах
# /etc/init.d/o2cb configure

Configuring the O2CB driver.

This will configure the on-boot properties of the O2CB driver.
The following questions will determine whether the driver is loaded on
boot.  The current values will be shown in brackets ('[]').  Hitting
<ENTER> without typing an answer will keep that current value.  Ctrl-C
will abort.

Load O2CB driver on boot (y/n) [y]: y
Cluster stack backing O2CB [o2cb]:
Cluster to start on boot (Enter "none" to clear) [ocfs2]:
Specify heartbeat dead threshold (>=7) [31]:
Specify network idle timeout in ms (>=5000) [30000]:
Specify network keepalive delay in ms (>=1000) [2000]:
Specify network reconnect delay in ms (>=2000) [2000]:
Writing O2CB configuration: OK
Cluster ocfs2 already online

[Marley]

Создание точек монтирования для OCFS.

На каждом узле создаются каталоги:

// в моем случае продолжается инсталляция (DRBD) https://odba.ru/showthread.php?t=418
Поэтому каталог будет sync

# mkdir /mnt/sync

[Marley]

Монтирование OCFS2.

Для файловой системы, содержащей датафайлы и файлы Oracle Clusterware должно соблюдаться условие, что все операции ввода-вывода для файлов используют механизм прямого ввода-вывода I/O (O_DIRECT). Поэтому всегда используйте опцию "datavolume" при каждом монтировании файловой системы. Без этой опции отказ системы может привести к потере данных.


# mount -t ocfs2 /dev/drbd0 -o datavolume /mnt/sync

Смонтируйте раздел OCFS2 к остальным нодам.


Чтобы файловая система монтировалась каждый раз при загрузке, на каждой ноде в /etc/fstab прописывается:

/dev/drbd0 /mnt/sync ocfs2 _netdev,datavolume,nointr 0 0


Для отключения периодической проверки файловой системы на ошибки выполните команду:

/sbin/tune2fs -i 0 -c 0 /dev/drbd0