Verwendung von ATA Over Ethernet (AoE) auf CentOS 7 (Initiator und Ziel)

von howtoforge · Mai 6, 2019

In diesem Handbuch wird erklärt, wie Sie ein AoE-Ziel und einen AoE-Initiator (Client) einrichten können, die beide unter CentOS 7 laufen. AoE steht für „ATA over Ethernet“ und ist ein Storage Area Network (SAN)-Protokoll, das es AoE-Initiatoren ermöglicht, Speichergeräte auf dem (entfernten) AoE-Ziel über eine normale Ethernet-Verkabelung zu verwenden. „Remote“ bedeutet in diesem Fall „innerhalb desselben LANs“, da AoE außerhalb eines LANs nicht routingfähig ist (dies ist ein großer Unterschied zu iSCSI). Für den AoE-Initiator sieht der entfernte Speicher wie eine normale, lokal angeschlossene Festplatte aus.

1 Vorbemerkung

Ich benutze hier zwei CentOS 7 Server:

server1.example.com (Initiator): IP-Adresse 192.168.1.100
server2.example.com (Ziel): IP-Adresse 192.168.1.101

2 Zusätzliche Repositories aktivieren

server1/server2:

Zuerst importieren wir die GPG-Schlüssel für Softwarepakete:

rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY*

Dann aktivieren wir das EPEL-Repository auf unserem CentOS-System, da viele der Pakete, die wir im Laufe dieses Tutorials installieren werden, nicht im offiziellen CentOS 7-Repository verfügbar sind:

yum -y install epel-release

yum -y install yum-priorities

Bearbeiten Sie /etc/yum.repos.d/epel.repo…..

nano /etc/yum.repos.d/epel.repo

…. und fügen Sie die Zeilenpriorität=10 zum Abschnitt[epel] hinzu:

[epel]
name=Extra Packages for Enterprise Linux 7 - $basearch
#baseurl=http://download.fedoraproject.org/pub/epel/7/$basearch
mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-7&arch=$basearch
failovermethod=priority
enabled=1
priority=10
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
[...]

Dann aktualisieren wir unsere bestehenden Pakete auf dem System:

yum -y update

3 Laden des AoE Kernel Moduls auf beide Systeme

server1/server2:

Bevor wir anfangen, müssen wir sicherstellen, dass der Kernel AoE unterstützt:

grep ATA_OVER /boot/config-`uname -r`

Dies sollte so etwas wie Folgendes anzeigen:

[root@server1 ~]# grep ATA_OVER /boot/config-`uname -r`
CONFIG_ATA_OVER_ETH=m
[root@server1 ~]#

Das bedeutet, dass AoE als Kernelmodul erstellt wurde. Lassen Sie uns überprüfen, ob das Modul bereits geladen ist:

lsmod | grep aoe

Wenn du nichts zurückbekommst, bedeutet das, dass es nicht geladen ist. In diesem Fall können wir es wie folgt laden:

modprobe aoe

Lassen Sie uns noch einmal überprüfen, ob das Modul geladen ist:

lsmod | grep aoe

[root@server1 ~]# lsmod | grep aoe
aoe 54175 0
[root@server1 ~]#

Damit das Modul beim Systemstart automatisch geladen wird, fügen wir die folgende Zeile zu /etc/rc.local hinzu:

nano /etc/rc.local

[...]
modprobe aoe
[...]

4 Einrichten des Servers (Ziel) auf Server 2

server2:

Zuerst richten wir das Ziel ein (Server2):

rpm -i http://download.opensuse.org/repositories/home:/cyberorg:/ltsp/CentOS_7/x86_64/vblade-22-3.1.x86_64.rpm

Wir können unbenutzte logische Volumes, Image-Dateien, Festplatten (z.B. /dev/sdb), Festplattenpartitionen (z.B. /dev/sdb1) oder RAID-Geräte (z.B. /dev/md0) für den Speicher verwenden.

In diesem Beispiel werde ich eine 10 GB große Bilddatei verwenden, die sich im Speicherordner /storage befindet.

mkdir /storage
dd if=/dev/zero of=/storage/storage1.img bs=1024k count=10000

Dadurch wird eine Bilddatei /storage/storage1.img mit einer Größe von 10GB erstellt.

Wenn Sie stattdessen ein logisches Volume verwenden möchten, können Sie in der Datenträgergruppe vg0 ein solches mit einer Größe von 10 GB benanntem Speicher1 wie folgt erstellen:

lvcreate -L10G -n storage1 vg0

Nun exportieren wir unser Speichermedium wie folgt:

vbladed 0 1 ens33 /storage/storage1.img

Die erste Zahl (0) ist die Regalnummer (major), die zweite (1) die Slotnummer (minor), ändern Sie diese Zahlen nach Ihren Wünschen. Jedes AoE-Gerät wird durch ein Paar major/minor identifiziert, das eindeutig sein muss (wenn Sie mehrere Geräte exportieren), mit major zwischen 0-65535 und minor zwischen 0-255. Der ens33-Teil sagt vbladed, welches Ethernet-Gerät verwendet werden soll, Sie können die Details zu Ihren Ethernet-Geräten herausfinden, indem Sie Folgendes ausführen

ifconfig

Um den Export automatisch zu starten, wenn Sie das Ziel starten, öffnen Sie /etc/rc.local…..

nano /etc/rc.local

…. und fügt die folgende Zeile hinzu (nach der Modprobe aoe Linie!):

[...]
vbladed 0 1 ens33 /storage/storage1.img
[...]

5 Einrichten des Clients (Initiator) auf Server 1

server1:

Auf Server1 installieren wir den Initiator. Es gibt kein Paket für CentOS 7, aber das von centOS 6 funktioniert gut, also werden wir es hier verwenden.

rpm -i http://download.opensuse.org/repositories/system:/aoetools/CentOS_CentOS-6/x86_64/aoetools-36-1.2.x86_64.rpm

Jetzt prüfen wir, welche AoE-Speichergeräte verfügbar sind:

aoe-discover

Der Befehl

aoe-stat

sollte nun die Speichergeräte anzeigen:

[root@server1 ~]# aoe-stat
e0.1 10.485GB ens33 1024 up
[root@server1 ~]#

An dieser Stelle haben wir ein neues Blockgerät auf der Clientbox namens /dev/etherd/e0.1 zur Verfügung. Wenn wir uns den /dev-Tree ansehen, erscheint ein neuer Knoten:

ls -la /dev/etherd/

[root@server1 ~]# ls -la /dev/etherd/
total 0
drwxr-xr-x. 2 root root 160 Jun 30 14:49 .
drwxr-xr-x. 21 root root 3240 Jun 30 14:32 ..
c-w--w----. 1 root disk 152, 3 Jun 30 14:32 discover
brw-rw----. 1 root disk 152, 0 Jun 30 14:49 e0.1
cr--r-----. 1 root disk 152, 2 Jun 30 14:32 err
c-w--w----. 1 root disk 152, 6 Jun 30 14:32 flush
c-w--w----. 1 root disk 152, 4 Jun 30 14:32 interfaces
c-w--w----. 1 root disk 152, 5 Jun 30 14:32 revalidate
[root@server1 ~]#

Um dieses Gerät verwenden zu können, müssen wir es formatieren:

fdisk /dev/etherd/e0.1

[root@server1 ~]# fdisk /dev/etherd/e0.1
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0xed572fd4.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won't be recoverable.

The number of cylinders for this disk is set to 2610.
There is nothing wrong with that, but this is larger than 1024,
and could in certain setups cause problems with:
1) software that runs at boot time (e.g., old versions of LILO)
2) booting and partitioning software from other OSs
(e.g., DOS FDISK, OS/2 FDISK)
Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

Command (m for help):

 <-- n
 Command action
   e   extended
   p   primary partition (1-4)
 <-- p
 Partition number (1-4): <-- 1
First sector (2048-20479999, default 2048): <-- ENTER
 Using default value 1
Last sector, +sectors or +size{K,M,G} (2048-20479999, default 20479999): <-- ENTER
Using default value 20479999
Partition 1 of type Linux and of size 9.8 GiB is set

Command (m for help):

 <-- t
 Selected partition 1
Hex code (type L to list codes): <-- L

0  Empty           1e  Hidden W95 FAT1 80  Old Minix       bf  Solaris
1  FAT12           24  NEC DOS         81  Minix / old Lin c1  DRDOS/sec (FAT-
2  XENIX root      39  Plan 9          82  Linux swap / So c4  DRDOS/sec (FAT-
3  XENIX usr       3c  PartitionMagic  83  Linux           c6  DRDOS/sec (FAT-
4  FAT16 <32M      40  Venix 80286     84  OS/2 hidden C:  c7  Syrinx
5  Extended        41  PPC PReP Boot   85  Linux extended  da  Non-FS data
6  FAT16           42  SFS             86  NTFS volume set db  CP/M / CTOS / .
7  HPFS/NTFS       4d  QNX4.x          87  NTFS volume set de  Dell Utility
8  AIX             4e  QNX4.x 2nd part 88  Linux plaintext df  BootIt
9  AIX bootable    4f  QNX4.x 3rd part 8e  Linux LVM       e1  DOS access
a  OS/2 Boot Manag 50  OnTrack DM      93  Amoeba          e3  DOS R/O
b  W95 FAT32       51  OnTrack DM6 Aux 94  Amoeba BBT      e4  SpeedStor
c  W95 FAT32 (LBA) 52  CP/M            9f  BSD/OS          eb  BeOS fs
e  W95 FAT16 (LBA) 53  OnTrack DM6 Aux a0  IBM Thinkpad hi ee  GPT
f  W95 Ext’d (LBA) 54  OnTrackDM6      a5  FreeBSD         ef  EFI (FAT-12/16/
10  OPUS            55  EZ-Drive        a6  OpenBSD         f0  Linux/PA-RISC b
11  Hidden FAT12    56  Golden Bow      a7  NeXTSTEP        f1  SpeedStor
12  Compaq diagnost 5c  Priam Edisk     a8  Darwin UFS      f4  SpeedStor
14  Hidden FAT16 <3 61  SpeedStor       a9  NetBSD          f2  DOS secondary
16  Hidden FAT16    63  GNU HURD or Sys ab  Darwin boot     fb  VMware VMFS
17  Hidden HPFS/NTF 64  Novell Netware  b7  BSDI fs         fc  VMware VMKCORE
18  AST SmartSleep  65  Novell Netware  b8  BSDI swap       fd  Linux raid auto
1b  Hidden W95 FAT3 70  DiskSecure Mult bb  Boot Wizard hid fe  LANstep
1c  Hidden W95 FAT3 75  PC/IX           be  Solaris boot    ff  BBT
Hex code (type L to list codes): <– 83

Command (m for help): <– w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.
[root@server1 ~]#

Danach gibt es ein neues Gerät /dev/etherd/e0.1p1, das Sie in der Ausgabe von

ls -l /dev/etherd/

[root@server1 ~]# ls -l /dev/etherd/
total 0
c-w--w----. 1 root disk 152, 3 Jun 30 14:32 discover
brw-rw----. 1 root disk 152, 0 Jun 30 14:54 e0.1
brw-rw----. 1 root disk 152, 1 Jun 30 14:54 e0.1p1
cr--r-----. 1 root disk 152, 2 Jun 30 14:32 err
c-w--w----. 1 root disk 152, 6 Jun 30 14:32 flush
c-w--w----. 1 root disk 152, 4 Jun 30 14:32 interfaces
c-w--w----. 1 root disk 152, 5 Jun 30 14:32 revalidate
[root@server1 ~]#

Jetzt erstellen wir ein Dateisystem auf /dev/etherd/e0.1p1…..

mkfs.ext4 /dev/etherd/e0.1p1

…. und montieren Sie es zu Testzwecken:

mount /dev/etherd/e0.1p1 /mnt

Sie sollten nun das neue Gerät in den Ausgängen von…..

mount

[root@server1 ~]# mount
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime,seclabel)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
devtmpfs on /dev type devtmpfs (rw,nosuid,seclabel,size=930336k,nr_inodes=232584,mode=755)
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev,seclabel)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,seclabel,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,nodev,seclabel,mode=755)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,seclabel,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd)
pstore on /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,relatime)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpuacct,cpu)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/net_cls type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
configfs on /sys/kernel/config type configfs (rw,relatime)
/dev/mapper/centos-root on / type xfs (rw,relatime,seclabel,attr2,inode64,noquota)
selinuxfs on /sys/fs/selinux type selinuxfs (rw,relatime)
systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=30,pgrp=1,timeout=300,minproto=5,maxproto=5,direct)
debugfs on /sys/kernel/debug type debugfs (rw,relatime)
mqueue on /dev/mqueue type mqueue (rw,relatime,seclabel)
hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime,seclabel)
/dev/sda1 on /boot type xfs (rw,relatime,seclabel,attr2,inode64,noquota)
tmpfs on /run/user/0 type tmpfs (rw,nosuid,nodev,relatime,seclabel,size=188060k,mode=700)
/dev/etherd/e0.1p1 on /mnt type ext4 (rw,relatime,seclabel,data=ordered)
[root@server1 ~]#

….. und

df -h

[root@server1 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos-root 28G 1.3G 27G 5% /
devtmpfs 909M 0 909M 0% /dev
tmpfs 919M 0 919M 0% /dev/shm
tmpfs 919M 8.6M 910M 1% /run
tmpfs 919M 0 919M 0% /sys/fs/cgroup
/dev/sda1 497M 192M 306M 39% /boot
tmpfs 184M 0 184M 0% /run/user/0
/dev/etherd/e0.1p1 9.5G 37M 9.0G 1% /mnt
[root@server1 ~]#

Du kannst es so deinstallieren:

umount /mnt

Damit das Gerät beim Booten automatisch eingebunden wird, z.B. im Verzeichnis /storage, erstellen wir dieses Verzeichnis…..

mkdir /storage

…. und fügen Sie die folgende Zeile zu /etc/fstab hinzu:

nano /etc/fstab

[...]
/dev/etherd/e0.1p1       /storage        ext4    defaults,auto,_netdev 0 0

Dies allein reicht nicht aus, um das Gerät beim Booten zu mounten, da das AoE-Zeug nach dem Lesen von /etc/fstab geladen wird. Dazu öffnen wir /etc/rc.local…..

nano /etc/rc.local

…. und fügt die folgenden Zeilen hinzu (nach der Modprobe aoe Linie!):

[...]
aoe-discover
sleep 5
mount -a
[...]

Zu Testzwecken können Sie das System nun neu starten:

reboot

Nach dem Neustart sollte das Gerät gemountet werden:

mount

[root@server1 ~]# mount
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime,seclabel)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
devtmpfs on /dev type devtmpfs (rw,nosuid,seclabel,size=930336k,nr_inodes=232584,mode=755)
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev,seclabel)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,seclabel,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,nodev,seclabel,mode=755)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,seclabel,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd)
pstore on /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,relatime)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpuacct,cpu)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/net_cls type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
configfs on /sys/kernel/config type configfs (rw,relatime)
/dev/mapper/centos-root on / type xfs (rw,relatime,seclabel,attr2,inode64,noquota)
selinuxfs on /sys/fs/selinux type selinuxfs (rw,relatime)
systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=30,pgrp=1,timeout=300,minproto=5,maxproto=5,direct)
debugfs on /sys/kernel/debug type debugfs (rw,relatime)
mqueue on /dev/mqueue type mqueue (rw,relatime,seclabel)
hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime,seclabel)
/dev/sda1 on /boot type xfs (rw,relatime,seclabel,attr2,inode64,noquota)
tmpfs on /run/user/0 type tmpfs (rw,nosuid,nodev,relatime,seclabel,size=188060k,mode=700)
/dev/etherd/e0.1p1 on /mnt type ext4 (rw,relatime,seclabel,data=ordered)
[root@server1 ~]#

df -h

[root@server1 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos-root 28G 1.3G 27G 5% /
devtmpfs 909M 0 909M 0% /dev
tmpfs 919M 0 919M 0% /dev/shm
tmpfs 919M 8.6M 910M 1% /run
tmpfs 919M 0 919M 0% /sys/fs/cgroup
/dev/sda1 497M 192M 306M 39% /boot
tmpfs 184M 0 184M 0% /run/user/0
/dev/etherd/e0.1p1 9.5G 37M 9.0G 1% /mnt
[root@server1 ~]#

6 Links

AoE-Protokolldefinition: http://www.coraid.com/RESOURCES/AoE-Protocol-Definition
CentOS: http://www.centos.org/

Verwendung von ATA Over Ethernet (AoE) auf CentOS 7 (Initiator und Ziel)

1 Vorbemerkung

2 Zusätzliche Repositories aktivieren

3 Laden des AoE Kernel Moduls auf beide Systeme

4 Einrichten des Servers (Ziel) auf Server 2

5 Einrichten des Clients (Initiator) auf Server 1

6 Links

Das könnte Dich auch interessieren …

Suche

Kategorien

Seiten

Verwendung von ATA Over Ethernet (AoE) auf CentOS 7 (Initiator und Ziel)

1 Vorbemerkung

2 Zusätzliche Repositories aktivieren

3 Laden des AoE Kernel Moduls auf beide Systeme

4 Einrichten des Servers (Ziel) auf Server 2

5 Einrichten des Clients (Initiator) auf Server 1

6 Links

Das könnte Dich auch interessieren …

Linux Top Befehl Tutorial für Anfänger (8 Beispiele)

Wie man Websitebaker CMS auf Ubuntu installiert 18.04 LTS

Linux mv Befehl erklärt für Anfänger (8 Beispiele)

Suche

Kategorien

Seiten

Schlagworte