Einrichten eines MinIO-Servers

In diesem Tutorial werde ich erklären, wie man einen MinIO-Server für die Nutzung der Speicherarchitektur einrichtet. Wie jeder, der nicht bereits weiß, was MinIO ist: Es ist ein hochleistungsfähiges, verteiltes Objekt-Speichersystem. Es ist softwaredefiniert, läuft auf Industriestandard-Hardware und ist 100% Open Source. Es ist absichtlich so gebaut, dass es Objekten als Einschicht-Architektur dient, um alle erforderlichen Funktionen ohne Kompromisse zu erreichen. Das Ergebnis wird als ein Cloud-nativer Objektserver angesehen, der gleichzeitig skalierbar und leichtgewichtig ist.

Da die Welt des Cloud-Engineering immer ausgereifter geworden ist, stellt sich die Frage, warum wir MinIO überhaupt brauchen?

Berücksichtigen Sie, dass, wenn Sie Ihre Lösung in der Cloud bereitstellen, Sie am Ende möglicherweise Lösungsspeicher wie AWS S3, Azure Blob Storage und Alibaba OSS verwenden werden. Dasselbe gilt für das Konzept, wenn Ihre Lösung weiterhin vor Ort bleibt, da Minio als Alternative zur Speicherarchitektur wie der bereitgestellte Cloud-Speicherdienst dient.

MinIO-Objekt-Speicherung

1. Wie funktioniert das?

In einem einfachen Konzept besteht Minio aus 2 Teilen – dem Client-Teil und dem Server-Teil. Dieses Konzept beinhaltet auch ein Dashboard über Web-ui oder Datei-Browser. Sowohl der Client- als auch der Server-Teil sind relativ einfach einzurichten, und wenn Sie mit CLI (Command Line Interface) vertraut sind, ist es für Sie leicht zu verstehen.

Wenn wir es jedoch auf Produktionsebene entwerfen, muss alles verteilt werden, was bedeutet, dass die angebotene Lösung eine gute Leistung in großem Maßstab, selbstständiges Wachstum und hohe Verfügbarkeit gewährleisten muss. Wenn man dies berücksichtigt, hat minio sein eigenes Konzept namens Distributed Erasure Code.

MinIO server scheme

Dieses Konzept ist ein zuverlässiger Ansatz, um Daten auf mehrere Laufwerke zu verteilen und sie zurückzuholen, selbst wenn einige der Laufwerke nicht verfügbar sind. Durch die Verwendung dieses Konzepts können Sie die Hälfte der Laufwerke verlieren und Ihre Daten sind trotzdem garantiert.

In diesem Tutorial zeige ich Ihnen, wie man MinIO-Server als verteilten Löschcode installiert und konfiguriert. Danach werfen wir einen kurzen Blick auf die Client-Seite, um zu erfahren, wie der MinIO-Dienst als Endbenutzer genutzt werden kann.

2. Installationsphase

Für die Installationsphase werde ich 2 Server als Minio-Cluster konfigurieren, um die Konfiguration des verteilten Löschcodes vorzubereiten.

Nun werden wir 4 Plattenlaufwerke auflisten, die wir zur Partitionierung als Blockgerät für die Minio-Nutzung verwenden werden. Da unsere Architektur beschlossen hat, mehrere Server einzurichten, beträgt die Mindestanforderung an ein Laufwerk für einen Server 2, wenn Sie jedoch einen einzelnen Server verwenden, ist die Mindestanforderung an die Laufwerke 1. Detaillierte Anforderungen, die für das Design des Löschcodes erforderlich sind, finden Sie hier .

Nachfolgend sind die Schritte aufgeführt:

 [[email protected] ~]# fdisk -l

Disk /dev/sda: 107.4 GB, 107374182400 bytes, 209715200 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk label type: dos
Disk identifier: 0x000a4fd8

Device Boot Start End Blocks Id System
/dev/sda1 * 2048 2099199 1048576 83 Linux
/dev/sda2 2099200 209715199 103808000 8e Linux LVM

Disk /dev/sdb: 8589 MB, 8589934592 bytes, 16777216 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk /dev/sdc: 8589 MB, 8589934592 bytes, 16777216 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk /dev/sdd: 8589 MB, 8589934592 bytes, 16777216 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk /dev/sde: 8589 MB, 8589934592 bytes, 16777216 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk /dev/mapper/centos-root: 104.1 GB, 104144568320 bytes, 203407360 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk /dev/mapper/centos-swap: 2147 MB, 2147483648 bytes, 4194304 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

 

Wie Sie oben sehen können, sind auf unserer Seite 4 Laufwerke mit einer Größe von jeweils 8 GB in unseren Server eingebaut.

Als nächstes erstellen wir von jedem Laufwerk eine Partition, dann erstellen wir ein dediziertes Verzeichnis, das in jede zu erstellende Partition eingehängt wird. Nachfolgend sind die Schritte aufgeführt.

 
[[email protected] ~]# fdisk /dev/sdb 
Welcome to fdisk (util-linux 2.23.2).

Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

Device does not contain a recognized partition table
Building a new DOS disklabel with disk identifier 0x4217c4d9.

Command (m for help): p

Disk /dev/sdb: 8589 MB, 8589934592 bytes, 16777216 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk label type: dos
Disk identifier: 0x4217c4d9

Device Boot Start End Blocks Id System

Command (m for help): n
Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended
Select (default p): p
Partition number (1-4, default 1):
First sector (2048-16777215, default 2048):
Using default value 2048
Last sector, +sectors or +size{K,M,G} (2048-16777215, default 16777215):
Using default value 16777215
Partition 1 of type Linux and of size 8 GiB is set

Command (m for help): p

Disk /dev/sdb: 8589 MB, 8589934592 bytes, 16777216 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk label type: dos
Disk identifier: 0x4217c4d9

Device Boot Start End Blocks Id System
/dev/sdb1 2048 16777215 8387584 83 Linux

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.

Command (m for help): q

[[email protected] ~]# ls /dev/sdb*
/dev/sdb /dev/sdb1
[[email protected] ~]# mkfs.xfs -f /dev/sdb1
meta-data=/dev/sdb1 isize=512 agcount=4, agsize=524224 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=0, sparse=0
data = bsize=4096 blocks=2096896, imaxpct=25
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal log bsize=4096 blocks=2560, version=2
= sectsz=512 sunit=0 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
[[email protected] ~]#
[[email protected] ~]# mkdir -p /opt/drive1
[[email protected] ~]# mkdir -p /opt/drive2
[[email protected] ~]# mkdir -p /opt/drive3
[[email protected] ~]# mkdir -p /opt/drive4
[[email protected] ~]#
[[email protected] ~]# mount /dev/sdb1 /opt/drive1
[[email protected] ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos-root 97G 3.8G 94G 4% /
devtmpfs 1.9G 0 1.9G 0% /dev
tmpfs 1.9G 0 1.9G 0% /dev/shm
tmpfs 1.9G 8.6M 1.9G 1% /run
tmpfs 1.9G 0 1.9G 0% /sys/fs/cgroup
/dev/sda1 1014M 145M 870M 15% /boot
tmpfs 379M 0 379M 0% /run/user/0
/dev/sdb1 8.0G 33M 8.0G 1% /opt/drive1
[[email protected] ~]#

 

Wiederholen Sie den gleichen Vorgang, um eine Partition auf den verbleibenden Laufwerken zu erstellen, und mounten Sie diese dann in jedes Verzeichnis, das wir erstellt haben. Als Endergebnis sollten Sie schließlich die Ausgabe wie unten sehen :-

 [[email protected] ~]# mount /dev/sdb1 /opt/drive1 
[[email protected] ~]# mount /dev/sdc1 /opt/drive2 
[[email protected] ~]# mount /dev/sdd1 /opt/drive3 
[[email protected] ~]# mount /dev/sde1 /opt/drive4 
[[email protected] ~]# 
[[email protected] ~]# 
[[email protected] ~]# df -h 
Filesystem Size Used Avail Use% Mounted on 
/dev/mapper/centos-root 97G 3.8G 94G 4% / 
devtmpfs 1.9G 0 1.9G 0% /dev 
tmpfs 1.9G 0 1.9G 0% /dev/shm 
tmpfs 1.9G 8.6M 1.9G 1% /run 
tmpfs 1.9G 0 1.9G 0% /sys/fs/cgroup 
/dev/sda1 1014M 145M 870M 15% /boot 
tmpfs 379M 0 379M 0% /run/user/0 
/dev/sdb1 8.0G 33M 8.0G 1% /opt/drive1 
/dev/sdc1 8.0G 33M 8.0G 1% /opt/drive2 
/dev/sdd1 8.0G 33M 8.0G 1% /opt/drive3 
/dev/sde1 8.0G 33M 8.0G 1% /opt/drive4

 

In Ordnung, da eine Voraussetzung auf den Laufwerken für Server 1 erfüllt ist, wiederholen Sie die gleiche Konfiguration auf Server 2 wie oben.

3. Phase der Konfiguration

Nun, da beide Serverkonfigurationen abgeschlossen sind, lassen Sie uns mit der Installation des Minio-Dienstes fortfahren. Laden Sie zunächst das Minio-Paket wie unten gezeigt herunter:

 [[email protected] ~]# wget https://dl.min.io/server/minio/release/linux-amd64/minio && chmod +x minio 
--2019-09-29 22:23:57-- https://dl.min.io/server/minio/release/linux-amd64/minio 
Resolving dl.min.io (dl.min.io)... 178.128.69.202 
Connecting to dl.min.io (dl.min.io)|178.128.69.202|:443... connected. 
HTTP request sent, awaiting response... 200 OK 
Length: 43831296 (42M) [application/octet-stream] 
Saving to: ‘minio’

3% [=> ] 1,335,296 106KB/s eta 6m 33s

 

Wiederholen Sie nun das Gleiche wie oben auf Server 2.

Wenn alles erledigt ist, lassen Sie uns mit der Minio-Konfiguration beginnen. Wir werden den MINIO_ACCESS_KEY und MINIO_SECRET_KEY als Authentifizierungszugang definieren. Die Konfiguration ist wie unten angegeben :-

 [[email protected] ~]# export MINIO_ACCESS_KEY=shahril && export MINIO_SECRET_KEY=shahril123 
[[email protected] ~]# ./minio server http://10.124.12.{141..142}:9000/opt/drive{1..4} 
Waiting for a minimum of 4 disks to come online (elapsed 0s)

Waiting for a minimum of 4 disks to come online (elapsed 2s)

Waiting for a minimum of 4 disks to come online (elapsed 3s)

Waiting for a minimum of 4 disks to come online (elapsed 3s)

Waiting for all other servers to be online to format the disks.
Status: 8 Online, 0 Offline.
Endpoint: http://10.124.12.141:9000 http://10.124.12.142:9000
AccessKey: shahril
SecretKey: shahril123

Browser Access:
http://10.124.12.141:9000 http://10.124.12.142:9000

Command-line Access: https://docs.min.io/docs/minio-client-quickstart-guide
$ mc config host add myminio http://10.124.12.141:9000 shahril shahril123

Object API (Amazon S3 compatible):
Go: https://docs.min.io/docs/golang-client-quickstart-guide
Java: https://docs.min.io/docs/java-client-quickstart-guide
Python: https://docs.min.io/docs/python-client-quickstart-guide
JavaScript: https://docs.min.io/docs/javascript-client-quickstart-guide
.NET: https://docs.min.io/docs/dotnet-client-quickstart-guide

 

Jetzt ist die Konfiguration auf Server 1 abgeschlossen, wiederholen Sie den gleichen Schritt auf Server 2 für die Konfiguration.

Sobald alles erledigt ist, können wir mit den Tests beginnen

4. Die Testphase

Wenn alles erledigt ist, lassen Sie uns beginnen, die Nutzbarkeit von Minidiensten zu sehen. Wie in der obigen Konfiguration gezeigt, können wir über einen Browser auf das Dashboard seiner Benutzeroberfläche zugreifen. Für unser Beispiel melden wir uns bei http://10.124.12.141:9000 mit dem Zugriffsschlüssel shahril und dem geheimen Schlüssel shahril123 an, wie konfiguriert.

Das Ergebnis wird wie unten beschrieben angezeigt:

MinIO Login

Wenn wir fertig sind, werden wir zum Eimer-Armaturenbrett weitergeleitet. Lassen Sie uns nun unseren ersten Eimer erstellen.

Klicken Sie auf den Icon-Ordner mit dem Plus-Button und nennen Sie unseren ersten Bucket mylove. Beispiel wie unten gezeigt:

MinIO Browser - Bucket dashboard

Eimer

Sobald dies erledigt ist, werden Sie feststellen, dass ein neuer Bereich erstellt und auf der linken Seite angezeigt wird (siehe Screenshot unten).

Eimer-Liste

Wenn Sie fertig sind, werden Sie feststellen, dass ein neuer Bereich erstellt und auf der linken Seite angezeigt wird (siehe Screenshot unten).

Als nächstes fügen wir alle Dateien von Ihrer lokalen Seite hinzu, die in den Bereich eingefügt werden sollen

Dateien im MinIO-Behälter hinzufügen

Sie werden feststellen, dass die neue Datei erfolgreich in den Bucket hochgeladen wurde, wie unten gezeigt.

Datei in MinIO-Behälter hochgeladen

Um sicherzustellen, dass das Konzept der Verteilung gut umgesetzt werden. Lassen Sie uns einen einfachen Test machen, indem wir über einen anderen Server auf das minio-Dashboard zugreifen. Die andere Server-URL lautet http://10.124.12.142:9000.

MinIO-Dashboard

Wie erwartet sind der Bereich und die Dateien, die wir eingefügt haben, auch in der URL anderer Server vorhanden, wie oben gezeigt.

Lassen Sie uns nun einen weiteren Test durchführen. Dieses Mal werden wir eine andere Workstation verwenden, die über die Client-Konsole mc auf unseren Minio-Server zugreift.

Von der Client-Seite aus werden wir eine Datei erstellen und diese dann in den bestehenden Bereich hochladen.

Als Endergebnis erwarten wir dann vom Dashboard zu sehen, dass die von der Client-Seite hochgeladene neue Datei automatisch existiert.

Öffnen Sie zunächst die Client-Arbeitsstation und laden Sie das Minio-Client-Paket herunter. Ein Beispiel ist unten dargestellt:

 [[email protected] ~]# wget https://dl.min.io/client/mc/release/linux-amd64/mc 
--2019-09-30 11:47:38-- https://dl.min.io/client/mc/release/linux-amd64/mc 
Resolving dl.min.io (dl.min.io)... 178.128.69.202 
Connecting to dl.min.io (dl.min.io)|178.128.69.202|:443... connected. 
HTTP request sent, awaiting response... 200 OK 
Length: 16592896 (16M) [application/octet-stream] 
Saving to: ‘mc’

100%[==============================================================================>] 16,592,896 741KB/s in 1m 59s

2019-09-30 11:49:37 (137 KB/s) – ‘mc’ saved [16592896/16592896]

[[email protected] ~]# chmod +x mc

 

Nehmen Sie dann die Konfiguration von der Client-Seite aus vor, um mit create access key and secret auf den dedizierten Bereich zuzugreifen. Beispiel wie unten beschrieben:

 [[email protected] ~]# ./mc config host add myminio http://10.124.12.142:9000 shahril shahril123 
mc: Configuration written to `/root/.mc/config.json`. Please update your access credentials. 
mc: Successfully created `/root/.mc/share`. 
mc: Initialized share uploads `/root/.mc/share/uploads.json` file. 
mc: Initialized share downloads `/root/.mc/share/downloads.json` file. 
Added `myminio` successfully.

Sobald die Konfiguration abgeschlossen ist, sollten Sie es schaffen, den Inhalt innerhalb des vorhandenen Bereichs zu sehen. Beispiel wie unten dargestellt:

 [[email protected] ~]# ./mc ls myminio 
[2019-09-30 11:16:25 +08] 0B mylove/

[[email protected] ~]# ./mc ls myminio/mylove/
[2019-09-30 11:16:25 +08] 55KiB myself.jpg

Erstellen oder laden Sie nun eine beliebige vorhandene Datei von der Client-Seite in den Eimer. Beispiel wie unten :-

 [[email protected] ~]# ./mc cp new_file.txt myminio/mylove 
new_file.txt: 38 B / 38 B ???????????????????????????????????????????????????????????????? 100.00% 1.02 KiB/s 0s 
[[email protected] ~]#

[[email protected] ~]# ./mc ls myminio/mylove/
[2019-09-30 11:16:25 +08] 55KiB myself.jpg
[2019-09-30 11:58:16 +08] 38B new_file.txt

Sobald dies geschehen ist, sollten Sie, wie erwartet, wenn Sie von der Dashboard-Seite aus über eine der Server-URLs aktualisieren, sehen, dass die neuen Dateien dort wie unten beschrieben angezeigt werden.

Mit der MinIO-Konsole hochgeladene Datei

Sie sollten den vollständigen Link des Bildes sehen, wenn Sie wie unten angegeben auf das Freigabesymbol auf der rechten Seite klicken. Dies ist der eindeutige Link jedes Objekts innerhalb des Bereichs, den Sie auf der Anwendungsseite über Curl oder API verwenden können.

Objekt freigeben

Daumen hoch! Jetzt haben wir erfolgreich einen selbst gehosteten Speicherdienst vor Ort mit Minio eingerichtet und konfiguriert. Für ausführlichere Details können Sie die Dokumentation hier einsehen

Das könnte dich auch interessieren …