suchen und ersetzen innerhalb einer Datei

Suchen und ersetzen innerhalb einer Datei geht bequem via Kommandozeile. In diesem Beispiel möchten wir in der Datei datenbank.sql alle 192.168.1.1 durch example.com ersetzen, ohne die Datei in einem Editor zu öffnen.
Der allgemeine Syntax dazu lautet:

$ sed -i -e "s/(suchen)/(ersetzen)/" "(dateiname)"

Angewendet auf unser Beispiel wird dadurch:

$ sed -i -e "s/192.168.1.251/example.com/g" "DATENBANK.sql"

aus https://192.168.1.1 wird dann überall https://example.com. /g steht dabei für global und ersetzt alle Muster in der Datei.

Dateien nach Muster suchen und löschen

In diesem Beispiel entfernen wir unter dem Pfad /pfad/zum/ordner/ alle Dateinamen, welche das Muster «400x» enthalten.

$ ls
(...)
a-super-real-2dfdefa9-7bf6-4d4f-9b79-39b8dc68cdd4-400x250.jpeg
a-super-real-2dfdefa9-7bf6-4d4f-9b79-39b8dc68cdd4-400x284.jpeg
a-super-real-2dfdefa9-7bf6-4d4f-9b79-39b8dc68cdd4-400x516.jpeg
(...)

Abhilfe schafft hier der Befehl find, kombiniert mit rm:

find . /pfad/zum/ordner/ -name "*400x*" -exec rm {} \;

Damit sind alle Dateien gelöscht, welche dem Suchbegriff 400x entsprechen.

purge – die Holzhammermethode wenn’s nicht mehr läuft

apt purge entfernt gnadenlos jedes Paket. In meinem Fall hatte ich meine gesamte MariaDB komplett zerschossen. Ein fehlerhafter SQL-Befehl und das eigene herumwursteln unter /var/lib/mysql brachte alles durcheinander und ich konnte weder eine Datenbank anlegen, noch einen User erstellen. Hier kann jetzt nur noch die Holzhammer-Methode helfen. Diese funktioniert jedoch nur, wenn du aktuelle Backups der Datenbank hast:

Stoppe die Datenbank mit:

# systemctl stop mariadb

Entferne alle Pakete von MariaDB. Vorsicht! Falls du unsicher bist und kein Backup der Datenbank hast, lass diese Methode lieber bleiben. Bestätigst du das Löschen von /etc/lib/mysql sind alle Datenbanken unwiderruflich weg.

# apt purge default-mysql-server mariadb-server

Installiere die Pakete neu:

# apt install default-mysql-server mariadb-server
# systemctl start mariadb

Jetzt kannst du dein Backup wieder einspielen. Ebenfalls der Datenbankbenutzer muss neu angelegt werden.

rsnapshot für Server

rsnapshot erstellt uns periodisch Schnappschüsse von unserem Server. Installiere das Programm mit:

# apt install rsnapshot

und navigiere zur Konfigurationsdatei unter:

# nano /etc/rsnapshot.conf

Hinweis: alle Einzüge müssen mit der Taste TAB gemacht werden und keinesfalls mit der Space-Taste (Leertaste)

01. Snapshot root directory

hier geben wir das Zielverzeichnis aller snapshots an.
# All snapshots will be stored under this root directory.
#
snapshot_root /BACKUP/snapshot/

02. Backup Levels / Intervals

hier geben wir einmalig den Namen unseres snapshots und den Intervall an, wie viele snapshots aufbewahrt werden
retain snapshot 24

03. include & exclude

include und exclude gibt an, welche Verzeichnisse zusätzlich eingeschlossen oder ausgeschlossen werden. Bei meinen snapshots schliesse ich jeweils den Papierkorb / Trash aus:
exclude Recycled/
exclude Trash/
exclude lost+found/

04. Backup Points / Scripts

# LOCALHOST
backup /etc/ localhost/
backup /var/www/html/ localhost/

05. Script testen

teste das Script mit:

# rsnapshot configtest
Syntax OK
06. Teste den Snapshot mit der Eingabe von:
rsnapshot -t snapshot
07. snapshot mittels crontab ausführen

In diesem Beispiel schreiben wir nun ein Backups-Script und weisen den Crontab an, das Script alle 3 Stunden auszuführen.
Wir erstellen ein Backup-Script mit:

nano backup.sh

# !/bin/bash
rsnapshot snapshot

mache das Script ausführbar:

# chmod +x backup.sh

nun weisen wir dem Crontab zu, das Backupscript aller 3 Stunden auszuführen:

# crontab -e

# snapshot erstellen alle 3 Stunden
0 */3 * * * bash /root/backup.sh
#

rsnapshot erstellt nun alle 3 Stunden einen Snapshot und behält unter Punkt 2 insgesamt 24 Snapshots davon. Danach werden die ältesten Snapshots überschrieben.

Hinweis: das Erstellen des ersten Snapshot kann lange dauern, da ja noch keine ältere Version vorliegt. Die nachfolgenden Snapshots dauern dann in der Regeln ein paar Sekunden. Falls wirklich viele Daten beim ersten Snapshot gespeichert werden müssen, kann der snapshot.0 auch manuell angestossen werden. Dazu startest du einfach das Backup-Script manuell.

Failed to initialize any backend for Jail sshd

Nach der Installation von fail2ban zeigt systemctl status fail2ban folgendes an:

# systemctl status fail2ban
× fail2ban.service - Fail2Ban Service
     Loaded: loaded (/lib/systemd/system/fail2ban.service; enabled; preset: enabled)
     Active: failed (Result: exit-code) since Fri 2024-05-03 10:30:22 CEST; 54s ago
   Duration: 163ms
       Docs: man:fail2ban(1)
    Process: 4115 ExecStart=/usr/bin/fail2ban-server -xf start (code=exited, status=255/EXCEPTION)
   Main PID: 4115 (code=exited, status=255/EXCEPTION)
        CPU: 142ms

Mai 03 10:30:22 backup systemd[1]: Started fail2ban.service - Fail2Ban Service.
Mai 03 10:30:22 backup fail2ban-server[4115]: 2024-05-03 10:30:22,685 fail2ban.configreader   [4115]: WARNING 'allowipv6' not defined in 'Definition'. Using default one: 'auto'
Mai 03 10:30:22 backup fail2ban-server[4115]: 2024-05-03 10:30:22,698 fail2ban                [4115]: ERROR   Failed during configuration: Have not found any log file for sshd jail
Mai 03 10:30:22 backup fail2ban-server[4115]: 2024-05-03 10:30:22,702 fail2ban                [4115]: ERROR   Async configuration of server failed
Mai 03 10:30:22 backup systemd[1]: fail2ban.service: Main process exited, code=exited, status=255/EXCEPTION
Mai 03 10:30:22 backup systemd[1]: fail2ban.service: Failed with result 'exit-code'.

Lösung:
1. erstelle die Datei jail.local unter /etc/fail2ban/jail.local und trage folgendes ein:

# nano /etc/fail2ban/jail.local

[sshd]
enabled = true
backend = systemd

2. installiere das Paket python3-systemd:

# apt install python3-systemd

3. starte fail2ban neu:

# systemctl restart fail2ban

Benutzer einer bestehenden Gruppe hinzufügen

Ein bestehender Benutzer wird mit usermod der Gruppe hinzugefügt. Um z. B. in Easy Diffusion die GPU zum Rendern zu benutzen muss der normale Benutzer, welcher Easy Diffusion startet der Gruppe render hinzugefügt werden. Die machen wir per:

# usermod -aG render USERNAME

nach einem Neustart kann USERNAME die GPU für das rendern benutzen. Ob das Hinzufügen geklappt hat, lässt sich mit der Eingabe von groups überprüfen:

$ groups
yuna cdrom floppy audio dip video plugdev users render netdev bluetooth lpadmin scanner

Eine neue Festplatte einhängen

In diesem Beispiel erstellen wir eine Partition mit dem Dateisystem ext4 auf der Festplatte und hängen anschliessend die Festplatte permanent unter /mnt/Volume ein.

01. fdisk -l  zeigt uns alle verfügbaren Laufwerke an. Die Disk unter /dev/sda hat noch keine Partition.

# fdisk -l
# fdisk -l
Disk /dev/sda: 931.51 GiB, 1000204886016 bytes, 1953525168 sectors
Disk model: WDC WD10EZEX-60M
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: dos
Disk identifier: 0xc64dfc2f

02. Starte fdisk mittels Angabe der Disk. Dabei gilt:

# fdisk /dev/sda

(o) = erstellt ein neues Disklabel (create a new empty MBR (DOS) partition table)
(n) = erstellt eine neue Partition
(p) = primäre Partition
(w) = schreibt die Änderungen final auf die Disk

# fdisk /dev/sda

Welcome to fdisk (util-linux 2.38.1).
Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.


Command (m for help): o
Created a new DOS (MBR) disklabel with disk identifier 0x7ad53c78.

Command (m for help): n
Partition type
   p   primary (0 primary, 0 extended, 4 free)
   e   extended (container for logical partitions)
Select (default p): p
Partition number (1-4, default 1): ENTER
First sector (2048-1953525167, default 2048): ENTER
Last sector, +/-sectors or +/-size{K,M,G,T,P} (2048-1953525167, default 1953525167): 

Created a new partition 1 of type 'Linux' and of size 931.5 GiB.

Command (m for help): w
The partition table has been altered.
Calling ioctl() to re-read partition table.
Syncing disks.

03. fdisk -l zeigt uns die neu erstellte Partition an:

# fdisk -l
# fdisk -l
(...)
Device     Boot Start        End    Sectors   Size Id Type
/dev/sda1        2048 1953525167 1953523120 931.5G 83 Linux

04. erstelle ein Dateisystem (hier ext4) für die soeben neue Partition /dev/sda1:

# mkfs.ext4 /dev/sda1
# mkfs.ext4 /dev/sda1
mke2fs 1.47.0 (5-Feb-2023)
Creating filesystem with 244190390 4k blocks and 61054976 inodes
Filesystem UUID: 923b9fb1-5760-4125-9c8a-7140c0f15ee2
Superblock backups stored on blocks: 
	32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 
	4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968, 
	102400000, 214990848

Allocating group tables: done                            
Writing inode tables: done                            
Creating journal (262144 blocks): done
Writing superblocks and filesystem accounting information: done

05. Um die Partition dauerhaft einzuhängen, benötigen wir die UUID:

# blkid | grep sda
# blkid | grep /dev/sda
/dev/sda1: UUID="923b9fb1-5760-4125-9c8a-7140c0f15ee2" BLOCK_SIZE="4096" TYPE="ext4" PARTUUID="7ad53c78-01"

06. öffne die /etc/fstab:

# nano /etc/fstab

# HDD einhängen
UUID=923b9fb1-5760-4125-9c8a-7140c0f15ee2 /mnt/Volume ext4 defaults 0 2


07. falls nötig, ändere den Benutzer. Aktuell hat hier nur root die Berechtigung:

# chown -cR BENUTZER:BENUTZER /mnt/Volume
# chown -cR BENUTZER:BENUTZER /mnt/Volume/
der Eigentümer von '/mnt/Volume/lost+found' wurde von root:root in BENUTZER:BENUTZER geändert
der Eigentümer von '/mnt/Volume/' wurde von root:root in BENUTZER:BENUTZER geändert

read: Connection reset by peer

Bei meinem neuen Backup-Server binde ich die Pfade jeweils mit sshfs ein und starte rsync. Dabei kam es zu folgender Fehlermeldung:
read: Connection reset by peer
Der ssh-Key benötigt auf dem Server chmod = 600. Besitzer (owner) und Gruppe ist der normale Benutzer.

# chmod 600 KEYFILE

von .png nach .jpeg

Um viele Bilder auf einen Rutsch von *.png nach *.jpeg umzuwandeln, benötigen wir das Paket imagemagick:

# apt install imagemagick

Navigiere nun in den Ordner, in welchem sich deine Bilder befinden:

$ cd ~/Bilder

Die Bilder landen alle im selben Verzeichnis, in welchem du dich befindest. Einzelne Bilder werden direkt mit dem Dateinamen angegeben. Die Wildcard als Platzhalter (*) berücksichtig alle Dateien mit der entsprechenden Endung. Die Option -format weist darauf hin, die Datei in ein anderes Bildformat zu wechseln:

$ mogrify -format jpeg *.png

weitere Details findest du mit:

man mogrify
man imagemagick

crontab mit bash-Script

crontab kann per Bash-Script ausgeführt werden. In diesem Beispiel erstellen wir uns einen crontab, der jeweils um 23:30 Uhr auf unserem Rocket.Chat Server ein Backup erstellt.

# nano /etc/crontab
/etc/crontab zeigt beim ersten Aufruf die Tutorialseite an. Tippe hier die systemweiten crontab ein.

# /etc/crontab: system-wide crontab

SHELL=/bin/sh
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin

# Starte Backup um 23:30 Uhr
30 23 * * * root bash /root/backup_chat.sh
# lösche Backups > 3 Tage. Überprüfe jeweils um 23:45 Uhr.
45 23 * * * root find /var/snap/rocketchat-server/common/backup/*.* -mtime +3 -exec rm {} \;
#

dieser crontab ruft somit um 23:30 Uhr das backup-Script backup_chat.sh auf. Das Script liegt hier unter /root/backup_chat.sh
#!/bin/bash
service snap.rocketchat-server.rocketchat-server stop
snap run rocketchat-server.backupdb
service snap.rocketchat-server.rocketchat-server start

das Script kann im Voraus noch geprüft werden:

# bash /root/backup_chat.sh
[*] Creating backup file...
[+] A backup of your data can be found at /var/snap/rocketchat-server/common/backup/rocketchat_backup_20231113.0944.tar.gz