Proxmox Umgang mit VMs / Tipps zur Bedienung

Hier sammel ich Tipps im Umgang mit Proxmox. Die Sammlung wird im Laufe der Zeit ausgebaut werden.
Hier soll sich alles wiederfinden, was nicht direkt mit der Installation oder Migrationsthemen beschäftigt.

Hinweis:
Für die Richtigkeit der Daten übernehme ich keine Gewähr!

Die Seite ist in die folgenden Bereiche eingeteilt:

Fehlermeldung: Keine gültige Subscription
Stoppen einer VM von Kommando-Zeile
VM mit Tag versehen
Start Linux VM - volume group "xxx" not found / device xxx not found
Install-ISO zu Proxmox hochladen
Extra LV für /var/lib/vz
LVM-Thin Datendisk / Storage einhängen
Backup-Ziel NFS mounten
vzdump - Backup-Script
Links zum Thema

Fehlermeldung: Keine gültige Subscription

Nach der Installation kann im Heim-Umfeld die folgende Fehlermeldung im Proxmox angezeigt werden:


You do not have a valid subscription

Damit diese Meldung verschwindet, habe ich den folgenden Befehl ausgeführt, nachdem ich mich als OS User root angemeldet hatte:

sed -Ezi.bak "s/(Ext.Msg.show\(\{\s+title: gettext\('No valid sub)/void\(\{ \/\/\1/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js && systemctl restart pveproxy.service

Um diese Meldung dauerhaft zu unterdrücken, habe ich einen Crontab-Eintrag erstellt, der beim Boot des Proxmox-Servers ausgeführt wird und den o.a. Befehl dann ausführt. Anderenfalls wird die Meldung immer wieder kommen.
Crontab-Eintrag:
@reboot /root/scripts/unterdruecken_support_meldung.sh > /dev/null 2>&1

Das Script hat folgenden Inhalt:

(Anmerkung: ✂ = Zeilenumbruch nur in Darstellung hier)


#!/bin/sh

####  add a crontab for this script
# crontab -e
# # m h  dom mon dow   command
# 23 0 * * * /root/scripts/remove-subscription-banner.sh


# Init
if [ -f $HOME/.profile ];
then
        . $HOME/.profile
fi

# Start
echo ""
echo "Remove Subscription Banner"
echo ""

# Change
if ! fgrep -q 'void({ //Ext.Msg.show({' /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js; then
        echo "patching ..."
        sed -Ezi.bak "s/(Ext.Msg.show\(\{\s+title: gettext\('No valid sub)/void\(\{ \/\/\1/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js && systemctl restart pveproxy.service

else
        echo "nothing to do"
fi
echo ""


#!/bin/sh

####  add a crontab for this script
# crontab -e
# # m h  dom mon dow   command
# 23 0 * * * /root/scripts/remove-subscription-banner.sh


# Init
if [ -f $HOME/.profile ];
then
        . $HOME/.profile
fi

# Start
echo ""
echo "Remove Subscription Banner"
echo ""

# Change
if ! fgrep -q 'void({ //Ext.Msg.show({' ✂
  /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js; then
        echo "patching ..."
        sed -Ezi.bak "s/(Ext.Msg.show\(\{\s+title: ✂
        gettext\('No valid sub)/void\(\{ \/\/\1/g" ✂
        /usr/share/javascript/proxmox-widget-toolkit/✂
        proxmoxlib.js ✂
        && systemctl restart pveproxy.service

else
        echo "nothing to do"
fi
echo ""

Stoppen einer VM von Kommando-Zeile

Wenn eine VM falsch konfiguriert ist, kann es passieren, dass eine VM in eine Dauerboot-Schleife endet und via graphischer Oberfläche ein Stoppen nicht möglich ist.

Stopp einer VM von Kommando-Zeile

Vorgehen:

Anmelden via SSH an Proxmox Server als OS User root
Ermitteln der ID einer VM mit dem u.a. Befehl oder aus der Weboberfläche:
cat /etc/pve/.vmlist
Stoppen der VM:
Der folgende Befehl stoppt eine VM:
qm stop <VMID-Nummer>

VM locked (gesperrt) -> unlock (entsperren)

Eine VM kann gesperrt sein, wenn versucht wurde, während der Ausführung einer Datensicherung, die VM zu stoppen.
Diese Sperre kann aber wie folgt aufgehoben werden:

Anmelden via SSH an Proxmox Server als OS User root
Ermitteln der ID einer VM mit dem u.a. Befehl oder aus der Weboberfläche:
cat /etc/pve/.vmlist
Entsperren der VM:
Der folgende Befehl entsperrt eine VM:
qm unlock <VMID-Nummer>

VM hart beenden

Eine VM in einer Dauerboot-Schleife kann manchmal über keinen der oben aufgeführten Wege gestoppt werden. Dann hilft nur noch das harte Beenden.
Die Ausführung einer VM kann mit den folgenden Befehlen hart abgebrochen werden:

Anmelden via SSH an Proxmox Server als OS User root
Ermitteln der ID einer VM mit dem u.a. Befehl oder aus der Weboberfläche:
cat /etc/pve/.vmlist
Ermitteln der Prozess-ID (PID-Nummer) einer VM mit dem Befehl:
ps aux | grep "/usr/bin/kvm -id <VMID-Nummer>"
Entsperren der VM:
Der folgende Befehl beendet eine VM im OS hart ( entspricht einem Ausschalter):
kill -9 k <PID-Nummer>

VM mit Tag versehen

Um bei vielen VM die Übersicht zu behalten, bietet es sich an, eine Tag-Struktur zu überlegen und einzusetzen. Jeder VM können verschiedene Tags zugeordnet werden. Über die Suche kann dann später nicht nur nach Namen sondern auch nach Tags gesucht werden, was das Auffinden bestimmter VM Gruppen erleichtern kann.
So kann einer VM verschiedene Tags zugewiesen werden, um verschiedene Suchen / Gruppierungen zu ermöglichen.
Beispiele für Tag-Namen:

Zweck	Beispiele-Name
Betriebssysteme unterscheiden	Linux Windows
Projekte unterscheiden	ProjektA MeinProjekt
Installierte Software unterscheiden	SAP Oracle PostgreSQL
Staginglevel unterscheiden	Prod NonProd
Status unterscheiden	aktiv im Aufbau

Start Linux VM - volume group "xxx" not found / device xxx not found

Problembeschreibung

Bei der Migration von VMs / Servern mit älteren Linux-Releases kann es beim Start / Boot der VM im Proxmox zu einer Fehlermeldung der folgenden Art kommen:
(xxx steht dann für den Namen einer Volue Group bzw. eines Devices)

volume group "xxx" not found
device xxx not found (ignoring)

Unter Proxmox 8.1.4 konnte ich das Problem auch nachvollziehen und nachstellen.

Lösungsansatz

Zunächst würde ich raten, die VM und deren Filesysteme auf Funktionalität zu testen. Also mit einer aktuellen LiveCD wie Knoppix die VM starten und dann die Filesysteme temporär mounten. Vielleicht muss auch ein Filesystem-Check durchgeführt werden.

Sind hier keine Probleme zu erkennen und die Filesysteme können erfolgreich gemountet werden, so liegt der eingangs beschriebene Fehler beim Start der VM höchstwahrscheinlich an fehlenden Treibern für den Festplatten-Controller, der damals noch nicht im Betriebssystem bekannt war.

Das Problem kann u.a. bei älteren openSUSE / SUSE Releases wie SLES 10 bis vermutlich SP3 und SLES 11 bis SP2 auftreten. Laut der Erläuterung "Dealing with a Legacy Suse Linux 10 SP1 moving to KVM" hilft bei SUSE SLES 10 der Wechsel auf SLES 10 SP4. Zusätzlich sind weitere Umstellungen wie beschrieben vorzunehmen bzw. zu prüfen.

SLES 11 ab SP3 scheint auch die richtigen Treiber mitzuliefern.

Möglicher allgemeiner Lösungsansatz

Eine Aktualisierung des Betriebssystems auf ein neueres Release wäre für mich der erste Lösungsansatz.

Wie immer gilt: Vor den Arbeiten an der VM eine Sicherung vornehmen. Für den Fall, dass ein Versuchsansatz nicht funktioniert hat, kann so auf einen alten Stand zurückgegangen werden.

Die oben beschriebenen Betriebssysteme sind eh sehr veraltet und eine VM mit einem solchen Betriebssystem sollte nicht mehr verwendet werden.

Install-ISO zu Proxmox hochladen

Proxmox benötigt ISO-Dateien mit dem Betriebssystem, um neue VMs mit einem Betriebssystem versorgen zu können. Im späteren Verlauf könnten auch Templates verwendet werden.

Das Hochladen kann via Web-Oberfläche durchgeführt werden. Alternativ können ISO-Dateien auch via SCP direkt auf den Server hochgeladen werden. Hierzu ist eine Anmeldung an den Proxmox Server via SCP notwendig. Dann kann in das Verzeichnis /var/lib/vz/template/iso gewechselt und die ISO-Dateien hochgeladen werden.

Extra LV für `/var/lib/vz`

Einleitung

Bei meiner Installation war der Bereich zum Ablage von ISO-Dateien, Templates und Images gefühlt ein wenig klein eingerichtet. Aber es gibt Möglichkeiten, diesem Bereich eine eigene LV (Logical Volume) zu geben und kann dann den verfügbaren Platz freier gestalten.

Extra LV anlegen

Um einen eigenen Platz anzulegen, ist wie folgt vorzugehen:

Anmelden an Proxmox Server als OS User root
Anlegen eines Sicherungsverzeichnisses
mkdir /sicherung
Alle Daten aus dem Original-Verzeichnis sichern:
mv /var/lib/vz/* /sicherung
Anlegen einer LV mit einer Größe von 200 GB und dem Namen "vz"
lcvreate -n vz -V 200G pve/data
Filesystem anlegen:
mkfs.ext4 /dev/pve/vz
Eintrag in fstab vornehmen, damit beim nächsten Restart vom Proxmox Server der Bereich wieder eingebunden wird
echo '/dev/pve/vz /var/lib/vz ext4 defaults 0 2' >> /etc/fstab
Daemon reload
systemctl daemon-reload
Alle einhängen
mount -a
Nun die gesicherten Daten wiedeherstellen
cd /var/lib/vz mv /sicherung/* . rm -r /sicherung
Fertig

LVM-Thin Disk für VM Datendisks als Storage einbinden

Einleitung / Voraussetzungen

Hier geht es darum, im Proxmox System eine Disk einzurichten, die die VM Datendisks halten soll. Nach einer Standard-Installation ist die erste Disk im System eingerichtet. Weitere Disks, die eventuell im System befindlich sind, werden aber nicht eingerichtet.

Folgende Ausgangssituation:

Proxmox ist installiert
Leere / unbenutzte Disk im System eingebaut - hier /dev/sdb
Wir werden eine Volume Gruppe vgdata mit einem Logical Volume lvdata anlegen
Storage-Name im Promox: "data"

LVM-Thin Disk einrichten

Das Vorgehen ist eigentlich einfach. Aber es müssen die richtigen Befehle in der richtigen Reihenfolge ausgeführt werden. Einiges kann auch aus der Web-Oberfläche ausgeführt werden. Das geht aber nicht für alle Schritte, weshalb ich hier nur den Weg via Kommando-Zeile verwende, damit ich nicht hin und her springen muss.

Anmelden an Proxmox Linux als OS User root
Nun können wir uns im Vorwege das System anschauen:
vgs lvs pvs lsblk
Wir stellen sicher, dass die Festplatte mit GPT partitioniert ist.
sgdisk /dev/sdb
Erste Partition anlegen
sgdisk -N 1 /dev/sdb
Physical Volume anlegen (Metadatasize wurde von mir vergrößert auf 2 GB)
pvcreate --metadatasize 2g -y -ff /dev/sdb1
Volume Gruppe anlegen
vgcreate vgdata /dev/sdb1
Es folgt die Anlage des Logical Volumes
lvcreate -l 99%FREE -n lvdata vgdata lvconvert --type thin-pool vgdata/lvdata
Hinweis:
Bei meinem Aufbau hatte ich Probleme, wenn ich die gesamte Festplatte allokiert hatte und dann Richtung LVM-Thin wandeln wollte (Fehlermeldung: "Volume group "vgdata" has insufficient free space (0 extents): 30 required".
Deshalb habe ich damm im nächsten Versuch nur noch 99 Prozent verwendet und der Befehl lvconvert konnte ausgeführt werden.
Nun muss das noch als Storage im Proxmox bekanntgemacht werden.
Der Name des Storage im Proxmox ist in dem Beispiel dann "data", die Volume Group hat den Namen "vgdata" und das Logical Volume wurde als "lvdata" angelegt
```
pvesm add lvmthin data --vgname vgdata -thinpool lvdata
		
```
(Anmerkung: ✂ = Zeilenumbruch nur in Darstellung hier)
```
  	
pvesm add lvmthin data --vgname vgdata ✂
-thinpool lvdata
		
```

Mount NFS Backup Storage

NFS Freigabe mounten

Um das Backup, welches vzdump erzeugt abzulegen, kann als Ziel NFS genutzt werden.

Ich habe letztens bei der Erzeugung von Backups immer Fehlermeldungen erhalten.
Die Fehlermeldung war:


Warning: unable to close filehandle GEN17519 properly: Input/output error at /usr/share/perl5/PVE/VZDump/QemuServer.pm line 1048.

Der NFS-Mount war von mir über die Proxmox Oberfläche angelegt worden. Da konnte ich keine Parameter übergeben. Deswegen habe ich ein Script zusammengebastelt, welches prüft, ob der NFS-Server verfügbar ist und dann den Export neu mountet. Dieses Mal aber mit Parametern, die kleine Ruckler bei Nutzung von z.B. USB-Disks ausgleicht.
Folgendes muss am Beginn des Scripts festgelegt / konfiguriert werden, bevor es ausgeführt wird:

Parameter	Wert	Beschreibung
MOUNT	/mnt/pve/Backup2NFS	Lokaler Einhängepunkt
NFS-Server	nfs-server.my.domain	Hostname des NFS Servers
NFS-Export	/export/ProxmoxBackup	Ziel auf dem NFS-Server

Script:


#!/bin/bash

set -euo pipefail



MOUNT="/mnt/pve/Backup2NFS"

NFS_SERVER="nfs-server.my.domain"

NFS_EXPORT="/Ablage/ProxmoxBackup"



# 1. Erreichbarkeit des Servers prüfen

echo "Prüfe ob NFS-Server erreichbar ist..."

if ! ping -c 2 -W 3 "$NFS_SERVER" &>/dev/null; 

then

    echo "FEHLER: $NFS_SERVER nicht erreichbar. Netzwerk ok?" >&2

    exit 1

fi



# 2. NFS-Export prüfen 

# (ist die USB-Disk angesteckt und exportiert?)

echo "Prüfe ob NFS-Export verfügbar ist..."

if ! showmount -e "$NFS_SERVER" 2>/dev/null | grep -q "$NFS_EXPORT"; 

then

    echo "FEHLER: Export '$NFS_EXPORT' nicht gefunden." >&2

    echo "       USB-Disk angesteckt und am NFS-Server gemountet?" >&2

    exit 1

fi



# 3. Remount mit robusten Optionen

echo "Mounte NFS neu mit stabilen Optionen..."

umount "$MOUNT" 2>/dev/null || true

mount -t nfs \

 -o rw,hard,timeo=600,retrans=5,rsize=1048576,wsize=1048576,proto=tcp,vers=3 \

 "${NFS_SERVER}:${NFS_EXPORT}" "$MOUNT"



# 4. Mountpoint wirklich nutzbar? (Schreibtest)

echo "Prüfe ob NFS-Share beschreibbar ist..."

TESTFILE="$MOUNT/.backup_writetest_$$"

if ! touch "$TESTFILE" 2>/dev/null; 

then

    echo "FEHLER: Kann nicht auf $MOUNT schreiben." >&2

    exit 1

fi

rm -f "$TESTFILE"



echo "NFS-Share ok. "

vzdump - Backup-Script

Backup-Script

Es gibt den mitgelierten Befehl vzdump, welcher ein Backup von einer VM durchführen kann.
Ich habe mir ein kleines Script erstellt, damit ich nicht immer aus der Oberfläche den Menüpunkt Backup in der VM ausführen muss. Hierfür muss dann die ID der VM bekannt sein.

Das Script ist nichts besonderes, aber eine Alternative, wenn aus irgendwelchen Gründen die Oberfläche nicht genutzt werden kann / soll.

Das Backup wird in dem Beispiel auf ein Proxmox Storage durchgeführt. Der Name muss im Script in der Variablen vbackupstore benannt werden, wie man es eingestellt hat. Hier ist er Backup2NFS genannt worden.


#!/bin/bash



VMID="${1:?Usage: $0 }"



vbackupstore="Backup2NFS"



vzdump "$VMID" \

  --storage ${vbackupstore} \

  --mode snapshot \

  --compress zstd \

  --bwlimit 0 \

  --ionice 7 \

  --maxfiles 5 \

  --notes-template "{{guestname}}"

Links zum Thema

Hinweis:
Für die Richtigkeit der Daten übernehme ich keine Gewähr!
Für den Inhalt von Internet-Seiten, auf die von dieser Seite verwiesen wird, übernehme ich keine Verantwortung!