Linux on TRUE IT STORIES

multipath.conf for DataCore and EMC

Thu, 19 Mar 2020 20:11:04 +0000

In 2017 I had a customer who uses DataCore as Storage-System (still working great! ;)) and we needed as well to connect not only VMware ESXi Servers to this great Storage-System, no in this Case as well two TSM ISP-Servers with Shared Storage running on SLES 11 SP3/4 (not sure) and with this Post I want to share with you the working multipath.conf for DataCore. Please find here the multipath.conf (in the attachment rename from .txt to .conf)

HPE SSD BUG RPM Installation

Thu, 27 Feb 2020 20:40:38 +0000

I have a customer who is as a lot of them affected by the HPE SAS Solid State Drives Firmware bug, where the Disks will die after 32,768 power-on-hours. More you will find here about the bug. Within this short post I want to show you how to install under SLES 11.

At first you need to find which Disk you have, on the mentioned Website there are two different models (HPE SAS SSD models launched in Late 2015 and HPE SAS SSD models launched in Mid 2017), in this case we had a in Late 2015 DISKs.

Webserver mit SSL absichern apache

Mon, 19 Jan 2015 20:24:41 +0000

Damit man den Webserver (in meinem Fall der Apache) absichert um nicht für poodle, rc4 oder ähnliches anfällig ist sollte man folgendes machen.

Wie man sieht habe ich fast alles Umgesetzt was machbar ist.
Hier könnt Ihr eure Internet-Seite überprüfen https://www.ssllabs.com
Mit folgenden Einstellungen in der vHOST könnt ihr die wichtigsten Einstellungen für SSL sichern, bis der nächste BUG kommt…

SSLEngine On
SpdyEnabled on
SSLProtocol all -SSLv2 -SSLv3
SSLHonorCipherOrder On
SSLCipherSuite ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:ECDH+AES128:DH+AES:ECDH+3DES:DH+3DES:RSA+AESGCM:RSA+AES:RSA+3DES:!aNULL:!MD5
SSLCompression Off
SSLCertificateFile /etc/ssl/crt
SSLCertificateKeyFile /etc/ssl/key
SSLCertificateChainFile /etc/ssl/sub.class2.server.ca.pem

So sieht es im Übrigen aus, wenn man die Einstellungen nicht vorgenommen hat:

Schwerer Bug in OpenSSL – Serverüberprüfen

Wed, 09 Apr 2014 06:40:16 +0000

Wie ja sicherlich einige von Euch schon gehört haben, gibt es zur Zeit einen sehr gefährlichen Bug im OpenSSL: http://www.heise.de/newsticker/meldung/Der-GAU-fuer-Verschluesselung-im-Web-Horror-Bug-in-OpenSSL-2165517.html
Wer seine Webseite Überprüfen möchte kann hier das Webinterface benutzen: http://filippo.io/Heartbleed/

Quelle: http://filippo.io/Heartbleed/
Ist euer Server Angreifbar? Nutzt die Kommentarfunktion!

Remote syslog für Oracle VM

Tue, 27 Aug 2013 20:01:51 +0000

Beim Betrieb einer Oracle VM-Umgebung ist es hilfreich, die syslog-Meldungen der OVM-Server auf einen Host zentral zu sammeln. Da nicht jeder einen syslog-Server im Einsatz hat, möchte ich nachfolgend beschreiben, wie man sehr einfach einen solchen Server aufsetzen kann.
Ich verwende dafür meist den OVM-Manager, da dieser für eine OVM-Umgebung benötigt wird und man so alle notwendigen Loginformationen auf einen Server vereinen kann.
Auf OracleLinux6 wird schon im Rahmen der OS-Installation rsyslog mit installiert, so das nur noch Konfigruationsarbeit notwendig ist.
Auf dem OVM-Manager muß lediglich folgende Datei angelegt werden. In der ‘if’-Zeile muß noch der Hostname vom OVM-Manager eingetragen werden, damit die Remotemeldungen in die zusätzlichen Logs geschrieben werden. Andernfalls landen sie im syslog unter /var/log/messages
vi /etc/rsyslog.d/remotehost.conf

Monitoring mittels OMD

Sun, 24 Feb 2013 10:15:05 +0000

Das Thema Monitoring habe ich hier ja schon in einigen Postings erläutert. Ich möchte nun eine sehr interessante Variante eines Monitoringsystems vorstellen, die ich mir am Wochenende angeschaut habe.
Warum überhaupt eine neue Lösung?
Ich wollte meine Nagiosspielwiese schon seit Monaten auf OracleLinux6 neu bauen, hatte aber noch immer nicht die ultimative Lösung, wie ich das mit möglichst wenig Aufwand machen kann. Das Ziel sollte sein, eine Umgebung mit möglichst wenig Anpassungen zu bauen, die darüber hinaus auch einfach zu aktualisieren ist.
Altsystem:
Meine derzeitige Umgebung ist komplett selbst gebaut und kompiliert, da es vor 1,5 Jahren noch nicht die benötigen RPMs gab bzw. die Versionen zu alt waren. Ich habe folgende Komponenten gebaut:
– Nagios Core
– PNP4Nagios
– NagiosQL
– Thruk
– Livestatus
– check_nrpe
Das ist eine nicht zu unterschätzende Liste, wobei einige Komponenten sehr einfach zu bauen sind, da lediglich ein tar.gz entpackt und ein paar Dateien konfiguriert werden müssen. Technisch interessant vom Pflegeaufwand aber nicht so toll.
Geht es besser?
Ja, es geht mittlerweile sehr einfach und genau das habe ich mal probiert:
Man nehme OMD (Open Monitoring Distribution) und installiere diese auf OracleLinux6 als RPM.
wget -O – http://labs.consol.de/OMD/rh6/stable/omd.repo > /etc/yum.repos.d/omd.repo
yum search omd-
Nun das aktuelle Package von OMD installieren und warten bis fertig. Die notwendigen Abhängigkeiten werden aufgelöst, so das Du am Ende ein lauffähiges OMD hast. Der Apache muß noch aktiviert werden, da sonst nach nem Reboot die Weboberfläche nicht funktioniert.
Dann bekommt man fertig konfiguriert folgende Komponenten:
nagios
nagios-plugins
nsca
check_nrpe
Icinga
Shinken
nagvis
pnp4nagios
rrdtool/rrdcached
Check_MK
MK Livestatus
Multisite
dokuwiki
Thruk
Mod-Gearman
check_logfiles
check_oracle_health
check_mysql_health
jmx4perl
check_webinject
check_multi
Die Liste ist schon krank aber wirklich genial an dem System ist, das man nur das OS installieren muß, das RPM drauf packt und alle Komponenten sind zusammen installiert und miteinander konfiguriert. Den letzten Punkt konnte ich erst nicht glauben und habe es daher mal ausprobiert und kann bestätigen das es funktioniert. Ich habe nicht alles probiert, da ich mich vorerst mit Komponenten beschäftigen möchte, die mir bekannt sind.
Ich habe mir bisher folgendes angeschaut, die ‘out of the box’ funktionierten:
– Nagios Core
– pnp4nagios
– Check_MK
– Multisite
– Thruk
– MK Livestatus
=> Das ist alles was man so braucht. 🙂
Das hat mich sehr beeindruckt, da ein RPM + 2 Befehle für OMD zu einer lauffähigen Umgebung geführt haben.
check_mk rundet das ganze richtig toll ab, weil check_mk ein Agent auf dem zu überwachenden System mit bringt, der die zu konfigurierenden Services in Nagios automatisch generiert. (Das hatte mich früher abgeschreckt, weil ich hier starke Einschränkungen in der Flexibilität befürchtet habe, die sich jedoch nicht bestätigt haben.)
Man kann mit dieser Konfiguration innerhalb von Minuten zahlreiche Systeme in ein Nagios-Monitoring bringen, weil der Agent lediglich xinetd + Python auf dem zu überwachenden System benötigt. Der Agent ist so gebaut, das er problemlos mit Shell-Skript o.ä. erweitert werden kann.
check_mk und NRPE
Das ist schon eingebaut. Man kann bestehende Nagios-Plugins die für NRPE gebaut wurden in den Agenten von check_mk integrieren – also beliebig erweitern. Auch das war im Test sehr einfach. Analog zur nrpe.cfg muss man eine /etc/check_mk/mrpe.cfg erzeugen, die Einträge im passenden Format für check_mk eintragen und speichern.
Nun auf dem OMD den Client neu inventarisieren, die Konfig in Nagios übernehmen und der Check ist als Passivecheck eingebunden. (Erneute Verwunderung wie einfach das sein kann…)
Das hat aber einen Nachteil. check_mk inventarisiert die Checks automatisch aber sie müssen auf dem Agenthost konfiguriert werden, was beim alten NRPE aber ebenfalls notwendig war.
Wichtig ist. Es können alle bekannten Plugins von Nagios in check_mk eingebunden werden und das bei genauer Betrachtung mit weniger Aufwand als beim klassischen NRPE.
Ist OMD ernst zu nehmen?
Definitiv ja, da zahlreiche bekannte Personen hinter dem Projekt stehen. Mathias Kettner bietet eine kommerzielle Lösung von OMD an, die sich von der frei verfügbaren Lösung im Funktionsumfang kaum unterscheidet. Man bekommt dort auf Wunsch einen kommerziellen Support für OMD.
Es gibt eine wirklich große verteilte Installation die zeigt, was OMD kann:
http://mathias-kettner.de/check_mk_success_edeka.html
Fazit:
Nagios kann man so innerhalb von Minuten in lauffähiger Form bekommen. Einfach zu konfigurieren, Updates von OMD sind im Konzept von Grund auf eingeplant und man kann mehrere Nagioskonfigurationen parallel betreiben.
Den letzten Punkt finde ich besonderst lustig. Einfach mal eine neue Nagioskonfiguration auf dem bestehenden System aufsetzen, testen und bei Bedarf wieder weg werfen. Man kann auch eine bestehende Konfiguration kopieren, ändern oder auf einen neue Version von OMD bringen und bei Bedarf dann wieder entsorgen.
Hier braucht man zum Spielen keine 2 getrennten Systeme mehr, da man alles mit 1 System machen kannst und der Updatemodus ist halt von Haus aus vorgesehen, worauf die Entwickler gezielt geachtet haben.
check_mk ist so gewaltig, das ich die Möglichkeiten noch nicht alle verstanden habe. Das was ich bisher gesehen habe hat mich aber sehr überzeugt – ich werde definiiv auf OMD umsteigen und bin gerade dabei meinen heimischen Nagioshost von Grund auf neu zu bauen.
Der Verzicht auf NagiosQL als Administrationsfrontend ist mittlerweile zu verschmerzen, da es mit den neuen Versionen von Thruk oder der GUI von check_mk möglich ist, diesen Punkt zu ersetzen. Das war zum damaligen Bauzeitpunkt der Altumgebung noch nicht der Fall.
Gruß
Thorsten

Informations about CPU- and RAM-HotPlug at VMs on VMware vSphere 5

Tue, 12 Feb 2013 09:02:43 +0000

Enable CPU-Hot Plug and RAM-Hot Add at Virtual machines on VMware vCenter 5
Update 12.02.2013 / Gabrie post in the comments a important extra info about Hot-Add and post the link to the blog from Duncan Epping: http://www.yellow-bricks.com/2012/01/16/enabling-hot-add-by-default-cc-gabvirtualworld/ it’s important to read this!!!
vSphere Virtual Machine Administration, Chapter 8 “Configuring Virtual Machines”, Section “Change CPU Hot Plug Settings in the … Client”, page 94.

Some conditions and requirements for CPU Hot Plug

If possible, use hardware version 8 virtual machines.
Hot-adding multicore virtual CPUs is supported only with hardware version 8 virtual machines.
Not all guest operating systems support CPU hot add.
To use the CPU hot-add feature with hardware version 7 virtual machines, set the Number of cores per socket to 1.
Adding CPU resources to a running virtual machine with CPU hot plug enabled disconnects and reconnects all USB passthrough devices connected to that virtual machine.
For Linux guest operating VMware Tools must be installed.
The virtual machine must powered off to configure he Hot CPU settings.
Hot remove of Memory is not supported.
Hot remove of CPU is not supported.

To enable new CPU after adding a new CPU. You can use this script:
Hot add cpu to supported Linux guestOS

Nagios-Plugin für Oracle Grid-Infrastructure und Oracle-Restart

Sat, 19 Jan 2013 21:50:46 +0000

Hallo,
neben dem Thema Virtualisierung beschäftige ich mich noch viel mit Oracle Grid-Infrastructure und Nagios.
Ich habe mir heute mal die Zeit genommen und ein entsprechendes Plugin geschrieben.
Getestet habe ich das Skript mit Oracle Restart 11.2.0.3 und Grid-Infrastructure 11.2.0.3. Es wird mindestens die Version 11.2.0.1 benötigt, da mit der Grid-Infrastructure die Syntax von crsctl grundlegend geändert wurde.
Folgende Punkte werden im Plugin berücksichtigt:

Support für Oracle Restart und Grid-Infrastructure
wird automatisch erkannt
Anzahl Voting-Disks bei Grid-Infrastructure überwachen
verlorene Voting-Disk führt zur CRITICAL-Meldung
Überwachung der Voting-Disks nur bei Grid-Infrastructure
Resourcen im Status OFFLINE oder INTERMEDIATE die nicht im AUTO_START=never sind führen zum CRITICAL
ora.gsd und ora.ons werden bei der Statusauswertung ignoriert
sudo für Clusterbefehle erforderlich

Im Kopfbereich des Plugins befindet sich ein Beispiel für die sudo-Konfiguration
Parallel habe ich das Plugin auf http://exchange.nagios.org eingereicht, warte dort aber noch auf die Veröffentlichung.
Gruß
Thorsten
Update: 23.01.2012
Das Plugin steht nun auch auf Nagiosexchange zur Verfügung:
http://exchange.nagios.org/directory/Plugins/Clustering-and-High-2DAvailability/Check-Oracle-Grid-2DInfrastructure-or-Oracle-Restart/details

(Raid-)Monitoring in Zabbix LSI MegaRAID SAS 9260-4i

Tue, 15 Jan 2013 09:46:55 +0000

Beim Betrieb eines RAID-1 möchte man üblicherweise über einen Ausfall einer Platte möglichst sofort informiert werden, um sie schnellstmöglich tauschen lassen zu können.
Nach Installation des CIM-Providers von LSI für den LSI MegaRAID SAS 9260-4i wird auf der Hardware-Monitoring-Seite im vSphere-Client der Status des RAID angezeigt. Eine aktive Alarmierung ist aber nur in der kostenpflichtigen Version und bei Betrieb eines vCenter möglich – der vSphere-Client allein hat keine Alarmierungsfunktionalität.
Als Alternative installieren wir das “MegaCli” (ein Kommandozeilentool zum Management des RAID-Controllers) auf dem Host und richten ein Skript ein, das regelmäßig Hardwarestatus-Informationen zusammenstellt und per SCP an einen Server schickt, auf dem die Informationen weiter ausgewertet werden können.
In unserem Beispiel verwenden wir die Monitoring-Software “Zabbix”, für die wir ein Skript, User-Parameter und ein Template zur Verfügung stellen. Mit etwas Erfahrung sollten sich die Skripts aber auch für andere Monitoring-Systeme anpassen lassen.

VMware ESXi virtuelle Firewall pfSense

Tue, 15 Jan 2013 09:01:29 +0000

Bei der Virtualisierung auf Hetzner-Servern ist es aus mehreren Gründen sinnvoll bzw. notwendig, die VMs an einen separaten virtuellen Switch anzuschließen und das so entstehende Netz über eine Router-VM mit dem Hetzner-Netz zu verbinden.

Wir haben so eine zentrale Firewall und können auf einfache Weise Portfreischaltungen und komplexere Netzstrukturen (DMZs, VPN, private Netze) realisieren. Speziell bei Windows-VMs sollte man sich nicht auf den OS-eigenen Paketfilter verlassen, sondern eine vorgeschaltete Firewall verwenden.
Hetzner arbeitet bei IPv4 mit einer strengen IP-MAC-Bindung. Jeder Server, der ans Hetzner-Netz angeschlossen wird, muß eine (oder mehrere) ihm fest zugewiesene IP und MAC-Adresse verwenden. Subnetze allerdings erhalten keine eigenen MAC-Adressen, sondern werden auf eine der existierenden Einzel-IPs geroutet.

Dieser Abschnitt beschreibt, wie wir eine Router-VM auf Basis von “pfSense” einrichten. Es gibt natürlich unzählige weitere Routerlösungen. Wir haben uns für pfSense entschieden, weil diese sehr stabil läuft, einen großen Funktionsumfang bietet und eine komfortabel zu bedienende GUI aufweist.

VMware ESXi auf EX4 Server-Update

Tue, 15 Jan 2013 07:31:21 +0000

Die Version vom Ausgelieferten ESXi-Server ist veraltet. Auslieferungs Build-Nummer: 623860
Die aktuellen Updates kann man direkt von der VMware-Homepage ziehen oder wie bei Virtualisierung mit VMware ESXi auf EX4 – Server-Vorbereitung beschrieben herunterladen.
Die aktuellen Patche kann man auch immer von hier ziehen: http://www.vmware.com/patchmgr/download.portal (Achtung, ESX kann kein WGET über HTTPS!)
Deswegen wird nun hier gezeigt, wie man die aktuellen Updates einspielt.

ESXi-Updates

Wir verwenden hier das Kommando esxcli software vib install anstelle von update, da “update” keine neuen VIBs installiert, sondern nur bereits existierende upgradet. “install” macht beides: es upgradet existierende VIBs und installiert fehlende. Bereits existierende VIBs, die im Zip nicht enthalten sind, bleiben in beiden Fällen unangetastet.
Wichtig: Vor der Installation von Updates sollten alle VMs heruntergefahren und der Host über den vSphere Client in den Maintenance Mode versetzt werden. Dies kann man natürlich auch mit Hilfe der CLI machen.

fdisk und LVM automatisieren

Sun, 13 Jan 2013 12:24:39 +0000

Hallo,
als Ergänzung zum Artikel von Sven , habe ich ein Shellskript geschrieben, das den Einsatz vom LVM deutlich einfacher werden läßt.
Ich persönlich bevorzuge die Variante, auf den Festplatten immer eine Partition zu erzeugen, auch wenn das unter LVM nicht zwingend erforderlich ist. Solltet Ihr mal in den Genuß von Oracle ASM kommen, wird schnell klar, warum Partitionen sinnvoll sind.
Der Punkt ist, wie man die Festplatten von LVM und ASM noch unterscheiden soll, wenn keine Partitionen angelegt wurden. Hier kann man sich sehr schnell Daten zerstören, wenn auf der falschen Platte gearbeitet wird. Es sollte darauf geachtet werden, das die Partitionen einen sinnvollen Partitionstyp haben. Dann kann mittels ‘fdisk -l’ sehr leicht erkannt werden, wofür welche Festplatte genutzt wird. Mit ‘pvs’ sieht man zwar auch die Physical-Volumes aber wenn ich ein Physical-Volume mittels pvcreate beschreibe das zu ASM gehört, ist das Chaos perfekt…
Bei mir gibt es keine Festplatten ohne Partitionen bzw. Partitionstabellen mehr!
Einen Nachteil darf man dabei aber nicht vergessen. Es gibt Probleme, wenn man eine Festplatte vergrößern möchte, da dann die Partitionstabelle geändert werden muß, was zur Laufzeit meist nicht möglich ist, wenn noch ein File-Handle auf der Festplatte oder einer zugehörigen Partition vorhanden ist.
Dieser Nachteil ist bei genauer Betrachtung kein Problem, da unter Oracle-ASM oder LVM eine Volume-Gruppe durch zusätzliche Platten erweiterbar ist. Grundsäzlich empfehle ich das Ergänzen von Festplatten vor dem Erweitern, da bei letzterem schon einige Daten-GAUs passiert sind…
Nun zum Skript. Was macht das?
prüfe ob eine Partitionstabelle auf dem Device vorhanden ist.
Falls ja, wird die Festplatte nicht verändert. Es könnte ja sein, das man beim Device einen Fehler gemacht hat…
prüfe mittels blkid ob etwas ‘brauchbares’ auf der Platte vorhanden ist – könnte ja jemand ein Filesystem ohne Partition angelegt haben
Lege eine 1. primäre Partition an
Erzeuge ein physical Volume auf der Partition
Prüfe ob eine Volume-Gruppe mit dem Namen vorhanden ist
ja, erweitere die bestehende Volume-Gruppe
nein, lege eine neue Volume-Gruppe an
Wie sieht das in der Prayis aus?
Neue Volume-Gruppe erzeugen: