Virtualbox Backup Skript

Wer die Virtualisierungsplatform Virtualbox nutzt, der möchte eine dauerhaft laufende Virtuelle Maschine auch sichern. Genau für diesen Zweck habe ich mir ein Backupskript geschrieben.

Wie funktioniert es:
Es sucht nach den gehosteten virtuellen Maschinen fährt diese gegebenenfalls herunter, so dass diese sich in einem gesicherten Zustand befinden. Danach werden die virtuellen Maschinen eine nach der anderen an einen konfigurierbaren Ort gesichert. Dazu werden die von Virtualbox zur Verfügung stehenden Tools verwendet. Nachdem der Backupprozess abgeschlossen ist, wird diese wieder gestartet. Es wird sich auch gemerkt, welche VM vor dem Backup gestartet war, nur diese wird dann auch wieder gebootet. #!/bin/bash ##################################################################### #Export, backup script for virtualbox. #Before running in all vms the ACPI funtion has to be working fine. # #Copyright by Christian Wack (2010) #mail: wackchristian@googlemail.com ###################################################################### #variables LOGFILE="/home/virtualbox/virtualbox-backup.log" vmIsRunning=0 vmName="UbuntuServer" maxRetries="20" sleeptime=7 backupFolder="/media/Backup/Backups/`date +"%d.%m.%Y"`/VMs/" vmRunningBeforeBackup=0 vmList="" declare -a vmNamesArray #Logging method. Writes the given string out into logfile. #@param the string to log log(){ echo $* >>$LOGFILE } log "" log "START" log "Starting Backup Process at `date`" log "Creating directories for backup $backupFolder" mkdir -p $backupFolder log "Backup Folders created" #Checks if the given VM is running #@param the name of the vm isRunning(){ if [ `VBoxManage list runningvms|grep \"${1}\"|wc -l` -eq 0 ] ; then log "Not Running VM ${1}" vmIsRunning=0 else log "Is running VM ${1}" vmIsRunning=1 fi } #Lists all vm to backup them findVMs(){ log "Listing VMs" vmNames=`VBoxManage list vms | grep \"*\" | sed 's/\(" \).*/\1/' | sed 's/\( \).*/\1/' | sed 's/.\(.*\)./\1/' | sed -e 's/.$//' | sed -n '1h;2,$H;${g;s/\n/ /g;p}'` log "VM Count: ${#vmNames[@]}" vmNamesArray=( $vmNames ) log "VMs found: $vmNamesArray" } #Method handling the shutdown of the given vm. #Waiting for shutting down via ACPI. If timeout the vm will be controlled by poweroff. #@param the name of the vm shutDownVM(){ log "Shutting down VM $1" VBoxManage controlvm $1 acpipowerbutton I=1 while [ $I -le $maxRetries ] ; do log $I I=`expr $I + 1` log "The vm is still running" sleep $sleeptime isRunning $1 if [ $vmIsRunning -eq 0 ] ; then break fi done #@FIXME Temporarly set always true, because the DEV-VM could not be exported somethimes. It is locked yet. #if [ $vmIsRunning -eq 1 ] ; if [ 1 -eq 1 ] then VBoxManage controlvm $1 poweroff sleep $sleeptime isRunning $1 log "Had to poweroff the vm, the vm is runing=$vmIsRunning" fi #wait one more time for unlocking safe sleep $sleeptime } #Exports the halted vm to the backupfolder as ovf file and vmdk file. #@param the name of the vm backupVM() { log "Begin backuppping the VM $1" VBoxManage export $1 -o $backupFolder$1.ovf log "Backuping of VM $1 finished" } #Starts the vm by pushing the power button. #@param the name of the vm startVM() { log "Starting VM $1" VBoxManage startvm $1 log "VM has been started" } #Controls the workflow for backup. #First if vm is running it will be shutted down. #Second the vm will be exported (backuped). #Third the vm will be started again, if it was running before backupping #@param the name of the vm vmWorkflow(){ log "Checking if the VM $1 is running" isRunning $1 log "The VM $1 is running="$vmIsRunning if [ $vmIsRunning -eq 1 ] ; then shutDownVM $1 vmRunningBeforeBackup=1 else log "VM is not running $vmIsRunning" vmRunningBeforeBackup=0 fi backupVM $1 if [ $vmRunningBeforeBackup -eq 1 ] ; then log "Starting VM $1, because VM was also running before backup" startVM $1 else log "Starting of VM $1 skipped, because VM was not running before backup" fi } #The main method. #Here everything begins. main(){ findVMs #iterate over all VMs vmsCount=${#vmNamesArray[@]} for (( i=0;i<$vmsCount;i++)); do vmWorkflow ${vmNamesArray[${i}]} done } main log "Finished backup process at `date`" log "END" log ""

OpenVPN unter Ubuntu installieren

Als erstes muss man folgendes Paket installieren sudo apt-get install openvpn Kopieren der Beispielkonfiguration sudo cp /usr/share/doc/openvpn/examples/sample-config-files/server.conf.gz /etc/openvpn/ Entpacken der Beispielkonfiguration sudo gunzip /etc/openvpn/server.conf.gz Kopieren des Verzeichnisses zur Schlüsselerzeugung sudo cp -r /usr/share/doc/openvpn/examples/easy-rsa/2.0 /etc/openvpn/easy-rsa2 Zertifikate und Schlüssel generieren Die Datei vars editieren mit: sudo nano /etc/openvpn/easy-rsa2/vars In der Datei sollte man folgende Einträge anpassen export KEY_COUNTRY=DE export KEY_PROVINCE=NRW export KEY_CITY=Düsseldorf export KEY_ORG=”Vpntest” export KEY_EMAIL=”onlyspam@myhomepage.net” Unterverzeichnis keys anlegen: sudo mkdir keys Vars in die Umgebungsvariablen aufnehmen source ./vars Nun Master-Zertifikat und Schlüssel erstellen sudo -E ./clean-all sudo -E ./build-ca Jetzt Zertifikat und Schlüssel für Server erstellen lassen sudo -E ./build-key-server server Common Name muss dabei die von außen erreichbare Domain sein, z:b. auch eine DynDNS Nun werden die Keys für die User angelegt. Hierbei sollte beachtet werden, dass bei Common Name dieses mal der eindeutige Name des Clients erforderlich ist. Also nicht wie zuvor den Server Namen eintragen. Ansonsten wird es bei Loggins der Clients zu Kollisionen wegen gleicher Client-ID kommen. sudo -E ./build-key ersterclient sudo -E ./build-key zweiterclient sudo -E ./build-key dritterclient Benötigt man zu einem späteren Zeitpunkt weitere Zertifikate, muss zuerst die vars als root (sudo -s) erneut gesourcet werden. Danach können wie gewohnt neue Zertifikate mittels ./build-key erstellt werden. Diffie-Hellman-Parameter generieren: sudo -E ./build-dh Danach die .key und .crt Datein an die Clients ausliefern, am besten im gepackten archiv, so dass keine Ascii Übertragungsprobleme entstehen. Nun die Server Konfiguration anpassen: sudo nano /etc/openvpn/server.conf Wichtig die Pfade zu den Schlüssel und Zertifikaten: ca ./easy-rsa2/keys/ca.crt cert ./easy-rsa2/keys/server.crt key ./easy-rsa2/keys/server.key # Diese Datei geheim halten. dh ./easy-rsa2/keys/dh1024.pem # Diffie-Hellman-Parameter # Downgrade privileges after initialization (non-Windows only) user nobody group nogroup

Ausführbare Jar mit Maven erstellen

Wenn man mit Maven eine ausführbare Jar Datei erstellen möchte, kann man dies mit der Kombination aus dependency-plugin und dem jar-plugin erreichen. Mit Hilfe des Dependency-Plugins werden alle transitiven Abhängigkeiten entpackt im Jar Archiv hinterlegt. Aufpassen muss man dabei, wenn man Frameworks wie Spring einsetzt, da in jedem Spring Artefact Dateien mit gleichem Namen existieren, die zur Laufzeit als eine Datei existieren muss, d.h. zudammengefügt werden müssen. Dies kann jedoch das dependency plugin nicht. Dafür muss man manuell eingreigen und die Dateien wie spring.handlers, spring.schemas, spring.tooling selbst erstellen und die Inhalte alle Spring Abhängigkeiten einfügen. Mit Hilfe des Jar Plugin kann man nun noch bestimmen welche Klasse die ausführbare main-Methode enthält. So ist es anschließend möglich das Jar mittels:
java -jar diejardatei.jar
ausführen. <profiles> <profile> <id>makeExecutable</id> <activation> <property><name>makeExecutable</name></property> </activation> <build> <plugins> <plugin> <artifactId>maven-jar-plugin</artifactId> <configuration> <archive> <manifest> <mainClass>de.cwack.project.Main</mainClass> </manifest> </archive> </configuration> </plugin> <plugin> <artifactId>maven-dependency-plugin</artifactId> <executions> <execution> <id>unpack-dependencies</id> <phase>generate-resources</phase> <goals> <goal>unpack-dependencies</goal> </goals> <configuration> <overWrite>true</overWrite> <excludes>**\/spring.handlers,**\/spring.schemas,**\/spring.tooling</excludes> </configuration> </execution> </executions> </plugin> </plugins> <resources> <resource> <directory>${basedir}/src/main/resources</directory> </resource> <resource> <directory>${basedir}/target/dependency</directory> </resource> </resources> </build> </profile> </profiles>

Generieren von JPA Entities aufrgrund einer DDL mit Maven

Wenn die Datenbank der Contract sein soll, sprich die DDL, dann sollte sich alles an der Datenbank orientieren. Es gibt viele Gründe weshalb nicht der Persistencelayer den Contract bildet. Um nun einerseits den Aufwand zum Implementieren diverser Entities zu minimieren und andererseits auch das Synchronisationsproblem zwischen dem Datenbankschema und dem Persistenlayer bzw. den Entitäten zu beheben, bietet Maven die Möglichkeit ein sog. Reverse-Engineering durchzuführen. Das heißt anhand der Datenbank werden die Entitäten generiert. Im wesentlichen bedeutet dies Konfigurationsaufwand. Man fügt in die POM folgendes Plugin ein und passt es entsprechend an: pom.xml
<plugin> <groupId>org.codehaus.mojo</groupId> <artifactId>hibernate3-maven-plugin</artifactId> <version>2.2</version> <extensions>true</extensions> <executions> <execution> <id>hbm2java</id> <phase>generate-sources</phase> <goals> <goal>hbm2java</goal> </goals> <configuration> <components> <component> <name>hbm2ddl</name> <implementation>postgresql</implementation> </component> <component> <name>hbm2java</name> <implementation>annotationconfiguration</implementation> <outputDirectory>target/generated-sources/hibernate</outputDirectory> </component> </components> <componentProperties> <drop>false</drop> <jdk5>true</jdk5> <ejb3>true</ejb3> <packagename>de.cwack.db.generated.entities</packagename> <implementation>jdbcconfiguration</implementation> <configurationfile>/src/main/resources/hibernate.cfg.xml</configurationfile> <revengfile>/src/main/resources/hibernate-generation/reveng.xml</revengfile> </componentProperties> </configuration> </execution> </executions> </plugin> Eine Verbindung zur Datenbank wird natürlich auch benötigt, dazu benutzt man wie gewöhnlich bei hibernate die hibernate.cfg.xml Datei:
hibernate.cfg.xml
<?xml version='1.0' encoding='UTF-8'?> <!DOCTYPE hibernate-configuration PUBLIC "-//Hibernate/Hibernate Configuration DTD 3.0//EN" "http://hibernate.sourceforge.net/hibernate-configuration-3.0.dtd"> <hibernate-configuration> <session-factory> <property name="connection.url">jdbc:postgresql://localhost/database</property> <property name="connection.username">postgres</property> <property name="connection.password">postgres</property> <property name="connection.driver_class">org.postgresql.Driver</property> <property name="dialect">org.hibernate.dialect.PostgreSQLDialect</property> <property name="cache.provider_class">org.hibernate.cache.EhCacheProvider</property> <property name="current_session_context_class">thread</property> <property name="hibernate.transaction.factory_class"> org.hibernate.transaction.JDBCTransactionFactory </property> <property name="hibernate.show_sql">true</property> <property name="hibernate.hbm2ddl.auto">none</property> </session-factory> </hibernate-configuration> In der reveng.xml kann man Tabellenfilter und Mappingkonfigurationen vornehmen, wie z.B. verschiedene Datentypen von sql in Java gemappt werden sollen:
reveng.xml
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE hibernate-reverse-engineering SYSTEM "http://hibernate.sourceforge.net/hibernate-reverse-engineering-3.0.dtd" > <hibernate-reverse-engineering> .... </hibernate-reverse-engineering>

Installation von Postgis in Ubuntu 10.04

Installation der Pakete: 
postgresql postgresql-client-common postgresql-8.4-postgis postgis pgadmin3

Anlegen einer Datenbank:
sudo su postgresql createdb my_db createlang plpgsql my_db psql -d my_db -f /usr/share/postgresql/8.4/contrib/postgis-1.5/postgis.sql psql -d my_db -f /usr/share/postgresql/8.4/contrib/postgis-1.5/spatial_ref_sys.sql psql -d my_db -f /usr/share/doc/postgis/doc/postgis_comments.sql Mehr dazu unter:

http://blog.smartlogicsolutions.com/2010/03/04/installing-postgis-1-5-0-on-postgresql-8-4-on-ubuntu-9-10/

Maven Compiler Plugin - unmappable character for encoding UTF-8

Dieser Buildfehler basiert auf einer Änderung zwischen Java 1.5 und Java 1.6. Für Sonerzeichen war das Errorlevel bis Java 1.5 auf WARNING, doch bei 1.6 handelt es sich nun um das Level ERROR.
Beheben lässt sich der Fehler relativ leicht, indem man dem Maven-Compiler-Plugin das richtige Encoding mitgibt.

z.B.
<plugin> <groupid>org.apache.maven.plugin</groupId> <artifactid>maven-compiler-plugin</artifactId> <version>2.0.2</version> <configuration> <source>1.6</source> <target>1.6</target> <encoding>ISO-8859-1</encoding> </configuration> </plugin>

Nexus - Release und Snapshot Konfiguration

Für die Release und Snapshot Konfiguration eines Maven Projektes fügt man folgenden Code in die "pom.xml" für das DistributionManagement ein. Der Vorteil dieser Variante, dass globale Maven-Variablen aus der settings.xml genutzt werden und somit an einer zentralen Stelle (settings.xml) Änderungen vorgenommen werden können. Auszug aus einer pom.xml: <distributionmanagement> <snapshotrepository> <id>snapshots</id> <name>Snapshots</name> <url>${snapshots.url}</url> <uniqueversion>false</uniqueVersion> </snapshotRepository> <repository> <id>releases</id> <name>Releases</name> <url>${releases.url}</url> </repository> </distributionManagement> Auszug aus der passenden settings.xml, welche in das .m2 Verzeichnis abgelegt werden muss: <settings> <offline>false</offline> <proxies> <proxy> <active>true</active> <protocol>http</protocol> <host>...nexus...</host> <port>8080</port> <nonproxyhosts>1|23</nonProxyHosts> </proxy> </proxies> <mirrors> <mirror> <!--This sends everything else to /public --> <id>nexus</id> <mirrorof>*</mirrorOf> <url>http://...nexus.../content/groups/public</url> </mirror> </mirrors> <!-- <servers> <server> <id>snapshots</id> <username>username</username> <password>password</password> </server> </servers> --> <profiles> <profile> <id>nexus</id> <properties> <releases.url>http://...nexus.../content/repositories/releases</releases.url> <snapshots.url>http://...nexus.../content/repositories/snapshots</snapshots.url> </properties> <!--Enable snapshots for the built in central repo to direct --> <!--all requests to nexus via the mirror --> <repositories> <repository> <id>central</id> <url>http://central</url> <releases><enabled>true</enabled></releases> <snapshots><enabled>true</enabled></snapshots> </repository> </repositories> <pluginrepositories> <pluginrepository> <id>central</id> <url>http://central</url> <releases><enabled>true</enabled></releases> <snapshots><enabled>true</enabled></snapshots> </pluginRepository> </pluginRepositories> </profile> </profiles> <activeprofiles> <!--make the profile active all the time --> <activeprofile>nexus</activeProfile> </activeProfiles> </settings>

Settings.xml für Nexus anpassen

Um einen Nexus als Maven Proxy zu benutzen, muss man in sein .m2 Verzeichnis eine konfigurierte settings.xml hinterlegen. Der Trick dabei ist, dass man das Central Repository mit einer falschen Url überschreibt, so dass diese dann auch über den Nexus umgeleitet wird. Central ist per Default auf das öffentliche Maven1 Repository gesetzt. Man muss im Nexus lediglich dafür sorgen, dass die darin konfigurierten Repositories zu http:///content/groups/public hinzugefügt wurden. Das heißt, dass alle im Nexus konfigurierten Repositories unter einer Url kompensiert werden.

<settings> <mirrors> <mirror> <id>nexus</id> <mirrorof>*</mirrorof> <url>http://nexusurl/content/groups/public</url> </mirror> </mirrors> <profiles> <profile> <id>nexus</id> <repositories> <repository> <id>central</id> <url>http://central</url> <releases><enabled>true</enabled></releases> <snapshots><enabled>true</enabled></snapshots> </repository> </repositories> <pluginrepositories> <pluginrepository> <id>central</id> <url>http://central</url> <releases><enabled>true</enabled></releases> <snapshots><enabled>true</enabled></snapshots> </pluginrepository> </pluginrepositories> </profile> </profiles> <activeprofiles> <activeprofile>nexus</activeprofile> </activeprofiles> </settings>

Installation von Grails unter Mac OS X

Grails lässt sich relativ einfach installieren.

Einfach von http://www.grails.org/Download die aktuelle grails-Distribution herunterladen

und in ein beliebiges verzeichnis entpacken.

Danach legen wir eine Umgebungsvariable für grails an und tragen grails in den Pfad ein.

Dies macht mit mittels open -a TextEdit ~/.profile

Und da sollte man folgendes eintragen:

GRAILS_HOME=/Users/cwack/Documents/grails; 

export GRAILS_HOME

export PATH=/opt/local/bin:/opt/local/sbin:$GRAILS_HOME/bin:$PATH

Nun ist die Installation komplett und der Befehl 'grails' sollte in der Konsole ausführbar sein.

Prüfungsvorbereitung

Bald steht nun die mündl. Prüfung im Fach 1794 Softwareengeneering 2 an.
Wer sich ebenfalls auf diese Prüfung vorbereiten muss kann mit mir zusammen die folgenden Dokumente bearbeiten.

Fragenkatalog 1794 SWE2

Fragen aus mündlichen Prüfungen

Netbeans vs. Eclipse

Since few years ago I'm using Eclipse as IDE. Sometimes it seems to be very busy so I was very nerved on it. 

I thought now it's time to evaluate an other IDE. Although I hate Netbeans so far, because of its bad look and feel, I will evaluate it.

I spent a lot of time until I have adjusted on NetBeans. 

And after this time I'm able to make my result between Eclipse and Netbeans.

              Eclipse      Netbeans    Comment

SVN       +++           +                In Eclipse there is an very good SVN-Browsing integrated

MAVEN  +               +++            Netbeans is very fast, Eclipse is very busy with the M2 Plugin

Junit      +++           ++              Netbeans couldn't run single test-methods directly

Hudson  +               +++            Netbeans has a genial hudson plugin, like browsing in workspaces of hudson

Summary:

Both IDEs are good but upgradable. I want to develop fast and not wait, so for me the number one is NetBeans.

greetings Christian