In diesem Beitrag wird beschrieben, wie man verschiedene Medien (Bilder, Filme, Audio) hochladen, in einer Datenbank speichern und (mit HTML 5) wieder darstellen kann. Ich gehe aus von einer frisch erstellten und herausgeputzten MVC 3 Webapplikation.

Am Schluss sollte die Liste in etwa so aussehen:

M wie Model

Mein Model speichert einen Namen, den Content- (oder MIME-) Type und die binären Daten des Mediums. Aus dem folgenden Model macht das Entity-Framework ein erstaunlich gutes SQL-Schema:
[cc lang="C#"]
// Sie ist ein Model und sie sieht gut aus…
namespace MediaPOC.Models {
public class Media {

public virtual int MediaId { get; set; }
[Required]
[StringLength(150)]
public virtual string Name { get; set; }
[Required]
[StringLength(250)]
[ScaffoldColumn(false)]
public virtual string MimeType { get; set; }
[Required]
public virtual byte[] Data { get; set; }
}
}
[/cc]

Daraus kann man nun den Rest mal scaffolden. Das Produkt wird aber noch nicht ganz funktionieren, da sich MVC 3 keinen Reim auf das “Data” Feld machen kann.

V wie View

Der grundsätzliche Trick besteht darin, dem file-upload-Tag einen anderen Namen zu geben um so die Datei ganz kontrolliert im Model abspeichern zu können. Ebenfalls muss der Form-Tag für den Upload angepasst werden. Die wichtigen Teile von Create.cshtml (und ev. auch Edit.cshtml):
[cc lang="html"]
@using (Html.BeginForm(null, null, FormMethod.Post, new { enctype = “multipart/form-data” })) {
@Html.ValidationSummary(true)

}
[/cc]

C wie Controller

Die Datei wird dem Controller als zusätzliches Argument übergeben. Ein Grundproblem ist, dass das Model wegen dem leeren Date ungültig ist. Ein Revalidate nach dem Speichern der Daten besänftigen die MS-Götter:
[cc lang="C#"]
//
// POST: /Home/Create

[HttpPost]
public ActionResult Create(Media media, HttpPostedFileBase file)
{
// Do we have a file
if (file != null && file.ContentLength > 0)
{ // Yes
media.MimeType = file.ContentType;
media.Data = new byte[file.ContentLength];
file.InputStream.Read(media.Data, 0, file.ContentLength);
}
// If a file was supplied, we have saved the data in teh model
ModelState.Clear();
TryValidateModel(media);
if (ModelState.IsValid)
{
db.Media.Add(media);
db.SaveChanges();
return RedirectToAction(“Index”);
}

return View(media);
}
[/cc]

Und das wars schon.

Moment, wie kriegen wir die Daten wieder raus?

Nun, äääähm, ja. Ganz grundsätzlich braucht es sicher eine Möglichkeit, die Daten dem Browser zu senden. Die folgende Lösung ist einfach und nett, hat allerdings ein Problem: Der Dateiname bei einem Download ist hässlich.
[cc lang="C#"]
namespace MediaPOC.Controllers {
public class MediaController : Controller {
private MediaPOCContext db = new MediaPOCContext();

//
// GET: /Media/Show/5
public ActionResult Show(int id) {
Media media = db.Media.Find(id);
return File(media.Data, media.MimeType);
}
}
}
[/cc]

Um in den Views locker zu bleiben habe ich mir HTML5 zu Hilfe geholt. Ein View-Helper soll jeweils einen korrekten Media-Tag und ein Link darstellen. Bei Audio/Video wird das Element unsichtbar gemacht, bis man sich sicher ist, dass der Browser das Format beherrscht. Das Format des Mediums wird beim Tag in einem data-type Attribut gespeichert. Angewendet wird der Tag in einer View mittels:
[cc lang="HTML"]
@Html.MediaTag(mediaObject)
[/cc]

Ich weiss, der Code ist leicht redundant, aber ich wollte Audio und Video aus irgendeinem ganz wichtigen Grund, den ich vergessen habe, trennen:
[cc lang="C#"]
namespace MediaPOC.Helpers {
public static class HtmlHelpers {
public static MvcHtmlString MediaTag(this HtmlHelper helper, Media media, int thumbnailsize=50) {
UrlHelper urlHelper = new UrlHelper(helper.ViewContext.RequestContext);
string url = urlHelper.Action(“Show”, “Media”, new { id = media.MediaId });

TagBuilder mediaTag;
TagBuilder brTag= new TagBuilder(“br”);

string tag=”";

if(media.MimeType==”image/png” || media.MimeType==”image/gif” || media.MimeType== “image/jpeg”) {
TagBuilder imageTag = new TagBuilder(“img”);
imageTag.MergeAttribute(“src”, url);
imageTag.MergeAttribute(“class”, “thumbnail”);

mediaTag = new TagBuilder(“a”);
mediaTag.MergeAttribute(“href”, url);
mediaTag.InnerHtml = imageTag.ToString();
tag=mediaTag.ToString(TagRenderMode.Normal);

}
else if (media.MimeType.StartsWith(“audio/”))
{

TagBuilder aTag = new TagBuilder(“a”);
aTag.MergeAttribute(“href”, url);
aTag.InnerHtml = media.Name;

mediaTag = new TagBuilder(“audio”);
mediaTag.MergeAttribute(“data-type”, media.MimeType);
mediaTag.MergeAttribute(“style”, “display:none”);
mediaTag.MergeAttribute(“class”, “thumbnail”);
mediaTag.MergeAttribute(“src”, url);
mediaTag.MergeAttribute(“controls”, “controls”);
mediaTag.InnerHtml = aTag.ToString();
tag = mediaTag.ToString(TagRenderMode.Normal) + brTag.ToString()+aTag.ToString();

}
else if (media.MimeType.StartsWith(“video/”))
{

TagBuilder aTag = new TagBuilder(“a”);
aTag.MergeAttribute(“href”, url);
aTag.InnerHtml = media.Name;

mediaTag = new TagBuilder(“video”);
mediaTag.MergeAttribute(“data-type”, media.MimeType);
mediaTag.MergeAttribute(“style”, “display:none”);
mediaTag.MergeAttribute(“class”, “thumbnail”);

mediaTag.MergeAttribute(“src”, url);
mediaTag.MergeAttribute(“controls”, “controls”);
mediaTag.InnerHtml = aTag.ToString();
tag = mediaTag.ToString(TagRenderMode.Normal) + brTag.ToString() + aTag.ToString();

}
else
{
mediaTag = new TagBuilder(“a”);
mediaTag.SetInnerText(media.Name);
mediaTag.MergeAttribute(“href”, url);
tag = mediaTag.ToString(TagRenderMode.Normal);
}

return new MvcHtmlString(tag);
}
}//end of class
}//end of namespace
[/cc]

Um die entsprechenden Elemente sichtbar zu machen, wenn der Browser sie beherrscht, muss man noch etwas JavaScript absondern:
[cc lang="JavaScript"]
$(function () {
$(“audio”).each(function (index) {

var audioElement = document.createElement(‘audio’);
var canPlayType = audioElement.canPlayType($(this).attr(‘data-type’));

if (canPlayType.match(/maybe|probably/i)) {
$(this).show();
}

});
$(“video”).each(function (index) {

var videoElement = document.createElement(‘video’);
var canPlayType = videoElement.canPlayType($(this).attr(‘data-type’));

if (canPlayType.match(/maybe|probably/i)) {
$(this).show();
}

});
});
[/cc]

So, das wars. Super.

…Hier würde etwas Musik gespielt und ein Countdown eingeblendet werden, damit der interessierte Leser eine Lösung erarbeiten kann …

Meine Lösung funktioniert, sofern die Symbole im Alphabet einem Symbol in UTF-8 entsprechen und ist trivial: Zuerst werden alle Permutationen gebildet und der RegExp daran getestet. Aus reinem Masochismus habe ich versucht, dies in Python 3.2 zu implementieren. Und nein, itertools packt das nicht!

Ein Testdurchgang könnte folgendermassen aussehen (Das Alphabet besteht aus 0 und 1):

$ python3.2 msfr.py -v '(0*|1*)(0*|1*)(0*|1*)' 0 1
Σ: {0, 1}
  Testing: '^(0*|1*)(0*|1*)(0*|1*)$' with ε MATCH
  Testing: '^(0*|1*)(0*|1*)(0*|1*)$' with 0 MATCH
  Testing: '^(0*|1*)(0*|1*)(0*|1*)$' with 1 MATCH
  Testing: '^(0*|1*)(0*|1*)(0*|1*)$' with 00 MATCH
[...]
  Testing: '^(0*|1*)(0*|1*)(0*|1*)$' with 0011 MATCH
  Testing: '^(0*|1*)(0*|1*)(0*|1*)$' with 0100 MATCH
  Testing: '^(0*|1*)(0*|1*)(0*|1*)$' with 0101 NOMATCH
  Testing: '^(0*|1*)(0*|1*)(0*|1*)$' with 0110 MATCH
[...]
  Testing: '^(0*|1*)(0*|1*)(0*|1*)$' with 1010 NOMATCH
  Testing: '^(0*|1*)(0*|1*)(0*|1*)$' with 1011 MATCH
[...]
  Testing: '^(0*|1*)(0*|1*)(0*|1*)$' with 1111 MATCH
Found nonmatching strings with length 4: 0101, 1010

Klappt also nicht schlecht. ε ist übrigens der leere String .

Dies ist mein erstes Script in Python überhaupt. Für Anregungen und Verbesserungsvorschläge bin ich mehr als dankbar:
[cc lang="python"]
#!/usr/bin/env python
”’
Find a minimal non-matching string for a given regular expression and an alphabet.
Created on Oct 1, 2011

@author: Skaldrom Y. Sarg
”’
import argparse
import re
import sys

def allstrings(alphabet, length):
“”"Find the list of all strings of ‘alphabet’ of length ‘length’”"”

if length == 0:
return [""]
c = []
for i in range(length): # @UnusedVariable
c = [[x] + y for x in alphabet for y in c or [[]]]

return c

if __name__ == ‘__main__’:
scriptHelp= “msfr: Find a minimal non-matching string for a given regular expression and an alphabet.\n\
\n\
Example: python3 msfr.py ‘(0*|1*)(0*|1*)(0*|1*)’ 0 1″

parser = argparse.ArgumentParser(description=scriptHelp, epilog=’Written by Michael Schneider.’)
parser.add_argument(‘-v, –verbose’, dest=’verbose’, action=’store_true’, default=False, help=’output more verbose’)
parser.add_argument(‘-m, –maxlength’, dest=’maxlength’, default=10, help=’max number of symbols to test (default: 10)’)
parser.add_argument(‘regexp’, type=str, nargs=1, help=’the regular expression’)
parser.add_argument(‘alphabet’, metavar=’S', type=str, nargs=’+', help=’a symbol of the alphabet’)
args = parser.parse_args()

# Start
if(args.verbose):
print(‘Σ: {‘ + “, “.join(args.alphabet)+’}')

foundNonMatch = []
for wordlength in range(0, args.maxlength):
for string in allstrings(args.alphabet, wordlength):
testString = “”.join(string)
testRegexp = args.regexp[0]
if args.verbose:
print(” Testing: ‘^” + testRegexp + “$’ with ” + (testString if len(testString) != 0 else ‘ε’), end=”")
try:
result = re.match(‘^’ + testRegexp + ‘$’, testString)
except re.error as exc:
if args.verbose:
print(“\n”)
print(“ERROR – Invalid regexp: ” + str(exc))
sys.exit(0)

if(result != None):
if args.verbose:
print(” MATCH”)
else:
foundNonMatch.append(testString)
if args.verbose:
print(” NOMATCH”)
if(foundNonMatch):
break
if not foundNonMatch:
print(“No nonmatching strings found until length ” + args.maxlength + “.”)
else:
foundStingsLength = str(len(foundNonMatch[0]))
foundStrings = “, “.join(foundNonMatch) if len(foundNonMatch[0]) > 0 else ‘ε’
print(“Found nonmatching string” + (“s” if len(foundNonMatch) else “”) + ” with length ” + foundStingsLength +”: ” +foundStrings)
[/cc]

Von Haus aus bringt OSX keine Möglichkeit mehr mit, dynamische Signaturen zu erstellen. Entweder, weil es so gedacht war, weil diese Funktion in die Cloud ausgelagert wurde oder wegen eines Bugs. Ich habe so ziemlich alles durchprobiert, was dieser Artikel über fortunes und andere Websites beschrieben haben, doch leider läuft es nicht – oder nicht mehr – so.

Erkenntnisse:

• AppleScripts möchten nicht einfach so mit Tastaturkürzeln versehen werden.
• Das AppleScript Utility gibt es nicht mehr. Um AppleScripts zu aktivieren muss der AppleScript-Editor geöffnet werden und das Skriptmenü in den Einstellungen aktiviert werden (siehe Abbildung).

Skript-Menü im neuen AppleScript-Editor

Will man doch mittels fortune dynamische Signaturen erzeugen, muss man wie Folgt vorgehen:

1. Zuerst braucht man fortune. Dies kann man sich beispielsweise per MacPorts beschaffen. Damit MacPorts läuft, muss XCode vom AppStore installiert werden.
2. Dann sollte man sich eine Zitatsammlung bereit legen, wie im Blogeintrag zu dynamischen Signaturen beschrieben.
3. Dann muss man den Automator starten und einen neuen Service erstellen.
4. Grundeinstellung: “Dienst empfängt keine Eingabe in Mail.app“
5. Als Aktion AppleScript ausführen suchen und einfügen.
6. Das AppleScript:
   [cc lang="AppleScript"]
   on run {input, parameters}

   tell application “Mail”
   activate
   make new outgoing message with properties ¬
   {content:do shell script “/Users/linux/Documents/sigs/psignature-mac”, visible:true}
   end tell
   return input
   end run
   [/cc]
   Natürlich muss der Pfad angepasst werden. psignature-mac ist ein Script mit folgendem Inhalt:
   [cc lang="bash"]
   #! /bin/bash
   echo ” Viele Grüsse”
   echo ” Skaldrom”
   echo “-=-=-=-=-=-=-=-=-”
   /opt/local/bin/fortune `dirname “$0″`/quotes/shorties
   [/cc]
   Dann alles speichern und einen Kaffee trinken oder Kekse backen gehen.

7. Um den Tastaturkürzel festzulegen, muss die Systemeinstellungen geöffnet werden. Dort auf Tastatur → Tastaturkurzbefehle gehen. Der Dienst sollte irgendwo erscheinen und ein Klick auf den leeren Platz rechts davon ermöglicht es, einen Tastaturkurzbefehl einzugeben.
   
8. Mail öffnen, Tastaturkurzbefehl (ja, ich mag dieses Wort) drücken und sich freuen.

Es gibt auch eine Lösung für existierende Mails:
[cc lang="AppleScript"]
on run {input, parameters}

tell application “Mail”
activate
get do shell script “/Users/linux/Documents/sigs/psignature-mac”
copy return & the result ¬
to theFortune

tell application “System Events”
tell process “Mail”
keystroke theFortune
end tell
end tell
end tell
return input
end run
[/cc]

Vorsorge ist besser als Heulen und Therapie im Nachhinein, darum habe ich jetzt, wo alle Geräte noch um mich herum sind, ein paar Dinge überlegt. Ich kann das nicht genug gewichten: Man sollte etwas tun, bevor die Geräte weg sind.

Was kann man tun?

Gewisse Dinge sind sehr einfach zu realisieren und ersparen viel Mühe:

Regelmässiges Backup

Ok, das wird eh niemand tun, bevor nicht eine Semesterarbeit im den ewigen Datengründen verschwindet oder stundenlang Daten wiederabgetippt werden müssen. Sobald das aber einmal passiert ist, kann ich luckyBackup und unison empfehlen. Ein NAS wäre mittlerweile ebenfalls erschwinglich. Wenn man viele Geräte besitzt, kann man auch Backuppen, indem man die Dateien auf allen Computern ablegt/synchronisiert. Für Serverbesitzer: Ich habe mittlerweile auch viele Dokumente und nicht nur Quellcode im svn.

Synchronisieren von Daten und Adressen

Oftmals wird der Wert von Terminen und Adressen unterschätzt. Syncen hilft, egal ob mit Google, memotoo, oder sonst was…

Absichern des Systems

Das hilft auch gegen neugierige Mitmenschen! Bootpasswort, BIOS-Passwort und das Booten von externen Geräten unbedingt unterbinden! Wenn die Pladde nicht verschlüsselt ist und ich von einem USB-Stick booten kann, hilft auch ein 42-Zeichen langes Passwort nix!

Installation von Anti Theft Software

Siehe unten.

Anti Theft Software

Das Prinzip ist einfach: Eine Software wird auf dem Laptop/Handy installiert, die sich regelmässig bei einem Server meldet. Sollte das Gerät verschwinden, können zum Einen Standort, Manipulationen und sogar Photos vom Dieb übertragen, zum Anderen Daten gesichert und das Gerät fernmanipuliert werden. Der absolute Brüller und Beweis, dass es klappen kann, ist This Guy Has My MacBook. Der Link ist wirklich hitverdächtig.

Für Linux-Laptops gibt es beispielsweise Prey (ja, es gibt auch eine Windows- und eine Android-Version). Diese Lösung ist grundsätzlich gratis und bei Ubuntu über den Package-Manager installierbar. In /etc/prey/config muss der api und der device-key von der Website eingetragen werden, dann sollte man noch /etc/cron.d/prey überprüfen und los gehts. Im Falle eines Diebstahl hat man alle schönen Werkzeuge zur Verfügung.

Als Administrator kann man unter Linux mittels /usr/lib/prey/prey.sh die Ausführung testen, das Logfile befindet sich unter /var/log/prey.log. Windows hat in einem Unterverzeichnis check.bat das aber nur als Administrator durchläuft.

Unter Windows sollte man die Sache sowieso gut austesten, insbesondere, wenn man Standardbenutzer ohne Passwort hat. Diese haben standardmässig die Erlaubnis, Dateien zu löschen. Abhilfe: Vererbbare Rechte für das Verzeichnis in normale Rechte umwandeln und den “Authenticated Users” das “Change” Recht entziehen.

Für mein nicht-GPS und nicht-3G Android-Pad, steht Prey im Androidmarket leider nicht zur Verfügung. Irgendeine chinesische Version erscheint zwar als Suchresultat, aber da bin ich nun doch etwas misstrauisch. Funktioniert hat die App von Snuko, wenn man eine Fake-Telefonnummer eingibt.

So, nun bin ich gespannt wie es sich im Ernstfall bewährt. Ich bin auf jeden Fall gerüstet und habe Vorgesorgt!

Was wäre schön

Ganz schön wäre eine einfache Bluetooth-Proximity Implementation. Sobald sich die Geräte mehr als ein paar Meter voneinander entfernen, sollten alle einen schrillen Pfeifton abgeben und eine nette Frauenstimme sollte kühl aber bestimmt sagen: “Skaldrom, du seniler Greis, hast Du nicht etwas vergessen?”. Hmm, das wäre auch für Kinder geeignet und in Kürze werde ich auch für meine Hosen ein solches Gerät brauchen…

Während ich im vorhergehenden Artikel die “Standardtools” für die Analyse von PHP verwendet habe, möchte ich hier einen Schritt weitergehen. Wenn ich schon meine Programme analysieren lasse, dann richtig ! Darum hier ein paar nicht-standard Analysetools für PHP, die ich als eher experimentell bezeichnen würde:

• doxygen
• phuml
• php-lint
• PHP Callgraph

Doxygen statt phpDocumentor

Ich hab grössten Respekt vor dem phpDocumentor Projekt, aber Doxygen hat ein paar Vorteile:

• Es kann mit nicht-UTF-8-Dateien umgehen.
• Es ist schneller.
• Es kommt mit anonymen Funktionen klar.

Leider ist es nicht zu 100% kompatibel zu phpDocumentor. Es hat Mühe mit Kurzbeschreibungen, Parametern, etc.

Die Inbetriebnahme ist ganz einfach: mittels doxygen -g CONFIGNAME wird eine Standardkonfiguration erstellt, die man am Besten sofort editiert und mindestens folgende Dinge anpasst:

Name des Projekts

PROJECT_NAME = Simple PHP Fixtures System

Ausgabeverzeichnis

OUTPUT_DIRECTORY = statistics/html/doc/api/

Auch private Members anzeigen

EXTRACT_PRIVATE = YES

Verzeichnis des zu dokumentierenden Codes

INPUT = ../code

SVN-Verzeichnisse nicht durchsuchen

EXCLUDE_PATTERNS = */.svn/*

Automatische Kurzbeschreibungen

JAVADOC_AUTOBRIEF = YES

Wird der Dokumentationsvorgang nun mittels doxygen CONFIGNAME gestartet, so geht es unglaublich schnell und man hat eine peppige API-Dokumentation:

Das Ant-Target aus dem letzten Artikel kann folgendermassen umgeschrieben werden:
[cc lang="xml"]





[/cc]

doxygenconf muss natürlich noch in der properties-Datei mit dem Pfad der Configdatei gefüllt werden.

Phuml

phUML erzeugt – nicht ganz standardkonforme – UML-Diagramme aus PHP-Code. Je nach Veranlagung sieht man ziemlich schnell, wenn etwas in der Struktur schief gelaufen ist. Wurde das Phuml-SVN ausgecheckt, kann mit dem Kommando php phuml -r -graphviz -createAssociations true -neato uml.png ein Diagramm erstellt werden. Möchte man lieber ein anderes Format als ng, so kann das in der Datei phuml/src/classes/processor/neato.php, Funktion execute() auf der Zeile mit 'neato -Tpng -o [...] umgestellt werden. Zur Verfügung stehen viele: ps, pdf, svg, gif, … man neato gibt gerne Auskunft.

UML-Diagramm

PHP-Lint

Die Lints haben eine lange Geschichte in der Programmierung, sie sind sozusagen das Werkzeug für statische Code-Analyse. Im Gegensatz zu einigen Anderen bin ich der Meinung, dass php -l ein Syntaxcheck und damit kein Lint ist. Für PHP heisst das Teil PHPLint und ist ebenso kritisch wie die Lints für andere Sprachen. Es macht Gebrauch von PHP-Doc Kommentaren für erweiterte Analyseinformationen. Leider kann PHP-Lint (im Moment) nicht mit Closures umgehen und etwas speziell ist, dass die verwendeten PHP-Module zu Beginn der zu untersuchenden Dateien aufgeführt werden müssen:
[cc lang="php"]
/*.
require_module ‘standard’;
require_module ‘pdo’;
require_module ‘session’;
.*/
[/cc]

Ebenfalls kann man ihm mit expliziten castings wie (string) oder etwas hässlichen Kommentaren /*. string .*/ im Code bei der Arbeit unterstützen.

Die Installation läuft folgendermassen:

1. Download der entsprechenden Version (pure-c für Linux).
2. Entpacken des Tars und eventuell kompilieren.
3. Ein eigenes Verzeichnis erstellen (bspw. /opt/php/phplint
4. Das Verzeichnis modules und die Datei src/phplint in das erstellte Verzeichnis kopieren.
5. phplint starten mittels: /opt/php/phplint/phplint --modules-path /opt/php/phplint/modules/
6. Nun sollten ganz viele Fehler ausgegeben werden.
   [cc]
   …
   /home/skaldrom/svn/syncic/SimplePHPFixturesSystem/trunk/code/SimpleFixtures.php:136: Warning: comparing (mixed) == (mixed): `mixed’ type cannot be compared. Hint: check and convert mixed values to the appropriate type, or consider to use strict comparison operators === or !== if it is the case.
   /home/skaldrom/svn/syncic/SimplePHPFixturesSystem/trunk/code/SimpleFixtures.php:139: notice: ‘continue EXPR’: unadvised programming practice
   /home/skaldrom/svn/syncic/SimplePHPFixturesSystem/trunk/code/SimpleFixtures.php:135: notice: variable `$foreignkey’ assigned but never used
   /home/skaldrom/svn/syncic/SimplePHPFixturesSystem/trunk/code/SimpleFixtures.php:126: notice: variable `$candidateData’ assigned but never used
   /home/skaldrom/svn/syncic/SimplePHPFixturesSystem/trunk/code/SimpleFixtures.php:170: Warning: comparing (mixed) == (string): `mixed’ type cannot be compared. Hint: check and convert mixed values to the appropriate type, or consider to use strict comparison operators === or !== if it is the case.
   /home/skaldrom/svn/syncic/SimplePHPFixturesSystem/trunk/code/SimpleFixtures.php:176: Warning: applying the `[]‘ operator to array of undefined index type
   /home/skaldrom/svn/syncic/SimplePHPFixturesSystem/trunk/code/SimpleFixtures.php:178: ERROR: method `SimpleFixtures::_untangleTree()’: expected return type void, found expression of type array[]string
   /home/skaldrom/svn/syncic/SimplePHPFixturesSystem/trunk/code/SimpleFixtures.php:183: Warning: calling `SimpleFixtures::_untangleTree()’ declared in line 160, argument no. 1: found type `mixed’, required type `string’
   /home/skaldrom/svn/syncic/SimplePHPFixturesSystem/trunk/code/SimpleFixtures.php:188: Warning: applying the `[]‘ operator to array of undefined index type
   …
   [/cc]

Damit phplint auch in Jenkins genutzt werden kann, habe ich einen kleinen Wrapper geschrieben, der die Ausgabe in JSLint-XML umwandelt. Damit kann diese Ausgabe komfortabel beim Violations-Modul eingebaut werden. Die PHP-Datei muss im selben Verzeichnis wie phplint platziert werden und geht davon aus, dass modules ein Unterverzeichnis ist. Download hier: phplint.php.

PHPLint in Jenkins

Ein grosses Problem gibt es in Netbeans… Wird der PHP-Code neu formatiert, werden bei den Kommentaren um die Module herum Leerschläge platziert und phplint erkennt sie nimmer. Sehr nervig, echt…

PHP Call Graph

php CallGraph ist ein wunderbares Stück Software, dass einige bestehende Libraries clever vereint. Es produziert Aufrufgraphen einer bestehenden Software, die ziemlich effizient mit dem intuitiven Plan des Entwicklers verglichen werden können. Schöne Beispiele gibt es auf der Website.

phpCallGraph verlässt sich unter Anderem auf phpDoc-Kommentare. Die sollten also entweder gar nicht oder einigermassen gescheit ausgefüllt werden. Sollte es trotzdem ein Problem geben, so kann zum Debuggen die Zeile 517 und 518 in der Datei lib/instantsvc/components/CodeAnalyzer/src/code_analyzer.php entkommentiert werden:
[cc lang="php"]
echo ‘$filename = ‘, var_export($filename, true), “;\n”;
echo ‘$result = ‘, var_export($result, true), “;\n”;
[/cc]

Ich habe einen Patch eingereicht, der einige Warnings entfernt und eine “ignore” Option hinzufügt, der alsbald angewendet wird.

Da war ich zu blöd dafür

Für php-ast und php-sat war ich leider zu blöd. Ich hatte weder Nerven noch Zeit für die Build-Prozedur und die Projekte scheinen auch seit längerem still zu liegen. Die Ideen wären aber grundsätzlich interessant.

Ich mag Code. Nicht jeden natürlich, “Douchebag” Code nervt, Code der aussieht wie ein schreiender Quasimodo oder Code der von einem Dr. Frankenstein in Ausbildung erstellt wurde sind bemitleidenswert und sehr viel Code stinkt. Code, der gefällt (wie beispielsweise der von Frigidor) ist clever ohne zu bluffen, kurz aber nicht kryptisch, tut etwas, ist lesbar und hat einige Wows drin.

Diese Bewunderung sollte in Zahlen gefasst werden: mit Statistiken, Diagrammen, Balken und Graphen. Dies dient zur Vorbereitung der “Continuous Integration” mit Jenkins/Hudson, die in dieser Serie behandelt wird. Als Quellen haben vor allem jenkins-php und ein äusserst Lesbarer Artikel im Entwickler Magazin 01/11 gedient.

Hier wird nun gezeigt, wie mit einem Befehl:

• Die Unittests durchführt.
• Qualitative Softwaremetriken mit PHP Depend misst: Hierarchietiefe, Komplexität, …
• Unschöne Teile mit PHPMD identifiziert.
• Copy-Paste-Verbrecher aufspührt mit phpcpd.
• Den Coding-Style prüft mit dem PHP Code Sniffer.
• Quantitative Softwaremetriken mit phploc misst.
• Die PHPDoc-Doku erstellt.
• Die Resultate mit dem PHP Code Browser schön darstellt.

PEAR Tools installieren

PEAR stellt viele Hilfsprogramme zur Analyse zur Verfügung. Darum muss zuerst pear und danach diese Tools installiert werden. Am Besten als Root, wenn man nicht ein riesen Chaos verursachen möchte:
[cc lang="bash"]
sudo pear upgrade PEAR
sudo pear channel-discover pear.pdepend.org
sudo pear channel-discover pear.phpmd.org
sudo pear channel-discover pear.phpunit.de
sudo pear channel-discover components.ez.no
sudo pear channel-discover pear.symfony-project.com

sudo pear install Text_Highlighter-0.7.1
sudo pear install pdepend/PHP_Depend
sudo pear install phpmd/PHP_PMD
sudo pear install phpunit/phpcpd
sudo pear install phpunit/phploc
sudo pear install PHPDocumentor
sudo pear install PHP_CodeSniffer
sudo pear install –alldeps phpunit/PHP_CodeBrowser
sudo pear install –alldeps phpunit/PHPUnit
[/cc]

Ant build Files

Um den Build zu steuern, eignet sich Ant sehr gut. Zwar ist es XML (Anwender sollen kein XML schreiben müssen!), stellt aber ein paar vernünftige Funktionen bereit. Für einen Build braucht es eine Properties- und eine XML-Datei, die am Besten in ein eigenes build Verzeichnis verfrachtet werden. In der Propertiesdatei können Variablen gesetzt und eventuell auf verschiedene Umgebungen reagiert werden. Bei mir heisst sie build.properties und sieht ziemlich einfach aus:
[cc lang="bash"]
# Source directory
source=${basedir}/../htdocs/code
# Target directory
builddir=${basedir}/statistics
# Where are the Unittests
unittests=${basedir}/tests
testsuite=suite.php
# 10: Highest priority, 1: Lowest
niceness=1
# Set to a random String if you have no external libraries. PHPCPD accepts only ONE directory
extlib=inc/external
phpdocextlib=*${extlib}/*
extlibs=${extlib},\\.svn
# Files to consider
suffixes=php
# Ruleset for Code Sniffer
csruleset=${basedir}/conf/syncic
[/cc]

Hier sieht man auch schon eines der Hauptprobleme: Die Tools verwenden unterschiedliche Angaben um Verzeichnisse auszuschliessen: Pfade, RegExps, durch Komma getrennt, … Ziemlich mühsam.

Die Build-Datei build.xml ist etwas lange, aber gut verständlich. Zuerst werden die abstrakten Ziele eingerichtet und dann gibt es für jedes Tool ein Target.

[cc lang="xml"]

[/cc]

Ist alles richtig eingerichtet, kann der Build mit dem Kommando ant gestartet werden.

Hinweis: Das Coverage-XML und das Coverage-HTML müssen im gleichen Verzeichnis sein. Wenn der Clover-Report nicht funktioniert und ein 404 not found gibt, liegt es wahrscheinlich daran…

Code Sniffer einrichten

Der Stil des Codes (Einrücken, Benamsung, …) ist sehr persönlich. Sehrwahrscheinlich werden viele Warnungen gezeigt, mit denen man gar nicht einverstanden ist. Das ist aber kein Problem, denn der Codesniffer erlaubt es, eigene Codingstandards zu definieren. mit der neuen Version 1.3 (die mittels sudo pear install PHP_CodeSniffer-1.3.0RC2 installiert werden kann) geht das ziemlich einfach. Dafür brauch es in einem Grundverzeichnis eine ruleset.xml Datei und in einem Unterverzeichnis Sniff die eigenen Regeln, in PHP auscodiert. In ruleset.xml kann man sich frei an nestehenden Regeln bedienen. Meines sieht folgendermassen aus:
[cc lang="xml"]

[/cc]

In dieser Datei übernehme ich vor allem den PEAR-Standard, konfiguriere etwas herum und mische ein paar allgemeine Regeln hinzu. Vorallem die Indentation mit Spaces wollte ich anpassen. Im Sniffs Verzeichnis habe ich meine eigenen Regeln. Beispielsweise ControlStructures/ControlSignatureSniff.php (angepasst vom PEAR Coding Standard:
[cc lang="php"]
/**
* Verifies that control statements conform to their coding standards.
*/

if (class_exists(‘PHP_CodeSniffer_Standards_AbstractPatternSniff’, true) === false) {
throw new PHP_CodeSniffer_Exception(‘Class PHP_CodeSniffer_Standards_AbstractPatternSniff not found’);
}

/**
* Verifies that control statements conform to their coding standards.
*/
class syncic_Sniffs_ControlStructures_ControlSignatureSniff extends PHP_CodeSniffer_Standards_AbstractPatternSniff {
/**
* Constructs a PEAR_Sniffs_ControlStructures_ControlSignatureSniff.
*/
public function __construct() {
parent::__construct(true);

}//end __construct()

/**
* Returns the patterns that this test wishes to verify.
*
* @return array(string)
*/
protected function getPatterns() {
return array(
‘do {EOL…} while (…);EOL’,
‘while(…) {EOL’,
‘for(…) {EOL’,
‘if(…) {EOL’,
‘foreach(…) {EOL’,
‘} else if(…) {EOL’,
‘} elseif(…) {EOL’,
‘} else {EOL’,
‘do {EOL’,
);

}//end getPatterns()
}//end class
?>
[/cc]

Was gewinnen wir damit?

Nach einem ant haben wir zum Einen ganz viele XML-Dateien. In einem späteren Beitrag werde ich zeigen, wie diese in ein “Continuous Integration” System integriert werden können. Für Menscen Lesbar haben wir Folgendes:
Dokumentation unter statistics/html/doc/api/:

PHPDoc Beispiel

Eine Liste aller Style-Verstösse und Chaosattacken unter statistics/html/doc/codebrowser/:

Codebrowser Output

Ein Coverage-Report der Unittests unter statistics/html/unittests/coverage/:

Coverage Report

Zwei nette Diagramme von PHP-Depend (eine Abstraction Instability Chart und eine Overview Pyramid) unter statistics/html/jdepend:

Fazit

In einem nächsten Beitrag werde ich noch weitere Tools vorstellen und dann soll das alles ganz automatisch bei jeder Änderung geschehen… Stay tuned…

]]>

Eigentlich hätte ich ja ganz Anderes zu tun, aber per Zufall bin ich über den genialen Blogartikel von Mike Cardwell gestolpert. Er hat eine Idee gehabt, wie es möglich wird herauszufinden, ob Benutzer auf Facebook und Konsorten eingeloggt sind oder nicht.

Umgesetzt in eine kleine Library läuft es als Proof-of-Concept auf Firefox und sieht folgendermassen aus:

Neuer Check

Grundsätzlich wäre es ja ganz einfach: Man schaut vom Client-Browser aus, ob man Zugriff auf Bilder oder Seiten hat, die nur für Eingeloggte zur Verfügung stehen. Leider gestaltet sich dieser simple Ansatz nicht so einfach, weil mit Ajax nur zur Domain der Website verbunden werden darf und nicht an einen x-beliebigen Ort. Ein Proxy hilft auch nicht weiter, da es die Cookies des Browsers braucht, und die werden nur an Facebook, etc direkt abgeliefert.

Wie kann man also diese Restriktion umgehen?

Der Trick

Die geniale Idee von Mike Cardwell war nun, CSRF etwas zu tunen: <img> und <script> Tags im Browser dürfen Dinge von überallher laden. Normalerweise ist das Handlungspotential damit sehr eingeschränkt, ausser man nutzt die onerror und onload Attribute clever aus. Mit diesen Attrbuten können abhängig davon, ob ein Bild oder ein Script erfolgreich eingebunden werden konnte, JavaScript-Funktionen ausgeführt werden. onerror feuert normalerweise bei den HTTP-Status Codes 404, 403, 406 oder 500.

Was tun wir also? Wir binden auf unserer “bösen” Seite ein Bild ein oder laden ein Script (kann auch eine Website sein), das sich unterschiedlich verhält, je nachdem ob man eingeloggt ist oder nicht. In einem der Fälle muss ein Fehler auftreten, damit dieser Trick klappt. Über das aufgerufene JavaScript senden wir das Resultat an den Server und schwuppdiwupps sind wir informiert.

Praktisch sieht das in etwa so aus: Mein Facebook-Profil ist nur für eingeloggte sichtbar, ansonsten gibt es ein 404.
[cc lang="javascript"]

[/cc]

Genau gleich läuft es mit Bildern.

Proof of Concept

Ich habe das Ganze etwas dynamisiert und in eine PHP-Bibliothek gefasst (die auch in diesem Beitrag für das obige Beispiel verwendet wird). Dafür gibt es eine Demo mit Minimalanleitung. Als grundlos bösartiger Mensch habe ich das in einen Moodle-Block gepackt. Die Kursteilnehmer werden dabei höflich gefragt, ob sie durch das Facebook vielleicht abgelenkt sind:

Heruntergeladen werden kann der Block von oncode.info.

Hilfe

Im Moment erkennt die Library Facebook, Google (gmail), Digg und Twitter. Sehr interessant wären YouTube, Reddit, … Wenn also jemand hier Bilder oder Seiten findet, die abhängig davon, ob man eingeloggt ist oder nicht, einen Fehler-Statuscode zurückgeben oder nicht, wäre ich sehr dankbar für eine Mitteilung.

Die img-Attacke scheint auf allen Browsern zu funktionieren, die script-Attacke leider nicht. Wenn jemand kompetentes es auf sich nehmen möchte und MSIE oder Opera auch integriert, fände ich das genial…

Happy Hacking ….

Die PS3 kann auch als UPnP-Client dienen und Filmchen, etc streamen. Über das Problem habe ich schon mal geschrieben. Auch hier ist man eingeschränkt mit den Formaten und das Pladden hin- und hertragen geht auf den Senkel. Ausserdem sind die HD-Filmchen auf Grund ihrer Grösse nicht mehr auf die Festplatte zu kriegen und das MKV-Format ist gar konvertierunfreundlich.

Per Zufall bin ich nun auf einen Medienserver gestossen, der on-the-fly konvertiert und die Filmchen nicht nur auf die PS3 streamt, sondern auch den Sony Bravia bedienen kann: Der PS3 Mediaserver. Kein Gekonfiguriere, kein Decodergewurschtel, kein Bittebitte: Starten und er läuft. Auf dem Bild sieht man sogar, dass er alle meine anderen Gerätchen auch aufführt. Der “Unknown Renderer” ist übrigens mein Archos 101, der ebenfalls ganz willig die Filmchen abspielt, überall im Haus. Einfach genial!

So, ich muss jetzt was kuckn gehn und die Zeit, die ich durch das nicht-Transcoden gespart habe sinnvoll einsetzen …

Was gibts auf den Swisscon Labs?

News

Die News, die auf der Site präsentiert werden, sind zum Einen aus der vordersten Front (Beispielsweise “Ein gebogener Multi-Touch-Arbeitstisch“), geekig (“Antikes mit «Lego Technic» nachgebaut“) oder aus dem Hause Swisscom selbst (wie “Swisscom und ICTnet prämieren beste Diplomarbeit im ICT-Bereich“). Alles in Allem eine gute und interessante Mischung von Themen, die in einem angenehmen Rhythmus publiziert werden.

Apps

DAS könnte spannend werden: Ein interessantes Sammelsurium aus Android, I-Phone und Web-Applikationen. Hier finden sich Apps von Swisscom und auch von anderen Anbietern. Einige der Apps sind gebrauchsfertig, andere wiederum sind eher Betas. Laut FAQ könnte man hier auch eigene Entwicklungen publizieren, wenn sie gewissen Anforderungen genügen. Diese App-Abteilung hat das Potential, ein Platz für lokale/nationale Applikationen zu werden, die in erster Linie die Schweiz betreffen. In den Markets findet man diese sonst leider eher schlecht, weil sie in der Masse untergehen. Ich glaube nicht, dass die Swisscom einen eigenen, ausgewachsenen App-Market hochziehen möchte, aber vielleicht erhält sie auf diese Art und Weise befruchtende Ideen oder Apps, die das Netz ausnutzen….

Forum

Ein Forum zum Laufen zu kriegen – vorallem wenn die Inhalte nicht sehr kontrovers sind – ist schwer. Die Swisscom hat hier richtig gehandelt und ein einzelnes Forum (ohne Unterthemen) aufgeschaltet. Ich schätze den freundlichen und höflichen Umgangston der in diesem Forum herrscht sehr. Ein sehr angenehmer Gegensatz zu anderen Fach-Plattformen.

Technisch ist es etwas verwunderlich, dass die Links im Forum nicht mit “nofollow” gekennzeichnet werden. Einige Spammer haben bereits Witterung aufgenommen. Ich bin aber fest davon überzeugt, dass die Admins das bald im Griff haben werden.

Community-Building

Auf der Site gibt es ein Ranking-System (fast wie bei Yahoo-Answers oder StackOverflow). Für bestimmte Aktionen gibt es Punkte, und mit den Punkten steigt man in der Level-Hierarchie auf. Die Leute mit den höchsten Levels werden zum “Labs Event” eingeladen und besitzen auch ganz Allgemein eine höhere “Credibility”.

Eine sehr interessante Idee ist der Community-Tree, der laut FAQ von zwei ziemlich interessanten Firmen hergestellt wurde. Er stellt Benutzer, Posts und Aktivitäten dar. Je mehr Punkte ein Posting oder ein Benutzer hat, desto grösser seine Repräsentation im Tree. Beim Klick auf einen Benutzer passiert gar wunderliches: Es entstehen Linien, die zeigen, mit welchen Posts und Benutzern der User vor Kurzem interagiert hat. Nun, es ist nett anzusehen, aber irgendwie beginnt hier mein Privacy-Warner zu blinken: Ich möchte nicht unbedingt, dass andere Benutzer sehen können mit wem ich Kontakt pflege, beziehungsweise welche Infos ich mir ansehe.

Fazit

Die Site ist klar und sauber aufgebaut, es steckt viel Enthusiasmus dahinter und die anderen Benutzer sind interessiert und freundlich. Man merkt sehr deutlich, dass sie sich noch im Aufbau befindet. Dies ist aber ganz klar als positiv anzusehen, da die Macher sehr interessiert an Meinungen und Feedback sind und somit der Weg der Site mitgestaltet werden kann. Es würde mich freuen, wenn noch mehr Geeks, Nerds, Freaks und normale Menschen der Site eine Chance geben würden und man sich dort treffen könnte.

Viele haben nicht mehr daran geglaubt, aber der Wettbewerb des Linuxmagazins ist durchgeführt worden: Im neusten Heft (01/11) sind die Gewinner abgedruckt. Siehe da, ich habs als einziger PHP-Frickler in die Top-20 geschafft:

Das gute an Programmierwettbewerben ist, dass man mit einer solchen Rangierung für die Zukunft ausgesorgt hat: Reichtum, Jugend, Schönheit, Wein, willige Weiber und einen offiziellen Schutz vor Alterskurzsichtigkeit sind das Minimum das es zu gewinnen gab. Ähhm, nein, sorry, ich hab da was verwechselt.

Auf jeden Fall: Heeeeeeeeeeerzliche Gratulation den Gewinnern! Gut gemacht! Die Turnierergebnisse und Bots sollen laut Heft alsbald downgeloaded werden können. Ganz im Sinne der Durchführung ist aber bis Dato noch nichts sichtbar. Ich werde sicher analysieren, warum der Frigidor nicht weheheit vor mir liegt. Unter uns gesagt, ist er nämlich viel der bessere Programmierer (der liebe Gott hat mir dafür eine grosse Klappe geschenkt).

Mein Wettbewerbseintrag

Vorgehen

Zu Beginn habe viel experimentiert. Mit einem selbst geschriebenen Simulator habe ich mit einfacher Parametrisierung und naiver Taktik versucht, die Anzahl Transaktionen pro Spiel zu minimieren. Später habe ich verschiedene Generationen meiner Bots auf dem offiziellen Trainingsserver in den Kampf geschickt. Von sehr umfangreichen, komplexen Taktiken habe ich wieder auf sehr einfache gewechselt, nur um dann wieder zurück ins Komplexe zu wechseln. Ganz Grundsätzlich habe ich versucht, die Theorie mit der Praxis (Messungen und Statistiken) und dem Bauchgefühl zu verbinden.

Die Implementation

Leider bin ich kurz vor Schluss auf die Webseite gestossen, die das Problem sowohl akademisch als auch praktisch für das Spiel “Pig Dice” gelöst hat. Diese Lösung habe ich auf die Regeln des Wettbewerbs angepasst, in Java vorberechnet und in meinem Wettbewerbsbot implementiert.

Der Spieler verwendet die vor-berechneten Spielzüge dieses Java-Programms:
[cc lang="java"]
public class PigSolver {

int goal;
double epsilon;
double[][][] p;
boolean[][][] roll;

PigSolver(int goal, double epsilon) {
this.goal = goal;
this.epsilon = epsilon;
p = new double[goal][goal][goal];
roll = new boolean[goal][goal][goal];

valueIterate();
}

void valueIterate() {
double maxChange;
do {
maxChange = 0.0;
for (int i = 0; i < goal; i++) // for all i
{
for (int j = 0; j < goal; j++) // for all j
{
for (int k = 0; k < goal - i; k++) { // for all k
double oldProb = p[i][j][k];
double pRoll = ((1.0 – pWin(j, i, 0)) + pWin(i, j, k + 1) + pWin(i, j, k + 2) + pWin(i, j, k + 3) + pWin(i, j, k + 4) + pWin(i, j, k + 5)) / 6;
double pHold = 1.0 – pWin(j, i + k, 0);
p[i][j][k] = Math.max(pRoll, pHold);
roll[i][j][k] = pRoll > pHold;
double change = Math.abs(p[i][j][k] – oldProb);
maxChange = Math.max(maxChange, change);
}
}
}
} while (maxChange >= epsilon);
}

public double pWin(int i, int j, int k) {
if (i + k >= goal) {
return 1.0;
} else if (j >= goal) {
return 0.0;
} else {
return p[i][j][k];
}
}

public void outputHoldValues() {
for (int i = 0; i < goal; i++) {
for (int j = 0; j < goal; j++) {
int k = 0;
while (k < goal - i && roll[i][j][k]) {
k++;
}
System.out.print(k + ” “);
}
System.out.println();
}
}

public void summarize() {
System.out.println(“p[0][0][0] = ” + p[0][0][0]);
System.out.println();
System.out.println(“i\tj\tPolicy changes at k =”);
for (int i = 0; i < goal; i++) // for all i
{
for (int j = 0; j < goal; j++) { // for all j
int k = 0;
System.out.print(i + “\t” + j + “\t” + (roll[i][j][k] ? “roll ” : “save “));
for (k = 1; i + k < goal; k++) // for all valid k
{
if (roll[i][j][k] != roll[i][j][k - 1]) {
System.out.print(k + ” ” + (roll[i][j][k] ? “roll ” : “save “));
}
}
System.out.println();
}
}
}

public void summarizePHP() {
System.out.println(“$optimalWin = array();”);
for (int i = 0; i < goal; i++) // for all i
{
for (int j = 0; j < goal; j++) { // for all j
int k = 0;
System.out.println(“$optimalWin["+i+"][" + j + "][0]=’” + (roll[i][j][k] ? “roll” : “save”) + “‘;”);
for (k = 1; i + k < goal; k++) // for all valid k
{
if (roll[i][j][k] != roll[i][j][k - 1]) {
System.out.println(” $optimalWin["+i+"][" + j + "]["+k+"]=’” + (roll[i][j][k] ? “roll” : “save”) + “‘;”);
}
}
}
}
}

public static void main(String[] args) {
//new PigSolver(100, 1e-9).outputHoldValues();
//new PigSolver(50, 1e-10).summarizePHP();
new PigSolver(50, 1e-15).summarize();
}
}
[/cc]