Note: You have to allow the webcam!

Hold a white paper with black (or dark) objects that you painted on it in front of the camera. The red rectangle indicates the tracked area, the green rectangles indicates the tracked objects. Then hit the space-bar (Note: be sure that the flash movie gets the focus)

Check it out!

The flash-app uses the webcam for accessing three different videos. The normal video that we convert into two other videos: A threshold video and a palette video.

The palette video is used for tracking the brightest area in the video and reducing the tracking-area to this area (e.g. the white paper is usual the brightest color in the video, so objects that are in the background aren't tracked any longer). The threshold video is used for tracking the darkest objects within the brightest area.

How does this work? In the treshold video it is supposed that the red pixels are the objects, and coherent pixels belongs to one object. I've implemented a flood fill algorithm that counts the pixel of each object and returns the x,y position and width and height of an object. With this information we can nearly perfectly track the object and use for example the pixelamount for the volume of the sound and the x,y/width,height information for the timeline.

When all objects are tracked and you press the Space-Bar the tracked area is converted into a matrix of 16x16 fields. Each field represents a sound, fields that are lower plays a lower sound, fields that are higher a higher one. The timeline goes from left to right.

The source code is available here: ToneMatrixSource

In our course Computergraphics I've developed an implementation of QuadTrees for Actionscript 3. A QuadTree is a datastructure for increasing the efficiency of collisiondetection or nearest neighbour appointment.

Wiki

You can enable the collisiondetection by hitting a "C" and switch between QuadTree and Bruteforce by hitting Space. The amount of objects can be changed by typing it in the field labeled with 50.
SourceCode: QuadTreeSource

Mein erster Blick fiel auf WebORB mit dem passenden Flex Plugin indem man sehr einfach die einzelnen Modells und somit die Datenbank ansprechen kann. (http://sujitreddyg.wordpress.com/2009/10/13/ruby-on-rails-extension-for-flash-builder-4/)

Hier habe ich zwar Zugriff auf das UserSession-Modell von authlogic, jedoch nicht auf die aktuelle Session und somit die eingeloggten User. Die Cookies und Sessions werden erst im UserSessionsController festgelegt.

Um nun in der Flex Anwendung zu wissen "Ist der User eingeloggt" und wenn ja "Welcher User bist du denn?" erweitert man den UserSessions Controller um folgende Methode:

def checkLogin
if logged_in?
xml = "
<usersessions>
<login>true</login>
<currentid>#{current_user_session.user.id}</currentid>
</usersessions>"
else
xml = "
<usersessions>
<login>false</login>
<currentid>false</currentid>
</usersessions>"
end
respond_to do |format|
format.xml { render : xml => xml }
end
end

Hiermit stellen wir eine Methode bereit die uns ein XML File rendert das sagt, bin ich eingeloggt, oder nicht (über das Format der XML ließe sich streiten).

In der Flex App kreiert man nun einen HTTP-Service, der auf die URL der Methode verweist, und bei erfolgreichem Result das ganze als XML ausgibt.

<fx:Script>
<![CDATA[
import mx.rpc.events.ResultEvent;
public function switchStates(event:ResultEvent):void {
var xml:XML = event.result as XML;
var loggedInP:Boolean = xml.login as Boolean;
var currentID:int = xml.currentid;
trace(currentID);
}
]]>
</fx:Script>

<fx:Declarations>
<s:HTTPService resultFormat="e4x" id="login" url="http://localhost:3000/user_sessions/checkLogin" result="switchStates(event)" fault="trace('fault');"/>
</fx:Declarations>

Natürlich muss im Application tag noch

creationComplete="login.send()

gesetzt werden. Und schon hat man zwei Variablen, die den User authentifizieren.

QuadTrees v0.1

Das Logo hat mir Wolfgang Windischhofer vom Studiengang MMA gemacht, die Flashseite ist von mir.

http://www.thefranky4fingerscasinohouseband.de

Pünktlich zur Neueröffnung mit neuer Abteilung "Science" haben auch wir unser Projekt "dress4success" im Haus der Natur in Salzburg fertig gestellt. Bei dieser Installation können die Besucher sich mithilfe von gelben Markern virtuell Berufs-Gadgets "anziehen".

Im Klartext bedeutet diese, man steht vor einem Beamer und wird von einer Kamera gefilmt. Oben laufen langsam die einzelnen Gadgets wie eine Rohrzange, Schweißerbrille, Tastatur oder eine Filmkamera vorbei, die der Besucher mit den gelben Markern zu sich hinziehen kann. Die gelbe Farbe wird hierbei getrackt, und so "haften" die Gadgets an den jeweiligen Markern.

Alle 5 Sekunden wird ein Screenshot gemacht, der zum Terminal neben der Leinwand geschickt wird. Hier hat der Besucher nun die Möglichkeit durch die einzelnen Screenshots zu scrollen und sich das Bild mit passenden Berufsinformationen nach Hause zu schicken.

Das Projekt basiert auf den Digital Puppetry und das Terminal wurde mit Adobes AIR Plattform realisiert. Mitgearbeitet hat dabei Philipp Gigler (MMT), Marius Schebella (Dozent an der FH Salzburg), Lea Perchermeier (Grafikdesign, MMA), Simon Zingerle (Grafikdesign, Berufsgadgets) und natürlich meine Wenigkeit. Weiter unten folgen noch ein paar Bilder vom Aufbau.

Für mein Qualifikationsprojekt 1 an der FH-Salzburg habe ich zusammen mit einigen Studenten des Studiengangs Multimedia Art passend zu deren Film Projekt "Enter Sandmann" einen Online-Traumgenerator in ActionScript 3 entwickelt.

Jetzt träumen!

Hier eine kurze Beschreibung +Bilder:

Studierende des Studiengangs Multimedia Art haben mit dem Projekt „Enter Sandmann“ einen 3D-Realkurzfilm gedreht, der die Grundlage und Idee des Online- Traumgenerators bildet. Der Film handelt von einem Disziplinarverfahren gegen den Sandmann. Ein himmlisches Gremium bestehend aus dem Lieben Gott, dem Heiligen Geist, Jesus und Dr. Sigmund Freud klagt den angestellten Sandmann an, durch wiederholte Fahrlässigkeit im Verteilen seiner Träume schreckliche Zustände auf der Welt ermöglicht zu haben. Da das Verfahren sich nicht einvernehmlich klären lässt, beschließt der Sandmann, dem Himmel den Rücken zuzukehren und sich in Form eines Online Portals selbständig zu machen.
Der Traumgenerator ist ein Webprojekt zu finden auf http://sandmann.multimediaart.at und entstand in der Zeit von April – Mai 2009.
Realisiert wurde der Traumgenerator in Actionscript 3, auf Basis des Flash Players 10. Der Ablauf eines Traumes gliedert sich in drei Teile. Zuerst gibt der Benutzer an ob er einen Zufallstraum oder einen persönlichen Traum erstellt haben will. Beim persönlichen Traum werden Schlagwörter in ein Textfeld eingegeben und die Stimmung des Traumes ausgewählt. Dabei stehen vier zur Auswahl: fröhlich, traurig, entspannt und gestresst. Je nach Auswahl bekommt der Traum ein gewisses Spektrum an Farben und eine Hintergrundmusik. Beim Zufallstraum wird aus einer Summe von Schlagwörtern zufällig eines ausgewählt und als Stimmung „fröhlich“ selektiert.
Die Schlagwörter, ob persönlich oder Zufall, werden anschließend über eine fertige AS3 API an die Bilddatenbank von Flickr übermittelt. Diese liefert ein Array von URL’s zu den passenden Bildern zurück, die anschließend mit der Library „Bulk Loader“ geladen werden. Durch Versuche hat sich eine Anzahl von 12 – 16 Bilder ergeben, die somit eine ausreichende Länge des Traums, sowie eine relative kurze Ladezeit garantieren. Als Preloader dient hierbei die Animation der zufallenden Augen. Nachdem alle Bilder geladen wurden beginnt das Laden und Abspielen der Sounds und die Traumanimation. Die Bilder werden per Zufall in der z-Achse animiert (hin- und wegzoomen), mit Blur-Filtern verschiedener Stärke versehen, eingefärbt durch den Colorize Filter (Farbe je nach Stimmung, Intensität variabel) und mit einer Wahrscheinlichkeit von 40 % zufällig um die x- und y-Achse im 3D Raum gedreht. Für die Bewegungen wird die Library „TweenMax“ verwendet, da diese sehr einfach das hinzufügen von Animationen auf ein Objekt ermöglicht und sich selbständig um das Entfernen der Eventlistener kümmert. Die einzelnen Bilder werden ineinander übergeblendet, hierfür wird ein Timer eingesetzt, der nach Ablauf von 80% der Animation des vorigen Bildes die Animation des nächsten Bildes einleitet. Nach Beendigung einer einzelnen Animation werden sämtliche Eventlistener auf das Objekt gelöscht und der Speicher den das Bild belegt wird freigegeben.
Parallel zur Animation der Bilder werden darüber sog. Postproduction Effekte animiert. Diese bestehen aus verschiedenen Formen die ebenfalls mit Blur, Alpha und Bewegungseffekten animiert werden, sowie einem kleinen Particle-System und einem Effekt der über den gesamten Bereich eine Art Lavalampe animiert. Damit ein traumähnlicher Effekt entsteht, werden die Ebenenstile der einzelnen PostProd. Effekte noch auf Shader, Difference, Invert, Lighten, Overlay oder Screen gesetzt (vergleichbar mit den Ebenenstilen aus Photoshop). Der Benutzer hat stehts die Möglichkeit durch klicken auf das Wecker Symbol rechts oben den Traum zu beenden. Ist dies nicht der Fall, so wird der Traum automatisch nach Ablauf aller Animationen beendet. Für den Benutzer stellt sich das ganze durch eine „Aufwach-Animation“, sowie einen klingelnden Wecker da. Durch einen Button „Weiterträumen“ hat der Benutzer die Möglichkeit sich einen neuen Traum generieren zu lassen.

Hier geht's zur SWF -> Painting Fingers v1.0

Das Ganze wurde mit dem Wiimote Hack von Johnny Chung Lee realisiert. Portiert auf Mac OS X hat man damit die Möglichkeit mit einer Wii Fernbedienung, die in diesem Fall als Empfänger dient, und einem selbstgebastelten "Stift" der aus einer Schlüsselanhänger-Taschenlampe besteht in die eine Infrarot LED eingebaut wurde eine Art "Low-Budget"-Whiteboard zu basteln. Wie's genau funktioniert erklärt uns der liebe Johnny hier:

Hier noch ein Foto von mir und Gabi Burgstaller, die sich ebenfalls ein wenig mit meinem Projekt gespielt hat.