vmx

2008-11-08 22:35

With pythonpath you can access values within nested Python data structures easily. This is especially useful if you use JSON. If know which element you want, you can access it directly with a string (a pythonpath).

I created pythonpath for GeoCouch as I needed a way to point to a specific element within a JSON structure. But I think it might be useful for others as well, hence this blog entry.

Take the following data structure:

{ "type": "Feature",
  "geometry": {"type": "Point", "coordinates": [151.21 -33.87]}
}

If you want to get the type of the geometry, you'd normally access it by

type = geo['geometry']['type'].

With pythonpath it would be:

type = pythonpath.get_item('geometry.type', geo)

Accessing array elements is just as easy:

lat = pythonpath.get_item('geometry.coordinates[1]', geo)

The syntax is quite simple, a dot (.propertyname) for dictionary element, array notation for an array element ([position]). The escape character is backslash (\).

Here's the code:

# Copyright (c) 2008 Volker Mische (http://vmx.cx/)
# Licensed under MIT.

import operator
import re

def parser(path):
    items = []

    for prop in re.split('(? 0:
            if len(prop) > len(brackets):
                items.append(prop[:-len(brackets)])

            for index in re.findall('\[(\d+)\]', brackets):
                items.append(int(index))

            continue

        items.append(prop)

    return items


def get_item(path, data):
    itemgetters = map(operator.itemgetter, parser(path))
    for getit in itemgetters:
        data = getit(data)
    return data

You can also download this code together with some tests.

• pythonpath 1.0

Categories: en, Python

2008-10-26 22:35

Notice: This blog post is outdated, please move on :)

Update (2009-09-19): There's a new GeoCouch release. More information at GeoCouch: New release 0.10.0.

After almost six months of silence I finally managed to get a prototype done (thanks Jan for keeping me motivated).

What do you get?

You get some code to play around with, to get a slight idea of how such a geospatial extension for CouchDB could look like. The code base isn’t polished yet, but it’s good enough to get it out of the door. The current version only supports one geometry type (POINT), and one operation (a bounding box search).

As CouchDB doesn’t allow an intersection of results gathered from an external service, the result of the bounding box search will be plain text document IDs and their coordinates.

How does it work?

GeoCouch consists of two parts, the indexer and the query processor. Both are connected through stdin/out with CouchDB.

Indexer (geostore)

In order to make the indexer understand which fields in the document contain geometries, a special design document is needed. As soon as a database has such a document, the database is geo-enabled and the indexer will store the geometries in a spatial index, which is a SpatiaLite database at the moment.

Everytime a database in CouchDB is altered (create, delete, update) the indexer gets notified and will act accordingly to keep the spatial index up to date with CouchDB.

Query processor (geoquery)

To process queries with an external service is possible with Paul Joseph Davis’ excellent external2 CouchDB branch. Queries to CouchDB can get passed along to an external service.

At the moment the result is the output of this service, it’s plain text in our case. In the future the external service will only return document IDs which will be passed back to the view. The result will be an intersection of document IDs of the view and the document IDs the external service returned.

How do I use it?

When everything is installed correctly it’s quite easy to get started.

Setting things up

• Create a new database named geodata (could be anything).
• Add a document named myhome, there you’ll store all the information of your home including the coordinates. As we are only interested in a bounding box search it’s enough to have a location:

  {
    "_id": "myhome",
    "_rev": "3358484250",
    "location": [ 151.208333, -33.869444 ]
  }

• Add as many other documents like this, make sure all of them have a field called location with the coordinates as array. As for the database, the name of the field could be anything, but has to be the same in all documents.
• Now we come to the interesting part, the special design view that geo-enables the database. The document has to be named “_design/_geocouch”. After creating it also needs some special fields and will look like this:

  {
    "_id": "_design/_geocouch",
    "_rev": "610069068",
    "srid": 4326,
    "loc": {
      "type": "POINT",
      "x": "location[0]",
      "y": "location[1]"
    }
  }

  The coordinate system that should be used is specified by an SRID. If you don’t know which value to use for srid, use 4326. It’s assumed that all geometries in your document belong to the same coordinate system.

  The other field is the information where to find the geometry in the documents. The name you choose will be used for the bounding box queries, I’ve chosen loc. It defines the type (POINT), and where to find the x/y coordinate (this will probably be changed to lat/lon in the future).

  The way to specify where to find the field is comparable to XPath, but much simpler. As JSON consists of nested dictionaries and arrays, you can get a property within an array with the index (e.g. location[0] is the first element in an Array called location). If it is a dictionary you specify it separated by a dot (e.g. location.x is a property named x within another one called location). It can of course be nested much deeper, the path always starts at the root of the document (e.g. bike.stolen.found[0]).

Bounding box search

And finally you can make a bounding box search. Simply browse a URL like this one (this is a bounding box that encloses the whole world):

http://localhost:5984/geodata/_external/geo?q={"geom":"loc","bbox":[-180,-90,180,90]}

The expected result is:

myhome 151.208333 -33.869444

Requirements

You’d like to give it a try? Here is a list of the software and their versions I used to get it work on my system, but others might work as well. GeoCouch includes installation/configuration instructions.

• Linux 2.6.26
• Python 2.5.2
• APSW - Another Python SQLite Wrapper 3.5.9-r2
• SpatiaLite 2.2
• davisp’s external2 branch of CouchDB

Download GeoCouch

Get SpacialCouch now! It’s new, it’s free (MIT licensed).

• GeoCouch 0.0.1

What’s next?

The current version is meant to play with, many things are not possible, many things needs to be improved. But with the power of SpatiaLite (and the underlying libraries) it shouldn’t be too hard.

Therefore I hope this will only be start and will end up in a discussion on what should be done, what other things might be possible. I’d love to hear your use cases for a geospatially enabled CouchDB.

Categories: en, CouchDB, Python, geo

2008-10-22 22:35

Heute ist ein denkwürdiger Tag. Ich habe den kältesten Oktobertag Syndeys seit 45 Jahren miterlebt. Und ich dachte mir schon, dass der Frühling im Moment irgendwie nicht so ist, wie ich ihn mir vorgestellt hatte.

Gut das in Australien so spannende Meldungen in den Nachrichten kommen.

Categories: de, Verschiedenes

2008-09-13 22:35

Und schon ist ein halbes Jahr vorbei, das schreit gerade zu nach einem Resümee (manchmal ist die neue Rechtschreibung echt hart). Hier die Dinge die ich vermisse und vermissen werde (ohne bestimmte Reihenfolge).

Dinge ich vermisse:

• Fahrradfahren
• Immer jemanden zum Weggehen haben
• Fußballspielen
• Die Gruppenräume und deren Insassen
• Familie
• Allgemeines interesse am weltpolitischen Geschehen
• Spätvorstellungen im Kino

Dinge ich vermissen werde:

• Freitags-Feierabendbier mit Kollegen
• Mehr pro Tag zu verdienen als man an einem Abend versaufen kann
• Meine Mitbewohner
• Englisch
• Kinofilme im Original
• Thai-Food und Fisch & Chips
• In einer Millionenstadt zu wohnen

Categories: de, Leben

2008-08-23 22:35

Was ist denn das da drüben? Groß, scharf, wunderschöne Kurven…

Das „Große Scharfe S” (Schriftart: Linux Libertine)

Categories: de, Verschiedenes

2008-07-26 22:35

Ein kurzer, nuechterner Ueberblick ueber meinen Weltjugendtag.

Organisation

Die Organisation war, um es kurz zu sagen: wie in Koeln. Fuer Pilger muss es an sich ganz gut funktioniert haben. Fuer Helfen war es eine Katastrophe. Vor allem wusste man nie wo man hinmusste. Die Beschilderung (wenn es ausnahmsweise eine gab), war ausschlieSlich fuer Pilger. Paradebeispiel dafuer war Barangaroo. Es gab einen Eingang fuer Pilger und einen fuer Helfer, jeweils an den Enden des Geleandes. Kurz vor dem Eingang der Helfer gab es dann ein Schild mit durchgestrichenem Barangaroo Symbol. Macht natuerlich Sinn als Pilger, jedoch war dort kein Hinweis, dass dort um die Ecke der Eingang fuer Helfer war.

Und natuerlich waren viel zu wenige Leute fuer die Regsitrierung der Helfer eingeteilt. Meines Erachtens sollte das eine relativ leichte Rechnung sein, wieviel Helfer man braucht um X Helfer Registrieren, wenn man fuer einen Y Minuten braucht. Andererseits kann man Helfer ja auch gerne mal 2-4 Stunden warten lassen, sie machen es ja freiwillig.

Essen

Das Essen war immer das gleiche, der einzige Unterschied bestand darin, dass man die Wahl zwischen Gulasch aus Rund und Huenchen hatte, bzw. Bohnen wenn man vegetarisch bevorzugte. Das macht aus organistorisch natuerlich Sinn, ist aber nicht so der Brueller wenn man einige Tage hintereinander Helfer ist. In Randwick gab es dann ploettzlich auch noch Meat Pies, wobei ich nicht weiss ob es die zuvor auch gab. Man muss sich die wie das Gulasch, nur Teigummantelt vorstellen.

Ein anderer Kritikpunkt ist, dass Helfer nur Essen bekamen, wenn sie im Einsatz waren. In Koeln hatten wir sozusagen Vollverpfegung, wobei ich mir inzwischen nicht mehr so sicher bin ob wir das wirklich hatten, oder ob das von meinen Bruderherz so hingedreht wurde.

Stimmung

Es war schon einiges los in der Innenstadt. Am meisten Stimmung haben wie auch schon in Koeln die Suedamerikanischen Schwestern und Brueder gemacht. Fuer mich war der Weltjugendtag ziemlich anders als der in Koeln, weil ich ja diesmal nicht in einer Gruppe, sondern auf mich gestellt unterwegs war. Das hatte aber natuerlich den Vorteil, dass ich viel mehr Leute kenennlernen konnte.

Helfer

Alle total nett, etwas selstam war allerdings, dass es so viele Renter gab. Entweder ist es mir 2005 in Koeln nicht so aufgefallen, oder es gab einfach weniger.

Fazit

Ein gelugnener Weltjugendtag, waere ich nicht dabei gewesen, heatte ich mich wirklich Aergern muessen.

Categories: de, Wjt

2008-07-21 22:35

Dankenswerterweise durfte ich spaeter zur Arbeit kommen, mein Chef meinte, die Chance den Papst nochmal in kleinerem Kreis zu sehen sollte, ja musste ich sogar wahrnehmen. Ich war keiner der verrueckten Helfen (wie mein Kollege gestern) die unbedingt gleich nach Oeffnung der Tore um 6:00 Uhr da sein mussten. Ich kam gemuetlich um ca. 7:30 Uhr an.

Nach einer Ansprache von irgendwem wohl bekannten, und Smalltalk auf der Buehne von wichtigen Persoenlichkeiten Rund um den Weltjugendtag, wurde dann der Papst schon von kreisenden Hubschraubern angekuendigt. Und da war er auch schon, nachdem er eine kleine Runde mit dem Papamobil gedreht hatte. Viel gesagt hat er nicht, trotzdem fand ich es seht nett, dass er seinen letzten offiziellen Akt mit den Helfern verbrachte und auch noch dafuer geblieben ist. Nicht wie beim Weltjugendtag 2005 in Koeln, wo das Dankeschoen ohne Papst standfinden musste.

Insgesamt also eine nette Angelegenheit mit eine ueberschaulichen Menge. Abgerundet wurd es durch das treffen zweier Leute von meiner Schicht am dritten Tag.

Kurzfristigerweise habe ich dann sogar noch frueher zu Arbeiten aufghoert (erneut vielen Dank an meinen Chef) um einen Ex-Kaplan zu treffen. Es ist doch immer wieder nett, wenn man von Leuten besucht wird :)

Categories: de, Wjt

2008-07-20 22:35

Am Ende des Weltjugendtages ist ja immer die Virgil und der Absclussgottesdinest angesagt. Ich hatte die Schicht von 13:00 bis 22:00 Uhr am Samstag und von 5:00 bis 13:00 Uhr am Sonntag.

Die Schicht am Samstag war halwegs am Arsch der Welt (viel weiter weg von der Buehne ging es nicht) zwischen C1 und C2. So spannend war es auch nicht. Die ersten paar Stunden Pilgern Weg erklearen, wobei nur wenige vorbeikamen, zwischendrin dann "mind your step" schreien und hinleuchten, und schliesslich ueberquerende Pilger vor dem ueberfahren durch Krankenwagen bewahren (bei ca. 1,2 Krankenwagen pro Stunde nicht so spannend).

Immerhin habe ich ein Lichtermeer gesehen, und noch ein bisschen mit zwei Deutschen Maedels beim Schichtwechseln ratschen koennen. Und natuelerlich jemanden mit dem ich meinen Schlafplatz suchten konnte gefunden. Volunteers durften neamlich schlafen wo sie wollten. Angeblich war es ein bisschen waermer (1-2 Grad) als in Koeln, davon habe ich aber nicht viel gemerkt. Ich fand es sau kalt.

Sonntags war dann schon etwas stressiger. Ich habe zwar etwas speater begonnen, weil ich nicht rechtzeitig aufgewacht bin, wurde aber dankenswerterweise von meinem Kollegen mit einstuendiger Verspeatung geweckt. Ich sollte der Polizei helfen Pilger davon abzuhalten durch die fuer Krankenwagen, Polizei, Priester und Volunteers gesperrte Zone zu laufen. Das hoert sich einfach an, wenn aber ploetzlich weit und breit keine Polizei mehr zu sehen ist, es einen Ansturm von Pilgern gibt, und man nur zu zweit ist, geht das nicht wirklich.

Insgesamt war es aber recht angenehm, weil es aufgrund viele Wegsuchender Pilger einiges zu tun gab, die hin und wieder einfach nicht auf die andere Haelfte des Feldes gehen konnten (wieso auch immer die Polizei alle Uebergaenge versperrt hatte). Es kamen sogar Pilger aus AUgsburg vorbei, die man sofort an ihrem unheimlich starken deutschen Akzent aus 500m gegen den Wind erkennen konnte.

Am Ende der Schicht (auch mit Ueberstunde) war unser Groupleader bzw. Supervisor nirgends aufzufinden. Also beschlossen wir, nachdem es schon ruhiger geworden war zu gehen. Dank gab es dann erstaunlicherweise von einer Polizistin: "You did a great job guys".

Apropos Polizei (ich hoffe ich muss dafuer keine der immens hohen australischen Strafen zahlen): Ein Polizist war ein Bilderbuchpolizistenarsch. Ihm war egal wo Pilger im Moment ueberqueren koennen. Selbst als ich vor ihm Pilgern erkleart hatte, dass der hintere Uebergang auch gesperrt sei (was mir Pilger gesagt hatten die selbst dort gewesen waren), hat er trotzdem noch froehlich Pilger dorthin geschickt. Der hat mich wirklich tierisch aufgeregt. Dafuer sind bisher alle anderen Polizisten wirklich sehr nett gewesen, und waren im Gegensatz zum Wjt in Koeln wenigstens praesent und durchaus hilfreich.

Morgen gibt es dann noch einen Epilog fuer Helfer mit dem Papst

Categories: de, Wjt

2008-07-18 22:35

Heute war die 16:30 bis 23:30 Schicht angesagt. Es war Zeit fuer Konzerte, sollte also ganz OK werden. Waere da nicht ein Group Leader gewesen, der uns nichteinmal gesagt hat was unsere Aufgabe ist, sondern einfach nur 30-40 Leute entlang eines Ganges auf beiden Seiten abgestellt hat. Manchmal macht das ja Sinn, doch auf dem kleinen Gebiet waren auch noch 6-8 Polizisten Unterwegs. Wir waren also total ueberfluessig, es gab nichtmal Pilger die nach dem Weg fragen, weil alle ja einfach nur dastanden.

Zum Glueck wurde dann aber ein Teil - und somit zum Glueck auch ich - von einer Polizistin erloest. Wir halfen den Polizisten am einen Ausgang den Pilgern zu sagen, dass sie leider nur in eine Richtung gehen konnte. Natuerlich nicht in die zum Darling Harbour, sondern zu Circular QUays, wo eigentlich keiner hin wollt. Wie immer konnten es viele nicht glauben und mussten es von den Polizisten besteatigen lassen. Meines Erachtens haben diese aber leider zu oft Kleinbei gegeben. Ich verstehe es bei alten und behinderten Leuten, aber alle Anderen sollten doch aussenrumlaufen koennen.

Nachdem die Polizeisperre aufgehoben war, und ich durch das verkuenden gleich 50 Leute aufeinmal gluecklich gemacht habe ("if you want to go, you can go") gab es erstmal Abendessen. Es sah fast aus wie gestern, war aber diesmal Huehnchen. Wir (3 Leute und ich) waren nicht motiviert unseres Group Leader zu suchen, also habe wir uns einfach an einem Ausgng postiert und haben Leuten die den Weg nicht wussten weitergeholfen. Irgendwann hatten dann meine Kollegen keine Lust mehr und sind gegangen.

Ich habe dann noch versucht meinen Group Leader zu finden, er war aber nicht mehr an Ort und Stelle. Ausserdem war an sich bis auf die Kernzone um die Buehne so viel los. Sodass ich mich auch einen verfruehten Feierabend zwei Stunden vor Dienstschluss gegoennt habe. Am Ausgang wo alle Pilger entlang des Darling Harbour zur Central Station gelotst werden, durfte ich als Volunteer zum Glueck abkuerzen und konnte schon bei der Wynyard Station zusteigen.

Morgen geht es auf nach Randwick, dem Marienfeld Sydneys. Ich bin schon gespannt wie es wird. ZUm Glueck faehhrt ein Shuttle-Bus quasi bei mir vor der Haustuere Weg. Eine Isomatte habe ich mir auch schon organisiert

Categories: de, Wjt

2008-07-17 22:35

Heute war meine erste volle Schicht, ich war sogar puenktlich. Mein Supervisor war die Gleiche wie gestern, Group Leader ein anderer.

Zum Glueck war es diesmal zentral gelegen, vom Uebergang des "normalen" Gebiets (B3) zum Hochsicherheitsgebiet (B1) direkt vor der Buehne, wo jeder nochmal von der Polizei gecheckt wurde. Die Aufgabe war also den Leuten zu sagen, dass sie sich brav anstellen muessen. Manche die schonmal drin waren und z.B. nur was zum Esses geholt hatten, wollten es nicht glauben, dass sie sich wieder gaaaanz hinten anstellen muessen, taten es aber doch, wenn es zwei Meter hinter mir die Polizei gesagt hat.

Ausserdem gab es das Problem, dass man von B3 aus einen Merchandising und Essensstand sehen konnte, der gleich um die Ecke war. Doch leider konnte man bei uns nicht durch, man musste gaaaaanz Aussenrumgehen. Wobei "gaaaaanz" wirklich ganz schoen weit ist, vorallem wenn man die Leute ersteinmal "geradeaus und dann gleich rechts" schickt, obwohl es da garnicht durchgeht, und sie in wirklichkeit erstmal ewig links gehen muessen.

Das Team war wieder super, bunt gemischt aus Hong Kong, Deutschland, Australien und gerade eingebuergerte USA. Zu sehen gab es den Papst sogar im Papa-Mobil aus 3 Metern Entfernung. Seine Rede war ueber Gott und die Welt (wie komisch aber auch), also einfach ein Rundumschlag, nichts spektakulaeres. Insgesamt also ein sehr netter Tag, hoffentlich bin ich morgen bei meiner ersten Speatschicht wieder so Zentral positioniert.

Categories: de, Wjt