Punktbewertungsverfahren
oder: Reiz und Fluch vermeintlicher Objektivität
Um komplexe Zusammenhänge wie z.B. Businesspläne vergleichbar zu machen, kann man an Stelle eines schwer möglichen direkten Vergleichs einen Satz von Kriterien auszuwählen, an Hand derer dann Punktzahlen z.B. von 0-10 für den Grad der wie auch immer gemessenen oder erwarteten Erfüllung vergeben werden können. Bei hinreichend pfiffiger Wahl der Kriterien wirkt das nachvollziehbar sinnvoll und fair. Ähnlich wie bei Sportarten mit dem Wettkampfmodus Punktvergabe gewinnt am Ende der Saison oder des Turniers derjenige mit den meisten Punkten. Einer der dafür verwendeten Fachbegriffe lautet Punktbewertungsverfahren. Dieser Ansatz wird auch bei der Bewertung der eingereichten Businesspläne beim Businessplanwettbewerb Berlin-Brandenburg angewendet.
Wenn nun zwei Juroren mit dem selben Plan konfrontiert werden, das selbe Bewertungsraster zu dessen Beurteilung an die Hand bekommen, könnte man meinen, dass sie zu nahezu gleichen Bewertungen gelangen. Das war in meinem als stellvertretendes Beispiel verwendeten Fall nach meiner Einschätzung nicht so. In der Stufe 1 des BPW Wettbewerbs gab es 12 Einzelpositionen, bei denen ich die Noten (als Punkteäquivalent) sehr gut + gut (15 mal) sowie befriedigend + mangelhaft (9 mal) erhalten habe und dabei folgendes beobachtet habe:
- Notenübereinstimmung: 4 mal
- eine Notenstufe Abweichung: 3 mal
- zwei Notenstufen Abweichung: 4 mal
- drei Notenstufen Abweichung: 1 mal
Was für ein Fazit kann ich daraus anbieten? Das Verfahren ist zwar vermutlich das Einzige, was auch mir bei dieser Großzahl vorzunehmender Bewertungen einfiele, aber trotzdem mit Eigenschaften behaftet, die methodisch problematisch sind:
- Mein oben ausgeführtes Beispiel lässt vermuten, dass das Ergebnis eines solchen Verfahrens nicht nur abhängig vom Plan selbst und den Regeln zur Bewertung sondern in mehr oder weniger hohem Maße vom Bewerter abhängt. y=f(Plan + Regelsatz + Mensch) Sollten Sie also Kenntnisse über einen Menschen haben, der ein wichtiges Projekt von Ihnen bewertet, denken Sie das nach Möglichkeit in Ihren Plan hinein.
- In der individuellen Sicht kann der Bewertete natürlich einfach beide Punktzahlen addieren und das Ergebnis halbieren und sich sagen, dass die Wahrheit wohl in der Mitte läge. y=(Punktzahl 1+Punktzahl 2)/ 2 Das ist aber möglicherweise zu kurz gedacht. Findet einer die Markchancen übel aber das Team prima und der andere genau umgekehrt, haben Sie im schlimmsten Fall einer Drittbeurteilung weder eine brillante Idee noch ein schlagkräftiges Team. Gehen Sie also am besten allen Bewertungen auf den Grund, die von Ihrem GEFÜHL deutlich abweichen und machen Sie dann Ihre Hausarbeiten so gut, wie Sie es immer tun!
- Bei einer relativ hohen Anzahl von Juroren sehe ich das methodische Problem, dass einzelne Juroren vielleicht überdurchschnittlich kritisch sind und andere eher mal einen Punkt mehr geben, wenn sie unsicher sind. Wie sind dann die Ergebnisse dieser Juroren untereinander vergleichbar? Immerhin gilt bei dem Wettbewerb die Regel: Je mehr Punkte, desto höher die Siegchance… Ob jemandem da draussen etwas dazu einfällt? Dann gern her mit den Kommentaren!
Ich jedenfalls werde die von beiden Juroren freundlicherweise eingeräumte Möglichkeit nutzen, mit ihnen zu sprechen, um zu sehen, was ich an den bemängelten bzw. nicht so gut bewerteten Punkten noch verbessern kann. Letztlich aber zählt sowieso nur der Markterfolg und wenn ich diesem durch mich zeitweilig irritierende Beurteilungen näher komme.
P.S. Sollte ich aus den Feedbackgesprächen mit den Juroren Dinge erfahren, die publiziert gehören, werden sie natürlich hier später zu finden sein.
März 6, 2008, 11:40 am
interessant, scheint also nicht nur bei uns so makaber auseinanderzuliegen.
Eine kurze Suche bei google zeigt dann doch interessante Biographien und die Gründe für die pro bono Tätigkeit auf.
Der Juror mit dem Besten Foto jedenfalls findet sich hier: http://imckoe.de/1.jpg
Juli 4, 2009, 12:18 pm
Bei den Gewinnern des Wettbewerbs waren sich die Juroren anscheinend einig. Leider wird der BPW niemals eine zweite Siemens, SAP oder Ähnliches hervorbringen, weil jede Idee, bei der sich die Juroren einig sind niemals wirklich innovativ ist. Sie baut aut etwas auf oder hat Ähnlichkeiten mit Geschäftsideen die bereits funktionieren und die den Juroren bekannt sind. Schade eigentlich…
Juli 4, 2009, 6:05 pm
@ Max Mayer
Für den Spitzenbereich sehe ich das mit prozessbedingt gleichlaufenden Voten auch eher als zu bedauernden Verhinderungsfilter für wirlich ungewöhnliche Ansätze. Eine andere sich aus dem Prozess (Banken als Veranstalter und maßgebliche Sponsoren) ergebende Merkwürdigkeit könnte sich in einer Überbewertung der Finanzierung vor der revolutionären (schumpeterschen?) Idee ergeben.
Ich bin inzwischen selbst Juror (b-p-w.de) und Veranstalter (mikrobpw.de) und sehe ehrlich gesagt lieber Ideen, die mit evolutionärem Charme 10.000 Euro stabil aus dem Cash-Flow erwirtschaften, als dafür brachial mehrere 100.000 an Kapital riskant bewegt zu haben. Und ich finde es volkswirtschaftlichauch beinahe einleuchtender, auf 10 kleine Ideen mit Wachstumschancen zu setzen als immer nur den Siemens/SAP-Nummer aus dem Hut zu ziehen. Wobei die beide in ihren Gründungsjahren ganz hübsch Märkte aufgemischt bzw. geschaffen haben.