Im Unterschied zu den Fakten sind die Studierendenurteile abhängig von den jeweils antwortenden Studierenden, sie sind einer gewissen Unsicherheit unterworfen. Wie gut sie jeweils dem "wahren" Urteilswert für einen Fachbereich entsprechen, hängt wesentlich von der Zahl der Antwortenden und der Bandbreite ihrer Bewertungen ab.
Wie viel "Vertrauen" man in ein solches Durchschnittsurteil haben kann, drückt sich statistisch durch ein sogenanntes Vertrauens- oder Konfidenzintervall aus. Diese Konfidenzintervalle lassen sich nutzen, um die Unsicherheit der Urteilswerte in die Rangruppenberechnung einzubeziehen. Statt eine feste Grenzen für die Durchschnittsurteile festzulegen und danach die Spitzen- bzw. Schlussgruppe zu bestimmen, wird zusätzlich die Länge des entsprechenden Konfidenzintervalls mit einbezogen:
Liegt der in dieser Untersuchung erhobene bundesweite Mittelwert für das Fach außerhalb des Intervalls eines Faches an einer Hochschule, erfolgt eine Einordnung in eine der Extremgruppen (
Spitzen- oder
Schlussgruppe.)
Neu ist seit 2011, dass nun um den bundesweiten Mittelwert zwei zusätzliche Grenzen eingezogen werden. Fachbereiche, deren Konfidenzintervall komplett zwischen diesen beiden Grenzen liegen, werden, sofern sie nicht bereits der Spitzengruppe angehören, der
Mittelgruppe zugeordnet.
Ist allerdings das Konfidenzintervall so breit, dass es über den Mittelwert und eine dieser Grenzen hinausragt, werden diese Werte nicht in das Ranking einbezogen, weil sie nicht klar einer Gruppe zuordenbar sind. Dies betrifft insbesondere Fachbereiche, bei denen der Rücklauf zwischen 15 und 30 liegt.
Vorteile: (a) Kleine Fachbereiche haben weiterhin die Chance ins Ranking zu kommen. (b) Die Aussagekraft der Gruppenzuordnung ist auch bei kleinen Fallzahlen der Studierendenurteile gesichert, Zweifelsfälle werden beim betreffenden Indikator aus dem Ranking herausgenommen.
Abbildung 1: Fehlerbalkendiagramm mit Ranggruppenzuordnung und nicht gerankten Fachbereichen (farblich gekennzeichnet) Es kann dabei vorkommen, dass Fachbereiche mit gleichen oder ähnlichen Mittelwerten, aber unterschiedlich großen Konfidenzintervallen, wenn sie an der Grenze zwischen einer Extremgruppe und der Mittelgruppe platziert sind, gelegentlich in unterschiedliche Ranggruppen einsortiert werden. Es kann durchaus vorkommen, dass ein Fachbereich mit einem besseren Mittelwert in der Mittelgruppe landet, während derjenige mit dem "schlechteren" Mittelwert in die Spitzengruppe einsortiert wird.
Eine solche, von einer rein mittelwertorientierten Rangordnung abweichende Gruppierung ist ungewohnt, aber keineswegs unplausibel: Die Orientierung an den Konfidenzintervallen drückt inhaltlich die Berücksichtigung der Homogenität der Beurteilungen, technisch hingegen die größere Schlusssicherheit auf den im statistischen Sinne "wahren" Mittelwert der Grundgesamtheit aus.
Im Unterschied zu den über Quartile ermittelten Gruppen (die immer einen bestimmten Prozentsatz der Hochschulen enthalten) oder "Top-10-Listen" ist bei diesem Verfahren die Größe der (Spitzen-) Gruppe nicht festgelegt, sie ergibt sich vielmehr aus dem Ausmaß von Binnenvarianz in den einzelnen Fachbereichen und der Varianz zwischen den untersuchten Fachbereichen. Wenn in einem Fach die Unterschiede zwischen einzelnen Hochschulen gering und die Antworten in den Studienbereichen sehr heterogen ausfallen, sind nur wenige Hochschulen in der Schluss- oder Spitzengruppe anzutreffen.
Die hier gewählte Ranggruppenzuordnung erlaubt zuverlässig die Identifikation von "gut" und "schlecht" bewertet, wenn man das Durchschnittsurteil im Fach zum Maßstab nimmt. Dass bei sehr geringen Mittelwertunterschieden dann auch kleine Differenzen über die Zugehörigkeit zur Mitte oder zur Extremgruppe entscheiden, liegt in der Natur von Gruppenbildungen.
Die pdf-Downloads zu den Fächern enthalten jeweils eine Übersicht über die Fallzahlen zur Studierendenbefragung (ab 2010) sowie die zugehörigen Fehlerbalkendiagramme mit eingezeichnetem Mittelwert. Für 2011 werden die jeweils nach dem neuen Kriterium bei einzelnen Indikatoren nicht gerankten Fachbereiche in den Fehlerbalkendiagrammen nicht dargestellt. Die Diagramme werden in Kürze zur Verfügung stehen.