Statistische Ermittlung von Ranggruppen

Aus CHE-Ranking MethodenWiki

Wechseln zu: Navigation, Suche

Zur Einteilung in die Ranggruppen Spitzen-, Mittel- und Schlussgruppe mit der farblichen Kennzeichnung grün, gelb und blau werden für Fakten und Studierendenurteile zwei grundlegend verschiedene Verfahren eingesetzt.

Inhaltsverzeichnis

Fakten: Gruppenbildung nach Quartilen

Bei den Fakten (z.B. Drittmittel, Wissenschaftliche Veröffentlichungen, Erfindungsmeldungen, Promotionen) werden die Werte der Größe nach geordnet und dann in drei Gruppen eingeteilt: Die Hochschulen der ersten 25 Prozent der Rangwerte (1. Quartil) werden der Spitzengruppe zugeteilt, die Hochschulen der nächsten 50 Prozent der Rangwerte (2. und 3. Quartil) der Mittelgruppe und die letzten 25 Prozent der Rangwerte (4. Quartil) der Schlussgruppe. Wenn Werte an den Gruppengrenzen sehr dicht beieinander liegen, orientiert sich die Gruppeneinteilung an deutlichen Unterschieden in den Werten ("Sprungstellen"), in diesen Fällen werden dann alle Hochschulen mit ähnlichen Ergebnissen noch der besseren Gruppe zugeschlagen.

Studierendenurteile: Gruppenbildung nach signifikanten Abweichungen vom Durchschnittsurteil im Fach

Im Unterschied zu den Fakten sind die Studierenden- und Absolventenurteile abhängig von den jeweils antwortenden Studierenden (Absolventen), sie sind einer gewissen Unsicherheit unterworfen. Wie gut sie jeweils dem "wahren" Urteilswert für einen Fachbereich entsprechen, hängt wesentlich von der Zahl der Antwortenden und der Bandbreite ihrer Bewertungen ab.

Wie viel "Vertrauen" man in ein solches Durchschnittsurteil haben kann, drückt sich statistisch durch ein sogenanntes Vertrauens- oder Konfidenzintervall aus. Diese Konfidenzintervalle lassen sich nutzen, um die Unsicherheit der Urteilswerte in die Rangruppenberechnung einzubeziehen. Statt eine feste Grenzen für die Durchschnittsurteile festzulegen und danach die Spitzen- bzw. Schlussgruppe zu bestimmen, wird zusätzlich die Länge des entsprechenden Konfidenzintervalls mit einbezogen:

Liegt der in dieser Untersuchung erhobene bundesweite Mittelwert für das Fach außerhalb des Intervalls eines Faches an einer Hochschule, erfolgt eine Einordnung in eine der Extremgruppen (Spitzen- oder Schlussgruppe.)

Neu ist seit 2011, dass nun um den bundesweiten Mittelwert zwei zusätzliche Grenzen eingezogen werden. Fachbereiche, deren Konfidenzintervall komplett zwischen diesen beiden Grenzen liegen, werden, sofern sie nicht bereits der Spitzengruppe angehören, der Mittelgruppe zugeordnet. Mehr Details

Ist allerdings das Konfidenzintervall so breit, dass es über den Mittelwert und eine dieser Grenzen hinausragt, werden diese Werte nicht in das Ranking einbezogen, weil sie nicht klar einer Gruppe zuordenbar sind. Dies betrifft insbesondere Fachbereiche, bei denen der Rücklauf zwischen 15 und 50 liegt. Im Beispiel dunkelgrau gekennzeichnet, HS15, HS37, HS39 und HS43.

Vorteile: (a) Kleine Fachbereiche haben weiterhin die Chance ins Ranking zu kommen. (b) Die Aussagekraft der Gruppenzuordnung ist auch bei kleinen Fallzahlen der Studierendenurteile gesichert, Zweifelsfälle werden beim betreffenden Indikator aus dem Ranking herausgenommen.

Ranggruppen auf der Basis von Konfidenzintervallen

Es kann dabei vorkommen, dass Fachbereiche mit gleichen oder ähnlichen Mittelwerten, aber unterschiedlich großen Konfidenzintervallen, wenn sie an der Grenze zwischen einer Extremgruppe und der Mittelgruppe platziert sind, gelegentlich in unterschiedliche Ranggruppen einsortiert werden. Es kann durchaus vorkommen, dass ein Fachbereich mit einem besseren Mittelwert in der Mittelgruppe landet, während derjenige mit dem "schlechteren" Mittelwert in die Spitzengruppe einsortiert wird.

Eine solche, von einer rein mittelwertorientierten Rangordnung abweichende Gruppierung ist ungewohnt, aber keineswegs unplausibel: Die Orientierung an den Konfidenzintervallen drückt inhaltlich die Berücksichtigung der Homogenität der Beurteilungen, technisch hingegen die größere Schlusssicherheit auf den im statistischen Sinne "wahren" Mittelwert der Grundgesamtheit aus.

Im Unterschied zu den über Quartile ermittelten Gruppen (die immer einen bestimmten Prozentsatz der Hochschulen enthalten) oder "Top-10-Listen" ist bei diesem Verfahren die Größe der (Spitzen-) Gruppe nicht festgelegt, sie ergibt sich vielmehr aus dem Ausmaß von Binnenvarianz in den einzelnen Fachbereichen und der Varianz zwischen den untersuchten Fachbereichen. Wenn in einem Fach die Unterschiede zwischen einzelnen Hochschulen gering und die Antworten in den Studienbereichen sehr heterogen ausfallen, sind nur wenige Hochschulen in der Schluss- oder Spitzengruppe anzutreffen.

Die hier gewählte Ranggruppenzuordnung erlaubt zuverlässig die Identifikation von "gut" und "schlecht" bewertet, wenn man das Durchschnittsurteil im Fach zum Maßstab nimmt. Dass bei sehr geringen Mittelwertunterschieden dann auch kleine Differenzen über die Zugehörigkeit zur Mitte oder zur Extremgruppe entscheiden, liegt in der Natur von Gruppenbildungen.

Diese Berechnung wird bei den Urteilen der Bachelorstudierenden sowie bei den Urteilen der Masterstudierenden, sofern bereits vorhanden, und bei den Absolvent(inn)en-Urteilen angewandt.

Rating-Indikatoren

Bei Rating-Indikatoren werden verschiedene Informationen zu einem Indikator zusammengefasst. Dadurch werden Einzelaspekte nicht unangemessen stark gewichtet, sondern es führt vielmehr eine Mischung verschiedener Aspekte zu einem Gesamtbild. So setzt sich der Indikator Internationale Ausrichtung aus insgesamt vier Bewertungsaspekten zusammen: (1) Integration von Auslandsaufenthalten, (2) Internationalität der Studierenden, (3) Internationalität der Lehrenden am Fachbereich sowie (4) fremdsprachige Lehre. Der Indikator Bezug zu Berufspraxis setzt sich aus (1) dem Anteil der ECTS aus Praxiselementen, (2) Anteil der Lehrenden aus der Praxis und (3) Anteil der Abschlussarbeiten in Kooperation mit einem Unternehmen zusammen. Da es sich um ein Rating-Verfahren handelt erfolgt die Gruppenzuordnung anhand festgelegter Punktwerte. Es gibt keine Standardsetzung über alle Fächer hinweg sondern die Punkte werden fächerspezifisch vergeben. Dadurch ist es theoretisch möglich, dass z.B. alle Fachbereiche die Spitzengruppe erreichen. Auch ist es Fachbereichen möglich, in die Spitzengruppe zu gelangen, wenn nicht in allen betrachteten Kriterien Spitzenwerte erzielt werden.
Folgende Rating-Indikatoren werden aktuell im Ranking dargestellt:

Weiterführende Links zum Vorgehensmodell


zurück zu

Persönliche Werkzeuge