Auch in diesem Jahr haben wir im Rahmen des Dies Academicus der Universität Hohenheim den ideas & more GmbH Young Research Paper Award vergeben. Der Preis richtet sich an Nachwuchswissenschaftler:innen der Fakultät Wirtschafts- und Sozialwissenschaften und zeichnet besonders herausragende Veröffentlichungen aus, die in hochrangigen nationalen oder internationalen Fachzeitschriften erschienen sind. Unser Glückwunsch geht dieses Mal an Marius Puke für seine Arbeit mit dem Titel „Honest calibration assessment for binary outcome predictions“, erschienen in Biometrika (https://doi.org/10.1093/biomet/asac068).
In vielen Situationen hängen unsere Entscheidungen davon ab, wie wahrscheinlich bestimmte Ereignisse eintreten werden. Beispielsweise entscheiden wir im Alltag, ob wir einen Regenschirm mitnehmen, abhängig von der voraussichtlichen Regenwahrscheinlichkeit. In der Bankenwelt beeinflusst die Kreditausfallwahrscheinlichkeit, ob ein Kunde einen Kredit erhält. Auch in der Medizin werden oft Entscheidungen getroffen, indem die Wahrscheinlichkeit für den Behandlungserfolg einbezogen wird. Ein Entscheidungsträger sollte deswegen hoffen, dass die Wahrscheinlichkeitsprognosen verlässlich sind. Die Bewertung der Zuverlässigkeit solcher Prognosen aus statistischer Sicht ist jedoch keineswegs einfach. Die Publikation von Marius Puke, Timo Dimitriadis (Uni Heidelberg), Alexander Henzi (ETH Zürich), Lutz Dümbgen und Johanna Ziegel (beide Uni Bern) präsentiert eine neue und vielversprechende Methode, um solche Wahrscheinlichkeitsprognosen ehrlich zu evaluieren.
Im Kern handelt es sich bei der Methode um universell einsetzbare Konfidenzintervalle für die statistische Überprüfung der zugrundeliegenden Prognosemodelle. Für zwei beispielhafte Prognosemodelle zeigen die Grafiken unten die Intervalle, in den die wahre Eintrittswahrscheinlichkeit für das Event mit einer gewissen Konfidenz liegt. Das grüne Schaubild zeigt ein Prognosemodell, bei dem die Wahrscheinlichkeitsprognosen als zuverlässig betrachtet werden können, da die Winkelhalbierende innerhalb des Konfidenzbandes liegt. Im Gegensatz dazu lässt das rote Intervall darauf schließen, dass die Wahrscheinlichkeitsprognosen nicht vertrauenswürdig sind: wenn das rote Modell eine Eintrittswahrscheinlichkeit von 25% prognostiziert, dann tritt das Ereignis durchschnittlich nur in etwa 12% der Fälle ein. Das bedeutet, dass das rote Modell den Ereigniseintritt überschätzt und den Entscheidungsträger zu falschen Schlussfolgerungen verleitet. Die vorgestellte Methode ist praxisorientiert und eignet sich insbesondere für die Evaluation von Maschine-Learning-Methoden, die mittlerweile häufig zur automatisierten Entscheidungsfindung verwendet werden.
