Klinische Vorhersagemodelle werden oft mithilfe großer, routinemäßig gesammelter Datensätze erstellt. Kaggle ist eine beliebte Wettbewerbs- und Datenplattform, auf der Nutzer Analysefähigkeiten an verschiedenen Datensätzen lernen und anwenden können. In einer Studie der Queensland University of Technology und des Australian Center for Health Services Innovation haben sich die Wissenschaftler mit der Analyse dieser Kaggle-Datensätze befasst. Verwendet wurden explorative Analysen, um die Datenqualität und die Berichterstattung von Informationen anhand von neun Punkten aus der TRIPOD+AI-Checkliste zu prüfen.
Ergebnis
Es zeigte sich, dass bei zwei großen, öffentlich verfügbaren Kaggle-Datensätze zu Schlaganfall und Diabetes keine klaren Angaben zur Datenherkunft vorhanden waren, aber in klinischen Vorhersagemodellen in Fachartikeln weit verbreitet genutzt werden.
Ohne sichere Datenlage: In 125 Studien verwendet
Die Kaggle-Datensätze wurden in 125 Peer-Review-Studien verwendet, obwohl fast keine Informationen über den Ursprung der Daten, wie sie gesammelt wurden oder ob es sich um echte Patienten gehandelt hatte, vorhanden waren. Die Ergebnisse haben das Team um Forschungsleiter Alexander Gibson, der an beiden Institutionen tätig ist, eigenen Angaben nach "schockiert".
"Diese Datensätze verfügen über ungewöhnliche Muster, die ernste Fragen über ihre Authentizität und Eignung für die klinische Forschung aufwerfen", so der Forscher. Drei auf diesen Daten basierende Vorhersagemodelle wiesen auf einen Einsatz in der klinischen Praxis hin. Ein Modell wurde im Patent eines medizinischen Geräts genannt. Zudem wurden die Modelle in 86 Übersichtsartikeln zitiert.
"Ohne vertrauenswürdige Daten sind die Ergebnisse unzuverlässig, riskieren eine Irreführung der Ärzte und schaden den Patienten. Die Forscher empfehlen zusätzlich, dass die beiden fraglichen Datensätze von Kaggle entfernt werden, um einen weiteren Missbrauch zu verhindern. Sieben auf diesen Datensätzen beruhende Artikel wurden bereits von Fachmagazinen als unzuverlässig eingestuft und letztlich zurückgezogen.
Quelle: pte
