#sciencebased? – Das ist das Problem mit wissenschaftlichen Studien!

Science hier, evidenzbasiert da. Die Fülle an Informationen, die uns so mancher Influencer aus der wissenschaftlichen Literatur übermitteln will, können für viel Verwirrung sorgen und sind teilweise sogar widersprüchlich. In vielen Fällen scheint es, als würde die Forschung all die Prinzipien anfechten, die sich in Jahrzehnten der natürlichen Evolution des Sports herauskristallisiert haben. Somit passiert es nicht selten, dass Erkenntnisse aus der Literatur von vielen eingefleischten Athleten erst gar nicht angenommen werden. Warum wir jedoch nicht vorschnell urteilen sollten und nicht jede Studie gleich ist, das werden wir uns heute genauer ansehen.

Als Wissenschaftler, der selbst mit Herzblut und Leidenschaft trainiert, fällt es mir immer wieder auf, dass gewisse Medien oder auch Personen der Öffentlichkeit versuchen, wissenschaftliche Daten zu interpretieren und dabei ein völlig anderes Bild wiedergeben als die Studie oder die Allgemeinheit der Literatur selbst. Grund dafür ist, dass viele nicht verstehen, welche Unterschiede zwischen den Forschungsarbeiten bestehen, und sich damit schwertun die Ergebnisse richtig zu deuten oder sich nur die Aspekte herausnehmen, die in ihre eigenen Glaubensvorstellungen passen. Es gibt einige Punkte, die wir verstehen müssen, bevor wir versuchen, praxisrelevante Empfehlungen aus wissenschaftlichen Untersuchungen abzuleiten.

Interventionsstudien

Die beste Möglichkeit zu überprüfen, ob eine gewisse Intervention, das heißt eine bestimmte Ernährung, ein Stoff, ein Trainingsprogramm und so weiter zu einem bestimmten Ergebnis führt, ist eine Interventionsstudie, in der man auf experimentelle Weise messbare Daten gewinnt. Es gibt jedoch verschiedene Arten dieser Interventionsstudien mit verschiedener Aussagekraft.

Studien an Zellen

In Zellstudien werden, wie der Name schon sagt, Schlussfolgerungen basierend darauf abgeleitet, wie gut Zellen unter Laborbedingungen auf eine bestimmte Substanz oder gewisse Umwelteinflüsse reagieren. Da es sich hierbei nicht um einen lebenden Organismus, sondern nur um einzelne Bestandteile in einer Petrischale oder einem Reagenzglas handelt, bezeichnet man Zellstudien auch als „in vitro“ Studien (außerhalb des lebenden Organismus). Aus diesem Grund stellen sie in der Regel nur den ersten Schritt dar, um gewisse Zusammenhänge mit geringem Aufwand und ohne Schäden an Mensch und Tier zu überprüfen. Allerdings ist dabei ungewiss, ob die gleiche Reaktion auch „in vivo“, also im lebenden Organismus, hervorgerufen wird, da zahlreiche Faktoren des Stoffwechsels dazu führen können, dass die Substanz in der untersuchten Form und Menge die Zellen im Körper erreicht.

Studien an Tieren

Hinsichtlich ihrer Aussagekraft sind Tierstudien etwas besser geeignet als Zellversuche, aber geben immer noch keine vollkommenen Aufschlüsse darüber, wie eine Intervention am Menschen wirkt. Ein Beispiel dafür ist, dass Ratten, die häufig Gegenstand von Tierstudien sind, da ihr Stoffwechsel dem Menschen ähnlich ist und sie einfach zu halten sind, anders mit Zucker umgehen als wir Menschen, weshalb die Erkenntnisse in Bezug auf Zucker nicht 1:1 auf uns übertragbar sind. Tierversuche sind jedoch die einzige Möglichkeit, Dinge vorab zu testen und herauszufinden, ob für Menschen ein Risiko oder ein Nutzen besteht. Somit kann das Risiko für Schäden in Humanstudien minimiert werden.

Humanstudien

Bevor eine Humanstudie zugelassen wird, müssen die Forscher einen sehr detaillierten Antrag stellen, um von einer Ethikkommission prüfen zu lassen, ob das Experiment zu keinerlei Schäden bei den Teilnehmern führen kann. Aber auch hier gibt es gewisse Parameter, die die Aussagekraft bestimmen. Die höchste Aussagekraft besitzen sogenannte randomisierte Kontrollstudien, im Englischen auch als „randomised controlled trials“, kurz RCT, bezeichnet. In der Medizin muss sich bis auf wenige Ausnahmen jedes Medikament in dieser Art der Studien mehrfach beweisen, bevor es für den Markt zugelassen wird.

Um herauszufinden, ob eine Sache zu einem bestimmten Ergebnis führt, müssen RCTs folgende Kriterien erfüllen:

1. Eine Gruppe von Personen wird zufällig aufgeteilt (randomisiert) in eine oder mehrere Interventionsgruppen und eine Kontrollgruppe. Durch die zufällige Aufteilung werden jegliche individuelle Unterschiede zwischen den Probanden gleichmäßig aufgeteilt. Diese umfassen beispielsweise eine „gute“ oder „schlechte“ Genetik, den Lebensstil, Raucher, kranke oder gesunde Menschen, etc. Durch die zufällige Aufteilung erhält man also zwei oder mehrere Gruppen auf einem ähnlichen Niveau.
2. Die Interventionsgruppe(n) erhält/erhalten die zu untersuchende Maßnahme. Sei es eine Ernährung, eine Substanz oder ein Trainingsprotokoll. Bei mehreren Interventionsgruppen können verschiedene Dosierungen, Kombinationen und Abstufungen verwendet und mit der Kontrollgruppe verglichen werden.
3. Die Kontrollgruppe bekommt ein Placebo. Um herauszufinden, ob eine getestete Maßnahme wirkt, muss die Intervention mit dem Ausbleiben einer Intervention verglichen werden, ohne dass die Kontrollgruppe weiß, dass sie keine Intervention erhält. Ansonsten besteht die Gefahr, dass ein möglicher Effekt in der Interventionsgruppe nur darauf basiert, dass die Probanden wissen, dass sie eine Maßnahme erhalten. Demzufolge erhält die Kontrollgruppe ein Placebo, beispielsweise eine Pille ohne Wirkstoff.
4. Die Anwendung der Intervention muss verblindet sein. Ähnlich zum Placebo bedeutet das, dass die Teilnehmer nicht erkennen dürfen, ob die der Interventionsgruppe angehören und somit die zu testende Maßnahme erhalten oder sie sich in der Placebogruppe befinden. Um einen Schritt weiter zu gehen, bedeutet eine Doppelblindstudie, dass auch die Personen, die die Maßnahme gegenüber den Teilnehmern anwenden oder verabreichen, nicht wissen, ob es sich dabei um die Intervention oder das Placebo handelt. Beispielsweise werden die Interventions- und Placebo-Pillen von einer Person verteilt, die selbst nicht weiß, welche Pillen den Wirkstoff enthält.

Auf diesem Weg gelingt es einem RCT den Effekt des getesteten Produktes oder der getesteten Maßnahme genau zu isolieren, während alle anderen Rahmenbedingungen möglichst gleich gehalten werden. Über die Zeit wird so ermittelt, ob eine Intervention einen Effekt wirklich hervorruft. Besonders wenn wir uns jedoch Studien über bestimmte Ernährungsformen ansehen, gibt es einige Limitationen, die wir im Hinterkopf behalten müssen.

1. Es ist unmöglich die Gruppen zu verblinen, da sowohl die Teilnehmer als auch die Forscher wissen müssen, an welche Richtlinien sie sich halten müssen. Wenn die Interventionsgruppe beispielsweise angeleitet wird, kein Fleisch zu essen, dann wird das womöglich auch ihr Alltagsverhalten beeinflussen.
2. Menschen fällt es in der Regel schwer, eine neue Ernährung zu befolgen. Daher ist es nicht ungewöhnlich, dass die Rate der Einhaltung der gegebenen Richtlinien bei gerade einmal 50 Prozent liegt und damit nicht wirklich die zu testende Intervention repräsentiert. Umgehen kann man dieses Problem nur, wenn man die Probanden stationär untersucht, das heißt sie quasi einsperrt und ihnen nur die Nahrungsmittel und Mahlzeiten zur Verfügung stellt, die den Richtlinien entsprechen. Um solch eine Untersuchung durchzuführen, müssen die Teilnehmer allerdings mit einer hohen Kompensation entlohnt werden, was die Studie einerseits sehr teuer macht, zum anderen die Dauer und Teilnehmerzahl stark einschränkt.
3. Interventionsstudien sind teuer und von kurzer Dauer. Dinge wie Herz-Kreislauferkrankungen oder Krebs brauchen Jahre, um sich zu entwickeln und eine Gruppe Probanden dazu zu bringen, sich für die nächsten 20 Jahre einer bestimmten Ernährungsform zu verschreiben und sie auch einzuhalten, ist ein schwieriges Unterfangen. Würdest du dich für eine Studie über die nächsten 20 Jahre vegetarisch ernähren, wenn du vorher gern auch hin und wieder ein Stück Fleisch gegessen hast? Das ist schon ein großer Schritt für eine einzelne Person. Dies ist ein weiterer Grund weshalb experimentelle Studien meist nicht länger als ein paar Wochen oder Monate andauern. Um das Risiko für eine mögliche Erkrankung abzuschätzen, werden dann in der Regel nur stellvertretende Surrogatmarker gemessen, wie beispielsweise die Blutfettwerte oder der Blutdruck, die ein gewisses Risiko vorhersagen sollen. Die Krankheit muss jedoch nicht immer eintreten, nur weil die Surrogatmarker erhöht sind.
4. Sie haben weniger Teilnehmer. Wie bereits erwähnt, bekommen die Probanden von Interventionsstudien in der Regel eine Art Aufwandsentschädigung, um am Ball zu bleiben und die Motivation zur Teilnahme zu erhöhnen. Es ist außerdem schwierig, genügend Probanden zu finden und sie dann in der Studie zu halten. Sind es zu wenige Teilnehmer, wird es kritisch, genügend Daten zu sammeln und die Unterschiede zwischen Intervention und Placebo mit einer statistischen Signifikanz (dazu später mehr) zu belegen. Man spricht dann von einer zu geringen statistischen Power. Vielleicht hat die eine Gruppe tatsächlich mehr Muskeln aufgebaut oder mehr Fett verloren, aber die Teilnehmerzahl war zu gering, um eine statistische Signifikanz abzuleiten.

Auch wenn Interventionsstudien die beste Möglichkeit sind, um eine Ursache für einen Effekt zu finden, können einige der genannten Limitationen behoben werden, wenn wir uns bereits bestehende Statistiken für verschiedene Gruppen anschauen und daraus Schlüsse ziehen. Diese Art von Studien nennt man Beobachtungsstudien oder epidemiologische Studien, da wir nicht aktiv einen Parameter verändern oder steuern, aber stattdessen nach Zusammenhängen und Korrelationen suchen. Das Problem hierbei ist jedoch, dass sie nicht beweisen können, dass eine gewisse Ursache einen bestimmten Effekt herbeiführt.

Correlation vs. Causation
(Korrelation vs. Kausalität)

Es gibt einen erheblichen Unterschied zwischen der Kausalität, also dem bewiesenen Zusammenhang eines Effektes aufgrund einer Intervention, und der Korrelation, die man aus Beobachtungsstudien ableitet. Ein anschauliches Beispiel ist der Zusammenhang zwischen der Größe von T-Shirts und der Körpergröße. Eine epidemiologische Studie würde herausfinden, dass große Menschen eine größere T-Shirt Größe tragen. Das bedeutet jedoch nicht, dass das Tragen von großen T-Shirts zum Anstieg der Körpergröße führt.

Man würde nun eine Interventionsstudie durchführen und eine Gruppe von Personen mit ähnlicher Körpergröße in zwei gleiche Gruppen einteilen, wobei man die eine Gruppe über zwei Jahre hinweg größere und sie anderen Gruppe kleinere T-Shirts tragen lässt, um herauszufinden, ob es am Ende einen Unterschied in der Körpergröße gibt.

Ein etwas praxisrelevanteres Beispiel ist der Zusammenhang zwischen Light-Getränken und Diabetes. Menschen, die oft zuckerfreie Softdrinks konsumieren, tendieren in Beobachtungsstudien dazu, öfter unter Diabates zu leiden. Doch wenn man gesunden Menschen in einer Interventionsstudie entweder Wasser oder zuckerfreie Brause zu trinken gibt, dann sieht man keinen Unterschied im Auftreten der Stoffwechselerkrankung. Somit belegt erst das Experiment, dass Light-Getränke nicht zu Diabetes führen und entkräftigt somit die Hypothese, die man aus der Beobachtungsstudie ableiten könnte. Stattdessen ist es wahrscheinlicher, dass Diabetiker zu den zuckerfreien Alternativen greifen, da es dann einfacher für sie ist, ihren Blutzuckerspiegel zu regulieren.

Darüber hinaus gibt es Dinge, die scheinbar ohne Grund eine Korrelation aufweisen. Beispielsweise steigt in den Sommermonaten der Verzehr von Eiscreme zeitgleich mit den Mordfällen in den USA. Das bedeutet jedoch nicht, dass einen Eiscreme zum Mörder macht. Nur weil zwei Dinge zur gleichen Zeit passieren, bedeutet das nicht, dass das eine das andere auslöst.

Jetzt könnte man den Eindruck gewinnen, dass Beobachtungsstudien nur für Verwirrung sorgen, und tatsächlich verwenden gerade die Massenmedien solche Daten, um mit besorgniserregenden Schlagzeilen zu schockieren. Dabei besitzen epidemiologische Studien einige Vorteile gegenüber Interventionsstudien. Zum einen sind sie kostengünstiger, da man keine Teilnehmer bezahlen muss, die sich an eine Intervention halten müssen. Stattdessen muss man nur Daten erheben und sie auswerten. Weiterhin kann man eine deutlich größere Zahl an Personen untersuchen, da die Daten für gewöhnlich in großen Datenbanken verfügbar sind. Abschließend helfen Beobachtungsstudien dabei, Hypothesen aufzustellen, die im Folgenden durch Interventionsstudien bestätigt oder widerlegt werden können, um tatsächlich herauszufinden, ob ein kausaler Zusammenhang zwischen zwei Dingen besteht oder nicht.

Wie man die Studienergebnisse interpretiert

Jetzt kennen wir den Unterschied zwischen den einzelnen Arten von Studien und wissen, dass Studien den Unterschied zwischen zwei Gruppen messen. Man kann nicht einfach nur einer Gruppe ein Supplement geben und schauen, wie viel Muskelmasse sie nach zwölf Wochen aufgebaut haben. Man benötigt eine Kontrollgruppe, um dem Supplement die Effekte zuschreiben zu können.

Doch auch wenn man zwei Gruppen miteinander vergleicht, könnte es sein, dass man lediglich Glück hat und einen Unterschied misst. Um dies auszuschließen, gibt es einen mathematischen Wert, den p-Wert, auf Englisch auch als p-value bezeichnet. Einfach ausgedrückt sagt uns dieser Parameter, wie groß die Wahrscheinlichkeit ist, dass der beobachtete Unterschied auf reinem Zufall basiert. Ein Wert von 0,6 bedeutet beispielsweise, dass die Chance für ein zufälliges Ergebnis bei 60 Prozent liegt. Wissenschaftler haben sich daher darauf verständigt, dass ein p-Wert geringer als 0,05 beziehungsweise die eine fünfprozentige Wahrscheinlichkeit des Zufalls bedeutet, dass eine Ergebnis als statistisch signifikant gilt.

>> Hier könnt ihr das heißeste Fitness-Clothing zum besten Preis bestellen <<

Dieser Wert ist der wichtigste Parameter, den du bei der Interpretation beachten musst. Je höher die Population einer Studie ist, das heißt, je mehr Teilnehmer sie umfasst und je größer der gemessene Unterschied zwischen den Gruppen, desto geringer ist der p-Wert und damit die Wahrscheinlichkeit für zufällige Ergebnisse. Eine Studie mit einem geringen p-Wert reicht aber nicht aus, um absolute Schlussfolgerungen zu ziehen. Je mehr Studien in eine bestimmte Richtung deuten, desto klarer wird das Bild, das sie anzeichnen. Aus diesem Grund kann man besonders in Pilotstudien oft den Satz lesen: „Mehr Forschungsarbeiten sind nötig, um den Effekt zu bestätigen.“ Deuten die Ergebnisse mehrere Studien nicht in die gleiche Richtung oder gibt es nur sehr wenig Datenmaterial, welches auf einen Effekt hindeutet, sollte man vorsichtig sein, ein endgültiges Fazit zu ziehen.

Systematische Reviews und Meta-Analysen

Aus den eben genannten Gründen werden systematische Reviews durchgeführt, in denen die Forscher versuchen, die verfügbaren Daten aus den verfügbaren Studien zu einem gewissen Thema zusammenzufassen. Ebenfalls erläutern sie, wie sie die Suche nach den Studien gestaltet haben, sodass das Risiko geringer ist, dass nur Studien eingeschlossen werden, die beispielsweise einen positiven Effekt zeigen und andere außen vorlassen, die der persönlichen Meinung der Forscher entgegenstehen. Man würde das als „Cherrypicking“ bezeichnen oder wenn wir ein deutsches Sprichwort verwenden: „die Rosinen aus dem Kuchen herauspicken.“ Das ist auch der Unterschied zwischen einem systematischen Review und einem normalen Review, in dem die Autoren nicht darlegen, wie sie bei der Suche vorgegangen sind.

Nachdem alle relevanten Studien für ein Review gefunden sind, können sie zu einer sogenannten Meta-Analyse kombiniert werden, in dem alle verfügbaren Forschungsdaten zu einem Thema zusammengefasst werden. Sie präsentieren ihre Ergebnisse üblicherweise in einem Diagramm, welches man als Forest Plot bezeichnet. So bekommt man einen schnellen Überblick.

Wie man sehen kann, deuten die vier Studien alle in die gleiche Richtung. Die horizontalen Linien geben die potenzielle Abweichung der Ergebnisse an. Man nennt dies in der Wissenschaft auch „Confidence Interval“. Studie #3 besitzt demnach eine hohe potenzielle Abweichung, was bedeutet, dass eine Wiederholung der Studie möglicherweise zu anderen Ergebnissen führen würde. In der Zusammenfassung können wir an der Raute unten ablesen, welchen Effekt und welche Richtung die Studien zusammengenommen besitzen. Das ist der Grundm weshalb Meta-Analysen die höchste Aussagekraft besitzen und ein größeres Bild über die Literatur abzeichnen. Ebenso wäre es denkbar, dass manche Studien in die negative Richtung zeigen, wohingegen andere einen positiven Trend berichten. Erst die Gesamtheit der Daten lässt praxisrelevante Schlussfolgerungen zu.

Meta-Analysen können Ergebnisse von sowohl RCTs als auch Beobachtungsstudien umfassen. Man sollte daher also beachten, dass die Qualität einer Meta-Analyse maßgeblich von den Studien abhängt, die in ihr zusammengefasst sind. Eine Meta-Analyse von schlechten Studien ist eine schlechte Meta-Analyse. Auch wenn zu verschiedenartige Studien eingeschlossen werden, kann eine Meta-Analyse irreführend sein.

Wenn eine Meta-Analyse beispielsweise erfassen will, ob eine Proteinzufuhr den Muskelaufbau steigert, dann könnte die eine Studie 1000 70-Jährige umfassen, die drei Wochen lang zwei Esslöffel dicke Bohnen mehr am Tag essen und dabei keine Muskeln aufbauen, während eine andere Studie eine Handvoll 21-Jährige untersucht, die zwei Jahre lang Steroide nehmen, schwer trainieren und Wheyprotein in sich hineinschütten, wobei sie natürlich wachsen wie Unkraut. Eine Meta-Analyse dieser beiden Studien würde zum größten Teil auf den Ergebnissen der ersten Studie basieren, da sie mehr Teilnehmer umfasst und damit fälschlicherweise den Eindruck vermitteln, dass Protein kaum einen Einfluss auf das Muskelwachstum hat. Das Problem nennt man Heterogenität und bedeutet einfach ausgedrückt, dass sie Untersuchungen in der Meta-Analyse hinsichtlich des Designs, den Teilnehmern und der verwendeten Methoden zu unterschiedlich und damit nicht vergleichbar ist.

Manche Aspekte der Heterogenität können gemessen werden. Man bezeichnet sie als statistische Heterogenität. Andere hingegen können nicht gemessen werden und werden daher als klinische Heterogenität bezeichnet. Die statistische Heterogenität bedeutet, dass die Studien verschiedene statistische Methoden verwendet haben, um das Ergebnis zu messen. Die wird als p-Wert und I²-Wert ausgedrückt. Letzterer von beiden zeigt, wie groß die Unterschiede zwischen den Studien sind. Ein Wert von 25 Prozent gilt als gering, 75 Prozent hingegen als hoch. Das sagt jedoch nichts über die klinische Heterogenität aus. Die einzige Möglichkeit, sie zu bewerten, ist der Blick auf die einzelnen Studien und abzuschätzen, ob sie in vergleichbaren Situationen durchgeführt wurden. Meta-Analyse bieten in der Regel Tabellen mit den Studien, die eingeschlossen wurden, aber es ist nicht ganz einfach, jede Studie im einzelnen anzusehen und zu vergleichen.

RCTs vs. Meta-Analysen

Man könnte sich nun die Frage stellen, was besser ist. Eine riesige randomisierte Kontrollstudie mit 5000 Probanden oder eine Meta-Analyse, die 100 kleinere Studien mit jeweils 50 Probanden umfasst? Wahrscheinlich wäre die große RCT in der Lage, einen höheren Standard einzuhalten, weshalb sie vertrauensvoller sein müsste. Es hängt jedoch auch davon ab, wie die Studien einzeln betrachtet aussehen. Eine Untersuchung in einem der prestigeträchtigsten Journale der Welt, dem New England Journal of Medicine, fand heraus, dass 35 Prozent der groß angelegten RCTs zu Ergebnissen kamen, die im Zwiespalt mit vorherigen Meta-Analysen standen [1]. Das bedeutet vereinfacht ausgedrückt, dass man den Ergebnissen einer Meta-Analyse mit einer Sicherheit von 65 Prozent vertrauen kann. Natürlich hängt dies jedoch wieder von der Heterogenität der Ergebnisse und der statistischen Signifikanz der Daten ab.

Schlussfolgerung

Wir haben in diesem Artikel sehr ausführlich beschrieben, welche Faktoren man bei der Betrachtung von wissenschaftlichen Studien beachten sollte. Viele machen den Fehler und lesen lediglich den Abstract einer einzigen Studie auf PubMed und sind anschließend der Meinung, eine praxisrelevante und uneingeschränkt gültige Information erhalten zu haben. Doch spätestens jetzt sollte dir aufgefallen sein, dass das nicht so einfach ist. Wenn du faul bist und nach einer schnellen Antwort suchst, dann bist du mit einer Meta-Analyse zu einem gewissen Thema sicherlich am besten beraten. Alternativ kannst du nach einer groß angelegten Kontrollstudie suchen, die eine Personengruppe umfasst, die für sich relevant ist.

Die Wissenschaft ist komplex und kann nie eine definitive Antwort geben. Das Ziel ist es, die Realität so gut und genau wie möglich zu erfassen und darzustellen. Doch wir müssen uns immer im Klaren darüber sein, dass die Möglichkeit besteht, dass das gezeichnete Bild nicht zu 100 Prozent korrekt ist.

Auch wenn dieser Artikel recht lang geworden ist, sind die genannten Punkte sehr vereinfacht dargestellt, um euch, der Community, einen Leitfaden zu geben, mit dem ihr Studienergebnisse besser interpretieren und selbst nachvollziehen könnt, ob jemand eine Studie fehlinterpretiert oder gar fälschlicherweise zu seinem eigenen Vorteil missbraucht.

https://www.instagram.com/p/B0-_gUjIzmN/

Literaturquelle:

LeLorier, Jacques, et al. „Discrepancies between meta-analyses and subsequent large randomized, controlled trials.“ New England Journal of Medicine 337.8 (1997): 536-542.