Freigeisterhaus Foren-Übersicht www.artikeldrei.de
 FAQFAQ   SuchenSuchen   MitgliederlisteMitgliederliste   NutzungsbedingungenNutzungsbedingungen   BenutzergruppenBenutzergruppen   LinksLinks   ChatChat   RegistrierenRegistrieren 
 ProfilProfil   KarteKarte   Einloggen, um private Nachrichten zu lesenEinloggen, um private Nachrichten zu lesen   LoginLogin 

Betrug, p-hacking, Spreadcheats ( ;-) ) und andere Unschönheiten

 
Neues Thema eröffnen   Neue Antwort erstellen   Drucker freundliche Ansicht    Freigeisterhaus Foren-Übersicht -> Wissenschaft und Technik
Vorheriges Thema anzeigen :: Nächstes Thema anzeigen  
Autor Nachricht
Kival
Feminist Ghost



Anmeldungsdatum: 14.11.2006
Beiträge: 23224

Beitrag(#1924783) Verfasst am: 27.05.2014, 22:26    Titel: Betrug, p-hacking, Spreadcheats ( ;-) ) und andere Unschönheiten Antworten mit Zitat

... oder auch: Das Replikationsproblem! Wie vielleicht einige von euch mitbekommen haben, ist in den letzten Jahren ein größeres Augenmerk auf einige mehr oder weniger eindeutig fragwürdigen Praxen in der empirischen Forschung der gefallen. Dies gilt vor allem in der Psychologie, wo vor allem ein Paper von Bem zur Präkognition für Aufruhr sorgte, da es Replikationsversuche anregte, die natürlich misslangen. Einigen fiel aber auf, dass es vielleicht auch bei anderen als offensichtlich unsinnigen Studien (wie Bems) Probleme geben könnte und deshalb gibt es gerade in der Psychologie momentan viel Nachprüfungen älterer, vor allem einflussreicher Forschungsergebnisse und entsprechend immer wieder mehr oder weniger große Skandale. Das zeigt nicht, dass die Psychologie vor allem betroffen ist, sondern nur, dass es eine ausreichende Zahl von Psychologen und Psychometrikern (und Statistikern) gibt, die sich ernsthaft für das Problem interessieren. Nur weil es in anderen Sozialwissenschaften weniger diskutiert wird, ist dort das Problem keineswegs geringer und auch zumindest Medizin und Teile der Biologie sind betroffen.

Vieles davon hat mit Problemen beim Verständnis und der Anwendung statistischer Methoden zu tun (das dürfte für die meisten Fälle des p-hackings gelten) oder auch der Nutzung für ernsthafte Forschung völlig unangemessener Tools wie Excel, aber es gab auch ein paar Fälle lupenreinen Betrugs.

Letztlich hat viel davon auch mit strukturellen Problemen im Wissenschafsbetrieb zu tun (Peer Review, Impact-Factors usw.). Dieser Thread kann natürlich auch genutzt werden, um das grundsätzlich zu diskutieren, aber ich würde ihn vor allem nutzen wollen, um auf aktuelle Diskusisonen konkreter fragwürdiger bis betrügerischer Forschung hinzuweisen.

Das erste Beispiel folgt zugleich, ein Paper eines Ökonomen (Richard Toll) zu den ökonomischen Folgen des Klimawandels ...

PS: Pikettys aktuelles Beispiel und der berühmt-berüchtigte Fall von Reinhart-Roggoff über den angeblichen Einfluss von Staatsschulden sind hier ja schon bekannt, aber hier schonmal ein Link, warum Spreadcheats ( zwinkern ) ein großes Problem darstellen:
http://lemire.me/blog/archives/2014/05/23/you-shouldnt-use-a-spreadsheet-for-important-work-i-mean-it/
_________________
"A basic literacy in statistics will one day be as necessary for efficient citizenship as the ability to read and write." (H. G. Wells)
"The consent of the governed is not consent if it is not informed." (Edward Snowden)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Kival
Feminist Ghost



Anmeldungsdatum: 14.11.2006
Beiträge: 23224

Beitrag(#1924797) Verfasst am: 27.05.2014, 23:31    Titel: Antworten mit Zitat

Als erstes Beispiel möchte ich das einflussreiche und vielzitierte (je nach "Messung" bis zu über 300-mal) Paper von Richard Tol (2009) über die ökonomischen Effekte des Klimawandels nennen, welches vor kurzem auf Grund gravierender Kodierungsfehler korrigiert werden musste ( http://retractionwatch.com/2014/05/21/gremlins-caused-errors-in-climate-change-paper-showing-gains-from-global-warming/ ). Tol hatte versucht, die verschiedenen Schätzungen zum Klimawandel und dessen Folgen in einem Model zusammenzufassen um damit dann ein vermeintlich gutes Modell für die zu erwartenden ökonomischen folgen des Klimawandels zu haben (in gewisser Weise eine krude Meta-Analyse). Tols Artikel behauptete, dass alles in allem die globale Erwärmung zunächst (bei bis zu 2° Erwärmung) zu positiven Effekten führe und die ökonomischen Folgen nur "in the long run" und bei deutlichen Temperatursteigerungen negativ werden würden.
Tol hat aber bei mehreren Schätzungen der Folgen das Minuszeichen vergessen zu übertragen und außerdem zwei Schätzungen komplett übersehen. Bei insgesamt nicht sehr vielen Schätzungen sind das Fehler gravierenden Umfangs. Ein aktuelleres Paper von Tol (2013) ist auch betroffen von Kodierungsfehlern, was besoners deshalb relevant ist, weil vor allem dieses Paper verantwortlich ist für das Statement im aktuellen Entwurf des IPCC Berichts, dass der Klimawandel bei moderater Erwärmung positive Effekte haben könnte. Deshalb fordert Bob Ward von der London School of Economics auf, dass auch der IPCC-Bericht vor der Veröffentlichung entsprechend korrigiert werden muss ( http://blogs.lse.ac.uk/politicsandpolicy/archives/41855 ). Außerdem wird das Paper von Tol auch gerne von Klimaskeptikern zitiert und Tol war auch einer der Kronzeugen für die Republikaner, dass der Klimawandel ja gar nicht unbedingt so schlecht sei.

Für einen ausführlicheren Kommentar zu den Folgen der fehlerhaften Kodierung und zusätzlichen gravierenden methodischen Problemen bei Tols Paper, würde ich zwei Kommentare von Andrew Gelmans empfehlen:

http://www.washingtonpost.com/blogs/monkey-cage/wp/2015/05/23/the-gremlins-did-it-iffy-curve-fit-drives-strong-policy-conclusions/

Zitat:
In both these cases, I think the problem is not so much the errors — mistakes will happen, and it’s understandable that researchers will be less likely to catch their errors if they go in the direction that support their views — but rather that there are many fragile links in the chain that connects data to policy recommendations. This is one reason that many people are starting to recommend that the “paper trail” of the statistical analysis be more transparent, so that researchers (including me!) simply aren’t able to make mistakes such as accidentally removing a minus sign in a computer file or losing a column of data in an Excel spreadsheet.


http://andrewgelman.com/2014/05/27/whole-fleet-gremlins-looking-carefully-richard-tols-twice-corrected-paper-economic-effects-climate-change/

Kurz zusammengefasst: Die angewandte Methode ist prinzipiell hochgradig fragwürdig, aber selbst wenn man sie grundsätzlich akzeptiert, führen die korrekten Daten nun zu völlig veränderten Schätzungen, insbesondere wird bei moderaten Temperatursteigungen kein positiver ökonomischer Effekt mehr vorhergesagt. Wenn Tol dann sogar behauptet, dass sein korrigiertes Modell "weniger pessimistisch" bezüglich der Folgen des Klimawandels ist, ist das eine Folge einer völligen Überschätzung der mathematischen Funktion, mit der er die Daten approximiert hat.

Es ist auch ein weiteres Beispiel (nach Reinhart-Roggoff und Piketty) dafür, das einige Ökonomen Spreadcheats mit einem ernstzunehmendem und seriösen Programm für statistische Datenanalysen verwechseln.


Tol, Richard SJ. „The economic effects of climate change“. The Journal of Economic Perspectives, 2009, 29–51. http://www.jstor.org/stable/27740523
Tol, Richard S. J. „Targets for global climate policy: An overview“. Journal of Economic Dynamics and Control 37, Nr. 5 (2013): 911–28. http://www.sciencedirect.com/science/article/pii/S0165188913000092
_________________
"A basic literacy in statistics will one day be as necessary for efficient citizenship as the ability to read and write." (H. G. Wells)
"The consent of the governed is not consent if it is not informed." (Edward Snowden)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Er_Win
schall+rauch :)



Anmeldungsdatum: 31.01.2008
Beiträge: 1383
Wohnort: ja

Beitrag(#1924819) Verfasst am: 28.05.2014, 10:53    Titel: Antworten mit Zitat

Kival hat folgendes geschrieben:

Es ist auch ein weiteres Beispiel (nach Reinhart-Roggoff und Piketty) dafür, das einige Ökonomen Spreadcheats mit einem ernstzunehmendem und seriösen Programm für statistische Datenanalysen verwechseln.


Ungeachtet der Tatsache, dass Excel (oder allg. Spredsheet-Software) ab gewissen Datenvolumina auch für mich kein Mittel der Wahl wären, finde ich es überzogen diesen Punkt als besonders dramatisches Problem zu betrachten. Viel wesentlicher finde ich den "Faktor Mensch" als die Wahl eines eventuell nicht optimalen Werkzeugs.

Die Wahl des "richtigen Autos" macht auch noch lange keinen guten Fahrer aus und meine eigenen Erfahrungen in Grossprojekten mit Revisions/QS Mechanismen deuten auch darauf hin, dass das Problem viel eher in inkompetenter "Kontrolle" liegt, was dann dazu führt, dass hauptsächlich die Form einer QS unterzogen wird, da der Inhalt mangels Kompetenz gar nicht beurteilt werden kann.

Solchem QS-Management käme dann klarerweise ein Excel-Bashing gelegen, es reicht ja dann das Ergebnis zu kritisieren, weil es mit dem "falschen" Werkzeug erstellt wurde.

Und auch darin http://lemire.me/blog/archives/2014/05/23/you-shouldnt-use-a-spreadsheet-for-important-work-i-mean-it/ kommt im Subtext ja durch, dass es dem Herrn Reviewer (auch) darum geht wie ungern er Daten/Analysen auf Excel-Basis reviewt. Dabei haben Excel (o.ä.) durchaus auch Vorteile, da die Grund-Struktur eben sehr flach ist. Das Problem sehe ich eher in der Instabilität damit wirklich grosse Datenvolumina zu bearbeiten.

Ansonsten zu Pfusch und Betrügerei in Wissenschaft & Forschung ein Linktipp
http://www.wdr.de/tv/applications/fernsehen/wissen/quarks/pdf/Q_Pfusch.pdf
https://www.youtube.com/watch?v=24puowfBFzc
_________________
es genügt nicht keine eigene Meinung zu haben, man muss auch unfähig sein sie auszudrücken
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Kival
Feminist Ghost



Anmeldungsdatum: 14.11.2006
Beiträge: 23224

Beitrag(#1924827) Verfasst am: 28.05.2014, 12:13    Titel: Antworten mit Zitat

Mehr zu Excel dann hier: http://freigeisterhaus.de/viewtopic.php?t=34766
_________________
"A basic literacy in statistics will one day be as necessary for efficient citizenship as the ability to read and write." (H. G. Wells)
"The consent of the governed is not consent if it is not informed." (Edward Snowden)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Kival
Feminist Ghost



Anmeldungsdatum: 14.11.2006
Beiträge: 23224

Beitrag(#1924828) Verfasst am: 28.05.2014, 12:16    Titel: Antworten mit Zitat

Ich stimme aber zu, dass das zentrale Problem die Qualitätskontrolle ist. Wie auch Andrew Gelman sagt: Fehler machen ist normal und wir machen sie immer, aber es ist viel zu leicht mit massiven Datenanalysefehlern durchzukommen. Selbst in den bekanntgewordenen Fällen hat es teilweise Jahre gedauert, bis die Fehler jemandem aufgefallen sind. Wir brauchen eine viel stärkere Kontroll- und Replikationskultur in vielen Wissenschaften, eine Abkehr von der Metrik "viel publiziert ist gut" und vor allem auch Anreize, sauber und ordentlich zu analysieren. Das Problem ist also nicht, wie manchmal behauptet wird, dass das peer review Verfahren zu restriktiv wäre (zumindest ist das ein anderes Problem), es ist nicht restriktiv genug. Alleine dass die Reviews so etwas wie halberzwungene freiwillig Nebenleistungen sind, ist ja schon ein großes Problem. Wie man das Problem genau lösen kann? Interessante Frage, in der Physik funktioniert es deutlich besser, obwohl es dort quasi gar keine Reviewverfahren gibt (oder vielleicht gerade deshalb!), dafür gibt es aber eine Kultur des gegenseitigen Testens und Prüfens, die in vielen Bereichen auszureichen scheint.
_________________
"A basic literacy in statistics will one day be as necessary for efficient citizenship as the ability to read and write." (H. G. Wells)
"The consent of the governed is not consent if it is not informed." (Edward Snowden)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
unquest
registrierter User



Anmeldungsdatum: 10.10.2010
Beiträge: 1698
Wohnort: 2311 N. Los Robles Avenue in Pasadena

Beitrag(#1924833) Verfasst am: 28.05.2014, 13:02    Titel: Antworten mit Zitat

Kival hat folgendes geschrieben:
Interessante Frage, in der Physik funktioniert es deutlich besser, obwohl es dort quasi gar keine Reviewverfahren gibt (oder vielleicht gerade deshalb!), dafür gibt es aber eine Kultur des gegenseitigen Testens und Prüfens, die in vielen Bereichen auszureichen scheint.

Vielleicht ist es dem Physiker geläufiger Daten und Analyse zu trennen?
Wäre es nicht sinnvoll so etwas wie einen Standard zu haben in dem Daten für wissenschaftliche Analysen vorliegen müssen? Ein "Blatt" das Daten und Analyse vermischt ist sicherlich ungeeignet.

Ein Kollege von mir sagte immer beim Anblick von Excel Tabellen: "Und schon wieder einer der kein SQL kann." Lachen
_________________
Dazed and confused - trying to continue (Redhat)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Kival
Feminist Ghost



Anmeldungsdatum: 14.11.2006
Beiträge: 23224

Beitrag(#1924849) Verfasst am: 28.05.2014, 14:45    Titel: Antworten mit Zitat

unquest hat folgendes geschrieben:
Kival hat folgendes geschrieben:
Interessante Frage, in der Physik funktioniert es deutlich besser, obwohl es dort quasi gar keine Reviewverfahren gibt (oder vielleicht gerade deshalb!), dafür gibt es aber eine Kultur des gegenseitigen Testens und Prüfens, die in vielen Bereichen auszureichen scheint.

Vielleicht ist es dem Physiker geläufiger Daten und Analyse zu trennen?


Das weiß ich nicht. Aber ich habe schreckliche Geschichten von Ingenieuren und Excel gehört!

Zitat:
Wäre es nicht sinnvoll so etwas wie einen Standard zu haben in dem Daten für wissenschaftliche Analysen vorliegen müssen? Ein "Blatt" das Daten und Analyse vermischt ist sicherlich ungeeignet.


Standards hätten große Vorteile. Es ist ja auch ein Unding, dass proprietäre Formate verwendet werden dürfen (SPSS-Dateien, die theoretisch nur von SPSS ausgelesen werden können z.B.). Aber es wird noch schlimmer: Es gibt bzw. gab *gar* keine Verpflichtung, Daten auch herauszugeben, auch wenn sich da langsam etwas bewegt. Und es gibt da nicht nur keine rechtliche Verpflichtung, auch gibt es nichtmal eine eindeutig kulturelle Verpflichtung und da sind "wir" dran, das dringend ändern zu wollen.

Zitat:
Ein Kollege von mir sagte immer beim Anblick von Excel Tabellen: "Und schon wieder einer der kein SQL kann." Lachen


Man brauch ja nicht zwangsläufig gleich SQL, auch wenn SQL natürlich seine Vorteile hat.
_________________
"A basic literacy in statistics will one day be as necessary for efficient citizenship as the ability to read and write." (H. G. Wells)
"The consent of the governed is not consent if it is not informed." (Edward Snowden)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
step
registrierter User



Anmeldungsdatum: 17.07.2003
Beiträge: 19328
Wohnort: Germering

Beitrag(#1924895) Verfasst am: 28.05.2014, 19:29    Titel: Antworten mit Zitat

unquest hat folgendes geschrieben:
Kival hat folgendes geschrieben:
Interessante Frage, in der Physik funktioniert es deutlich besser, obwohl es dort quasi gar keine Reviewverfahren gibt (oder vielleicht gerade deshalb!), dafür gibt es aber eine Kultur des gegenseitigen Testens und Prüfens, die in vielen Bereichen auszureichen scheint.
Vielleicht ist es dem Physiker geläufiger Daten und Analyse zu trennen?

Vor allem ist es in der Physik üblich, ein Ergebnis in der "Gemeinde" erst dann ernstzunehmen, wenn es unabhängig überprüft wurde, und alle Daten dafür zur Verfügung zu stellen. Sieht man auch gerade wieder bei Gran Sasso, BICEP usw.

Ich vermute, es spielt auch eine Rolle, daß die meisten Physiker auch zumindest mittelmäßige Mathematiker sein müssen, sonst verstehen sie ihre Theorien gar nicht. Von den sagen wir mal ca. 10 Soziologen, Ökonomen, Psychologen und Medizineren, die ich näher kenne, kann nicht ein einziger mathematisch / statistisch z.B. mit Kival mithalten, soweit ich das beurteilen kann. Da habe ich mich schon immer gefragt, wie die ihre Daten auswerten - naja, einige von ihnen haben glaube ich überhaupt noch nie systematisch Daten ausgewertet, nicht mal im Studium.
_________________
Was ist der Sinn des Lebens? - Keiner, aber Leere ist Fülle für den, der sie sieht.
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Skeptiker
grundsätzlich gegen Gummibewegungen



Anmeldungsdatum: 14.01.2005
Beiträge: 9512
Wohnort: Lovetown

Beitrag(#1924922) Verfasst am: 28.05.2014, 20:47    Titel: Antworten mit Zitat

step hat folgendes geschrieben:
unquest hat folgendes geschrieben:
Kival hat folgendes geschrieben:
Interessante Frage, in der Physik funktioniert es deutlich besser, obwohl es dort quasi gar keine Reviewverfahren gibt (oder vielleicht gerade deshalb!), dafür gibt es aber eine Kultur des gegenseitigen Testens und Prüfens, die in vielen Bereichen auszureichen scheint.
Vielleicht ist es dem Physiker geläufiger Daten und Analyse zu trennen?

Vor allem ist es in der Physik üblich, ein Ergebnis in der "Gemeinde" erst dann ernstzunehmen, wenn es unabhängig überprüft wurde, und alle Daten dafür zur Verfügung zu stellen. Sieht man auch gerade wieder bei Gran Sasso, BICEP usw.

Ich vermute, es spielt auch eine Rolle, daß die meisten Physiker auch zumindest mittelmäßige Mathematiker sein müssen, sonst verstehen sie ihre Theorien gar nicht. Von den sagen wir mal ca. 10 Soziologen, Ökonomen, Psychologen und Medizineren, die ich näher kenne, kann nicht ein einziger mathematisch / statistisch z.B. mit Kival mithalten, soweit ich das beurteilen kann. Da habe ich mich schon immer gefragt, wie die ihre Daten auswerten - naja, einige von ihnen haben glaube ich überhaupt noch nie systematisch Daten ausgewertet, nicht mal im Studium.


Das läuft schon ganz gut bei den Soziologen und Psychologen. Was statistische Auswertungsmethoden und den Umgang mit Statistiksoftware betrifft, so sind beide Fachrichtungen im Vergleich zu früher ganz gut aufgestellt. EXCEL wird ganz gewiss nicht verwendet.

Wenn Ökonomen dies tun, so ist es bei simplen Datenstrukturen vielleicht noch gerechtfertigt. Eine Trennung der Daten von den Algorithmen lässt sich ja auch hier durch Visual Basic erreichen oder eben durch Auswertung per SQL.

kivals Besorgnis anlässlich der Datenübertragungsfehler von Piketty bezog sich leztzten Endes a) auf die Auswahl der richtigen Software, b) auf ein gutes Datenmanagement und c) auf Transparenz.

Heute arbeiten die genannten Professionen sowohl mit großen Datenpools aus regelmäßigen bundesweiten und auch internationalen Studien etwa zu Sozialdaten als auch mit durchaus geteilten, selbst erhobenem Datenmaterial.

Ich sehe hier keine besonderen Probleme. Eher sehe ich Qualitätsmängel im Bereich der Pharmastudien oder amtlicher Statistiken der Bundesrepublik. Hier gibt es oft fehlerhafte, schlecht durchgeführte Studien und/oder statistische Artefakte aufgrund miserabler Studiendesigns.

Um noch kurz zum Thema Piketty zu kommen, der ja sozusagen den Anstoß zu kivals beiden threads gab: Hier sehe ich die Sache sowieso eher politisch; denn Piketty Ergebnisse sind ja - trotz seiner handwerklichen Fehler - eher noch unterschätzt als überschätzt, wie ja auch kival erkannt hat.

Dennoch ist sachlich-fachliche Kritik natürlich immer berechtigt.

Nur ist Statistik lediglich die Grundlage für die Entwicklung guter Theorien, nicht weniger, aber auch nicht mehr, ob in der Soziologie oder in der Physik ...-
_________________
Das Wort "ficken" wird eindeutig viel zu selten benutzt!

Keinem einzigen dieser Professoren, die auf Spezialgebieten der Chemie, der Geschichte, der Physik die wertvollsten Arbeiten liefern können, darf man auch nur ein einziges Wort glauben, sobald er auf Philosophie zu sprechen kommt. (Lenin)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Kival
Feminist Ghost



Anmeldungsdatum: 14.11.2006
Beiträge: 23224

Beitrag(#1924930) Verfasst am: 28.05.2014, 21:37    Titel: Antworten mit Zitat

Skeptiker hat folgendes geschrieben:
Das läuft schon ganz gut bei den Soziologen und Psychologen. Was statistische Auswertungsmethoden und den Umgang mit Statistiksoftware betrifft, so sind beide Fachrichtungen im Vergleich zu früher ganz gut aufgestellt. EXCEL wird ganz gewiss nicht verwendet.


Bei den Psychologen wird man Excel sicher nicht finden, bei Soziologen ist das manchmal anders. Die faktischen Statistikkenntnisse der meisten Absolventen der Soziologie und Psychologie sind aber grottig und zudem hängt die Methodenausbildung der Methodenentwicklung und Anwendung sehr, sehr weit hinterher. In der Psychologie ist der Graben zwischen Psychometrikern und Psychologen schon sprichwörtlich geworden (hier vor allem relevant: Testtheorie). Übliche Probleme in der Soziologie sind: p-Werte und multiple Comparisons, Fehlinterpretation von Interaktionen, mangelnde Reflektion und Beachtung der Voraussetzung der benutzten statistischen Modelle und verfahren, Ignorieren massiver Non-Response (Telefoninterviews haben kaum noch >20% Rücklaufquote) und fehlende Werte.

Das Problem dabei, dass die Kenntnisse der meisten der Methodenentwicklung soweit hinterherhinkt ist mehrfach: Erstens versteht nur noch ein kleiner Teil der Soziologen die komplexeren Modelle, sie werden aber teilweise auch von Leuten angewandt, die sie nicht verstehen (wobei das kein großer Unterschied zu praxis bei den einfacheren Modellen ist) und vor allem werden Daten, bei denen das nicht angemessen ist dank Unkenntnis immer noch mit völlig falschen Methoden bearbeitet. Von einem mittlerweile eigentlich sehr etabliertes Verfahren (bei der kleinen Gruppe, die was davon versteht), die Mehrebenenanalysen, bei denen verschiedene Level (z.B. Individuen, Regionen, Bundesländer, Länder in der Modellierung berücksichtigt werden, muss eigentlich immer dann angewandt werden, wenn diese hierarchischen Strukturen der Daten eine ernsthafte Rolle spielen. Oft werden sie aber einfach ignoriert, weil die Forscher gar nicht wissen, wie sie die Mehrebenenmodellierung denn machen sollten. Oder - was jetzt immer häufiger der Fall ist - MLM wird angewandt, ohne dass die Leute je im Studium etwas darüber gelernt hätten und auch ohne dass sie in der Lage wären, die Literatur zu dem Thema zu verstehen (weil ihnen die mathematisch-statistischen *Grundlagen* fehlen). Übliche Praxis ist bei anderen publizierten Artikeln zu gucken, wie die das gemacht haben und das nachzuahmen... was zu allerlei Problemen führen kann.

@step Statistik ist aber oft auch bei vielen Physikern die größte mathematische Schwäche.

Zitat:
Wenn Ökonomen dies tun, so ist es bei simplen Datenstrukturen vielleicht noch gerechtfertigt. Eine Trennung der Daten von den Algorithmen lässt sich ja auch hier durch Visual Basic erreichen oder eben durch Auswertung per SQL.


In diesem Fall nutzt man natürlich nicht mehr "so richtig" Excel. Das ist aber m.W. äußert unüblich, wenn man so ernsthaft Datenanalyse betreibt ist Excel alleine schon deshalb nicht mehr das übliche Tool, weil es ineffizient ist. Prinzipiell könnte man so das Problem aber auch lösen, ja.

Zitat:
kivals Besorgnis anlässlich der Datenübertragungsfehler von Piketty bezog sich leztzten Endes a) auf die Auswahl der richtigen Software, b) auf ein gutes Datenmanagement und c) auf Transparenz.


Piketty war nicht mein hier genanntes Beispiel. Im vorliegenden Fall ist ein massives Problem auch ein völliges Unverständnis der Voraussetzung der angewandten Methode und das ist auch eines der grundlegenden Probleme. Aber um nochmal zu Piketty etwas zu sagen: Man muss Piketty auf jeden Fall zu Gute halten, dass er bei c) (fast) nichts falsch macht. Er hat sofort seine Daten freigegeben mit der Veröffentlichung seines Buch. Das ist good practice!

Zitat:
Heute arbeiten die genannten Professionen sowohl mit großen Datenpools aus regelmäßigen bundesweiten und auch internationalen Studien etwa zu Sozialdaten als auch mit durchaus geteilten, selbst erhobenem Datenmaterial.


Das Teilen der selbst erhobenen Daten ist nur sehr eingeschränkt und oft stoßen Replikationsversuche auf hartnäckigen Widerstand bei der Nachfrage nach den Daten.

Zitat:
Ich sehe hier keine besonderen Probleme. Eher sehe ich Qualitätsmängel im Bereich der Pharmastudien oder amtlicher Statistiken der Bundesrepublik. Hier gibt es oft fehlerhafte, schlecht durchgeführte Studien und/oder statistische Artefakte aufgrund miserabler Studiendesigns.


Ja, da gibt es auch Mängel.

Zitat:
Um noch kurz zum Thema Piketty zu kommen, der ja sozusagen den Anstoß zu kivals beiden threads gab


Nö, Piketty ist nur ein - harmloses, da er transparent ist - Beispiel und auch nicht das von mir aktuell gewählte gewesen. Tol ist vor allem auch deswegen ein besseres Beispiel, weil er penetrant behauptet, dass die Fehler nichts an seinem Modell ändern, womit er sehr falsch liegt. Außerdem hat es fünf Jahre gedauert, bis der Fehler wirklich öffentlich wurde, dabei wurde er schon damals bei der Veröffentlichung auf den Fehler hingewiesen.

Die Basis der Sorgen sind auch nicht die paar Ökonomen-Sachen, wobei die dafür sprechen, dass in der ökonomischen Forschung auch einiges schief läuft, viel mehr besorgt mich das Replikationsprojekt in der Psychologie, welche seine sehr hohe Nicht-Replikationsrate aufweist. Mich besorgt nicht, dass es das Projekt gibt, im Gegenteil, sollte sich das durchsetzen, wird das der Entwicklung der Psychologie extrem helfen, mich besorgt das Ergebnis, weil ich in keinster Weise glaube, dass die soziologischen Arbeiten vergleichsweise sauber sind, dort würde es also noch mehr Probleme geben, wenn ernsthaft Replikationen betrieben würden. Und was noch viel problematischer ist: Die Soziologen interessiert das ganze bisher noch nicht wirklich. Es sind die Psychologen, die hier vorwegschreiten, mit einigen Politikwissenschaftlern und Ökonomen im Schlepptau. Bei den Soziologen ist von der Welle der kritischen Methodenreflektion und -reviews der letzten 5-10 Jahre hingegen noch nicht viel angekommen. Aus irgendwelchen Gründen scheint das in der Politikwissenschaft viel besser zu funktionieren, auch wenn ich nicht weiß, warum.

Zitat:
Nur ist Statistik lediglich die Grundlage für die Entwicklung guter Theorien, nicht weniger, aber auch nicht mehr, ob in der Soziologie oder in der Physik ...-


Das wäre explorative Statistik. Dafür ist die meist gelehrte testende Statistik aber überhaupt nicht geeignet! Das ist *ein* Beispiel für ein gravierendes Problem: Viele explorative Studien werden als verkappte Hypothestentests vorgestellt, weil Statistik nur als Hypothestentesten gelehrt wird und Journals etc. ein entsprechendes Format auch erwarten. Wir brauchen viel, viel mehr gute explorative Studien, die auch offen als solche auftreten, aber da gibt es leider strukturelle Schwierigkeiten.

Ansonsten dient Statistik vor allem auch zur Test und Plausibilisierung von bereits formulierte Theorien. Diese Funktion ist elementar. Gerade weil in den Sozialwissenschaften Experimente nahezu unmöglich sind, lässt sich kausale Inferenz so gut wie gar nicht induktiv rechtfertigen. Man kann sich *immer* eine passende kausale Story ausdenken. Die kausalen Mechanismen müssen , damit kausale Inferenz bei statistichen Tests(*) wenigstens in Grundzügen möglich ist.

Davon abgesehen: Gerade an guten Theorien mangelt es besonders in der Soziologie.
_________________
"A basic literacy in statistics will one day be as necessary for efficient citizenship as the ability to read and write." (H. G. Wells)
"The consent of the governed is not consent if it is not informed." (Edward Snowden)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Kival
Feminist Ghost



Anmeldungsdatum: 14.11.2006
Beiträge: 23224

Beitrag(#1924939) Verfasst am: 28.05.2014, 22:00    Titel: Antworten mit Zitat

Kival hat folgendes geschrieben:
Übliche Praxis ist bei anderen publizierten Artikeln zu gucken, wie die das gemacht haben und das nachzuahmen... was zu allerlei Problemen führen kann.


Nur um das klarzustellen: Ich habe das z.B. bei meiner Bachelorarbeit nicht wirklich anders gemacht. Es geht nicht darum, einzelne für problematisches Verhalten zu kritisieren, also es geht nicht um die einzelnen Personen (jenseits massiven Betrugs oder vielleicht bei etablierten Professoren wie Tol). Es sind strukturelle Probleme, deren Lösung ich auch nicht wirklich kenne. Ein paar Vorhaben, die es jetzt vor allem in der Psychologie gibt, sind notwendig, reichen werden sie aber nicht.
_________________
"A basic literacy in statistics will one day be as necessary for efficient citizenship as the ability to read and write." (H. G. Wells)
"The consent of the governed is not consent if it is not informed." (Edward Snowden)
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Er_Win
schall+rauch :)



Anmeldungsdatum: 31.01.2008
Beiträge: 1383
Wohnort: ja

Beitrag(#1925137) Verfasst am: 30.05.2014, 14:24    Titel: Antworten mit Zitat

step hat folgendes geschrieben:
unquest hat folgendes geschrieben:
Kival hat folgendes geschrieben:
Interessante Frage, in der Physik funktioniert es deutlich besser, obwohl es dort quasi gar keine Reviewverfahren gibt (oder vielleicht gerade deshalb!), dafür gibt es aber eine Kultur des gegenseitigen Testens und Prüfens, die in vielen Bereichen auszureichen scheint.
Vielleicht ist es dem Physiker geläufiger Daten und Analyse zu trennen?

Vor allem ist es in der Physik üblich, ein Ergebnis in der "Gemeinde" erst dann ernstzunehmen, wenn es unabhängig überprüft wurde, und alle Daten dafür zur Verfügung zu stellen. Sieht man auch gerade wieder bei Gran Sasso, BICEP usw.


Dass mit den Daten und akzeptierten Ergebnissen in der Physik transparenter gearbeitet wird, als in anderen Bereichen scheint mir zutreffend.

Trotzdem entbehren gewisse Schlussfolgerungen - zumindest bei manchen Physikern - nicht einer gewissen Hybris. Ich versuche das mal zu skizzieren:

Die Physik hat gut reproduzierbare und auch wie man täglich am Umgang mit der Technik merkt wirklichkeits-wirksame funktionierende Modelle für reduktionistisch verfahrenstechnisch verwirklichte praktische Anwendungen. Grundlage dafür ist das Wissen über (reduktionistische) Zusammenhänge von ca. 5-6% dessen "was ist" (lt. eigener Theorie).

Die Physik ist ja aber selbst auch wieder nur ein Teil der modellbildenden Wissenschaften, die ihre Erkenntnisse aus empirisch reproduzierbaren Beobachtungen schöpft. Setzt man als Hausnummer mal 20% an (was die Gesamtheit empirischer Wissenschaften betrifft) sowie hoch gegriffene 90% dafür, was - wiederum nur einige Physiker - bereits als innerhalb der Physik als vollständig richtig modelliert annehmen, dann fussen Aussagen von (manchen) Physikern über "alles was ist" auf einer Induktion bezogen auf einen eigentlich lächerlich geringen empirischen Datenbestand.

Das hat dann für mich eben auch nichts mehr mit Wissenschaft zu tun, sondern je nach Geschmack mit Hybris/Gläubigkeit etc...

Vorallem weil man - zumindest wenn man danach sucht - genügend empirisch gut dokumentierte Fälle findet, die sich nicht so ganz in ein "nur" physikalistisch reduktionistisches Weltbild fügen.
_________________
es genügt nicht keine eigene Meinung zu haben, man muss auch unfähig sein sie auszudrücken
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Beiträge der letzten Zeit anzeigen:   
Neues Thema eröffnen   Neue Antwort erstellen   Drucker freundliche Ansicht    Freigeisterhaus Foren-Übersicht -> Wissenschaft und Technik Alle Zeiten sind GMT + 1 Stunde
Seite 1 von 1

 
Gehe zu:  
Du kannst keine Beiträge in dieses Forum schreiben.
Du kannst auf Beiträge in diesem Forum nicht antworten.
Du kannst deine Beiträge in diesem Forum nicht bearbeiten.
Du kannst deine Beiträge in diesem Forum nicht löschen.
Du kannst an Umfragen in diesem Forum nicht mitmachen.



Disclaimer / Impressum


Powered by phpBB © 2001, 2005 phpBB Group