Inhaltsübersicht
• Einführung.
• Der Korrelationskoeffizient.
• Korrelation(skoeffizient) ist nicht gleich Korrelation(skoeffizient).
• Sonderformen der Korrelation.
• Multiple Korrelation.
• Partielle Korrelation.
• Kanonische Korrelation.
• Kreuzkorrelation.
• Auto-Korrelation(Kreuzkorrelation).
• Beispiel für eine lineare Korrelation: Körpergewicht und Größe.
• Formel der Produkt-Moment-Korrelationsrechnung nach Bravais-Pearson.
• Was bedeutet eine Korrelation - Wichtige Korrelationssätze und Regeln.
• (1a) Unabhängigkeitssatz.
• (1b) Unkorreliertheitssatz.
• (1c) Linearitätssatz.
• (2) Vieldeutigkeitssatz.
• (2b) Unterschiedliche Korrelationamtrizen aus gleichen Eigenwerten.
• (2c) Unterschiedliche Rohdatensätze mit gleichen Korrelationsmatrizen.
• (3) Relevanter Merkmalsraum.
• (4) Isometriesatz (Hain 1994).
• (4b) Partielle Korrelationsmatrix nicht notwendig positiv semi definit.
• (5) Bedeutungen nach Hans Bartel (1974).
• (6) Speziell zur Deutung führt Baur 1928 aus.
• (7) Die von Koller 1962 empfohlene Deutungssystematik.
• (8) Bedeutungsdiskussion bei R. A. Fisher gegenüber einer dritten Variable.
• Die kaum zu überschätzende Bedeutung der Eigenwerte einer Korrelationsmatrix.
• Pseudo-Korrelationsmatrizen.
• Der Rang und seine Bedeutung bei Korrelationsmatrizen.
• Geschichte der Korrelationsrechnung nach Baur (1928).
• Seltsames, Merkwürdiges, Paradoxien und Kuriosa um die Korrelation.
• Das Scheinkorrelations- und Partialisierungsparadox.
• Die merkwürdige Beliebigkeit der Korrelationskoeffizienten: Partielle Korrelationen (Querverweis)
• Das Linearitätsparadox.
• Scheinbare Nichtlinearität mit r~1: Beispiel 1a, 1b.
• 1c) Die Korrelationsmatrix der Partitionen von n=1,2,3, ...
• Nichtlinearität (x -> x^2) mit hohem r: Beispiel 2.
• Extreme Augenscheinlinearität mit r ~ 0: Beispiel 3.
• ... und ein Wert vertauscht  mit r = 1: Beispiel 4.
• Beispiel 5 Pseudolinearer Anschein und Doppelparadox: Beispiel 5.
• Das Wachstumsparadox bei Zeitreihen.
• Eine Logarithmus-Paradoxie?
• Systematische Veränderungs-Paradoxie.
• Ein Reliabilitätsparadox der numerologischen Testtheorie.
• Die sog. Attenuitäts-Korrektur (attenuation of correction).
• Literatur (Auswahl).
• Links (Auswahl).
• Querverweise.

Korrelationskoeffizienten können Werte zwischen -1 und +1 annehmen: -1 <= r <= +1. Eine negative Korrelation bedeutet einen gegenläufigen Zusammenhang zwischen z.B. a und b: steigt a, fällt b und umgekehrt. Eine positive Korrelation bedeutet einen gleichsinnigen Zusammenhang zwischen a und b. Steigt a, steigt b, fällt a, fällt auch b und umgekehrt. Eine Korrelation um 0 zeigt keinen Zusammenhang zwischen a und b und den mit ihnen verbundenen Variablen. Das kann sich schnell ändern, wenn auspartialisiert wird. Partialisieren ist der korrelationsrechnerische Ausdruck für "Einfluß ausschalten durch konstant halten". Man untersucht also die Zusammenhänge zwischen a und b und hält die bekannten Einflüsse von c,d,e, ... konstant. Partielle Korrelationen werden wie folgt gekennzeichnet und gelesen: rXY.ABC... , d.h. es wird die Korrelation zwischen X und Y betrachtet wobei die Einflüsse von ABC ... ausgeschaltet = konstant gehalten werden. *  Info partielle Korrelation * Info Beweis in der Statistik * Info Statistik IP-GIPT *

Wie man sieht, gibt es auch zahlreiche nicht- lineare Korrelationen. Prüfverfahren und Kriterien, ab wann welches Korrelations- Modell anzuwenden ist, scheinen nicht vorzuliegen und auch nicht gelehrt zu werden.  Auch dies trägt mit zum schlechten Ruf der Statistik bei. Wichtig scheint hauptsächlich zu sein, dass man rechnen kann und dass etwas "rauskommt".

Das Wort Korrelation ist ein vielfältiges Homonym [1, 2, 3, 4]., d.h. das Wort umkleidet sehr verschiedenartige Begriffe und Maße und wird in der Literatur auch in den unterschiedlichsten Bedeutungen gebraucht. Dieser Sachverhalt hat mir zu Beginn meiner systematischen Untersuchung zu "Korrelationsmatrizen" große Schwierigkeiten bereitet. Es ist daher sehr wichtig, wenn man von "Korrelation" spricht, genau zu spezifizieren, welche man meint. Für multivariate statistische Analysen benötigt man gewöhnlich den sog. Maß-, Produkt-Moment- oder Bravais-Pearson Korrelationskoeffizienten.
    Ganz allgemein kann man Ko-Relation als Zusammenhang für Merkmale, Ereignisse oder Zustände verstehen, für den die mathematische Statistik vielfältige Maßzahlen entwickelt hat. Tatsächlich wird aber gewöhnlich nicht allein "der" Zusammenhang zwischen X und Y erhoben, sondern der Zusammenhang zwischen X und Y und der mit X und Y verbundenen Einflüsse.

Sonderformen der Korrelation
Mit dem Produkt-Moment-Korrelations-Koeffizienten gibt es einige Sonderformen der Korrelation.

Multiple Korrelation
Bei der multiplen Korrelation wird die Korrelation zwischen den Ausprägungen einer und mehreren anderen Variablen bestimmt.

Partielle Korrelation
Bei der partiellen Korrelation wird die Korrelation zwischen zwei Variablen unter Ausschluss einiger oder mehrerer anderer Variablen bestimmt. Man kann auch sagen, der Einfluss bestimmter, hier der auspartialisierten Variablen wird eliminiert, wodurch die experimentelle Technik des Konstanthaltens simuliert werden kann.

Kanonische Korrelation
Mit der kanonischen Korrelation kann man die Korrelation zwischen zwei Variablenblöcken, also eine Art Verallgemeinerung der multiplen Korrelation, bestimmen. Das kann sehr hilfreich sein, wenn Merkmale mehrdimensional sind und auch nur mehrdimensional ausgedrückt werden können, wie z.B. Farbwerte (Grün, Rot, Blau, Helligkeit, Schärfe, Kontrast).
    Eine sehr nützliche Anwendung ergibt sich für die Testpsychologie, wenn ganze Untertests - also mehrere Variablenblöcke - auf ihren korrelativen Zusammenhang hin untersucht werden können. Beispiel:
Kanonische Korrelation zwischen Verbal- und Handlungsteil beim HAWIE (Hamburg-Wechseler Intelligenz-Test für Erwachsene). Für die Altersgruppe der 20-34jährigen ergab sich ein kanonischer Korrelationskoeffizient rk(20-34) = 0.7813 und für die Altersgruppe der 35-49jährigen ein rk(35-49) =0.8339. D.h. die Intelligenzen des Verbal- und Handlungsteils korrelieren kanonisch ziemlich hoch,wobei sich durch die Werte entwicklungspsychologisch die Hypothese ergibt, ob  sich Verbal- und Handlungs-Intelligenz mit zunehmendem Alter annähern? Dieser Befund führte mich zur Frage, ob sich denn die Intelligenzen des Verbal- und Handlungsteils "wirklich" unterscheiden? Zu diesem Zweck führte ich eine Eigenwertanalyse mit einem für mich völlig überraschenden Ergebnis durch: die Eigenwertstruktur des HAWIE zeigt ganz klar - im Gegensatz zur faktorenanalytischen Literatur - einen Generalfaktor an.

Kreuzkorrelation > Autokorrelation.

Auto-Korrelation. (Kreuzkorrelation)
Hier wird eine Datenreihe verschoben mit sich selbst korreliert, oft um Abhängigkeiten von Zeitpunkten (Zeitreihenanalyse) oder Perioden (Zyklen) im Verlauf zu erkennen.

Quelle: http://www.uni-essen.de/imibe/download/kapitel22.pdf
 

Der Ausdruck im Zähler heißt auch Kovarianz. Im Nenner stehen die Standardabweichungen der beiden betrachteten Variablen, hier mit x und y bezeichnet.

Gehen wir vom einfachsten Fall zweier Meßwertreihen X (z.B. Gewicht) und Y (z.B. Körpergröße) aus. Dann gibt der Korrelationskoeffizient Auskunft darüber, wie gut sich durch die beiden Meßwertreihen jeweils eine Gerade legen läßt, so dass die Quadrate der Abstände der Meßwerte von der Geraden minimal werden. Beide Geraden gehen einen Winkel ein, der das Maß der Korrelation graphisch veranschaulicht. Es gilt: je kleiner der Winkel, desto größer die Korrelation. Es gilt -1 <=  r  <= +1. Bei perfekter Korrelation r = |1| (+1, -1) fallen die beiden Geraden zusammen und die Korrelation drückt eine funktionale Abhängigkeit aus. Im folgenden Phantasie- Beispiel ergibt sich zwischen dem Körpergewicht und dem Körpergröße ein Korrelationskoeffizient r = 0,84367.

Dieses Beispiel wirkt verständlich und plausibel (aber: siehe Seltsames ...).

(6) Speziell zur Deutung führt Baur 1928 (S. 50f) aus:
 

"... das wichtigste bleibt aber immer die Deutung der errechneten Maßzahlen." Im einzelnen:

"25. DIE DEUTUNG DER KORRELATIONSKOEFFIZIENTEN UND KORRELATIONSVERHÄLTNISSE

In den vorangehenden Kapiteln wurden die Berechnungsweisen und die Bedeutung des Kkf. und des Kvh. als Maßzahlen der stochastischen Verbundenheit von zwei zufälligen Veränderlichen besprochen. Es war das Bestreben des Verfassers, die Darstellung so zu gestalten, daß auch mathematisch weniger geschulte Leser in den Stand gesetzt werden, die K.-R. in ihrem Arbeitsgebiet nutzbringend anzuwenden. Damit dieses Ziel auch wirklich erreicht werde, ist es aber noch nötig, ausdrücklich darauf aufmerksam zu machen, daß es natürlich nicht damit abgetan ist, Kkfn. und Kvhe. und ihre Fehler zu berechnen. Zur Gewinnung sicherer Grundlagen ist es zwar von großer Bedeutung, die Strammheit des stochastischen Zusammenhanges oder den Grad, in welchem die Schwankungen zweier Erscheinungen als annähernd proportional angesehen werden können, zahlenmäßig festzustellen, das wichtigste bleibt aber immer die Deutung der errechneten Maßzahlen. Hierbei muß vor allem im Auge behalten werden, daß selbst aus einem ganz nahe an l liegenden Kkf. oder Kvh. noch nicht auf einen unmittelbaren ursächlichen Zusammenhang der beiden Erscheinungen in dem Sinne, daß die eine die „Ursache" der anderen wäre, geschlossen werden darf. Es kann eine hohe K. zwischen zwei Erscheinungen auch dadurch zustande kommen, daß beide durch einen übergeordneten Erscheinungskomplex beeinflußt werden. In diesem Falle nennen wir die K. eine symptomatische. Ein ausgezeichnetes Beispiel einer symptomatischen K. hat SORER [FN 1):R. SORER, Allgem. statistisches Archiv 8. Jahrg. 1914, S.193]  gegeben. Er fand zwischen der Größe der Produktion und der Größe des Verkehrs in Österreich im Zeitraum 1882 bis 1911 den Kkf. + 0.988, zwischen-Produktion [> S. 51] und Verbrauch im gleichen Zeitraum + 0.975, zwischen Verkehr und Verbrauch + 0.994. Diese hohen Kkfn. sind „Symptome" der Steigerung des gesamten österreichischen Wirtschaftslebens im genannten Zeitraum. Stellt man den zeitlichen Verlauf der drei Zahlenreihen bildlich dar, so bekommt man 3 steil ansteigende Kurven. Es wäre verfehlt, aus der hohen K. auch auf einen hohen Grad der Übereinstimmung der 3 Erscheinungen in den Abweichungen von ihrem Hauptverlauf schließen zu wollen. Will man den stochastischen Zusammenhang der Schwankungen um den gemeinsamen Hauptverlauf untersuchen — und das ist in den meisten Fällen das wichtigste —, so muß man bei der Berechnung der K.-Maße nicht von den Abweichungen vom arithmetischen Mittel, sondern von den Abweichungen vom Hauptverlauf ausgehen. Dabei ist jedoch darauf zu achten, daß die Summe aller Abweichungen einer Veränderlichen stets gleich 0 sein muß. Nur unter dieser Voraussetzung kann z. B. die Formel (18) auch auf die Abweichungen vom Hauptverlauf angewandt werden. Der Hauptverlauf wird in der Naturwissenschaft als „säkulare Schwankung", in der Wirtschaftsstatistik mit dem englischen Worte „Trend" bezeichnet.
    Auf noch wenig durchforschten Gebieten ist es oft sehr schwierig, zur richtigen Deutung von Kkfn. zu kommen. Durch zielbewußte Vorbearbeitung des gegebenen Zahlenstoffes, z. B. Ausschaltung säkularer Schwankungen, Untersuchung vieler verwandter Erscheinungen mit den Mitteln der K.-R., Betrachtung der Änderungen (oder auch der angenäherten Konstanz) der Kkfn. und Kvhe. in Zeit und Raum wird man aber schließlich doch zum gewünschten Ziele gelangen."

(7) Die von Koller 1962 empfohlene Deutungssystematik (S. 74/75)

(8) Bedeutungsdiskussion bei R.A. Fisher gegenüber einer dritten Variable

Die kaum zu überschätzende Bedeutung der Eigenwerte einer Korrelationsmatrix.
Die Eigenwerte einer Korrelationsmatrix sind so etwas wie ihre "Gene", sie sagen der KennerIn sofort, was mit der Korrelationsmatrix "los" ist, wie es um ihre Beschaffenheit und Eigenart, besonders im Hinblick auf Fast-Kollinearitäten (lineare Abhängigkeiten) bestellt ist. Korrelationsmatrizen gehören zur Gruppe der quadratischen (Billinear-) Formen und symmetrischen Matrizen. Notwendiges mathematisches Charakteristikum einer Korrelationsmatrix ist daher ihre sog. semipositive Definitheit oder anders ausgedrückt: alle Eigenwerte >= 0. Sind alle Eigenwerte > 0, spricht man von positiv definit. Ist mindestens ein Eigenwert 0 heißt die Korrelationsmatrix semi positiv definit; auch singulär. Durch falsche Formeln (z.B. "correction for attenuation", tetrachorische Koeffizienten, Assoziationsmaße oder vollständige Partialisierungen [zwei gegen alle = den ganzen Rest] , falsche Missing Data Lösungen und andere unsachgemäße Manipulationen (z.B. der Hauptdiagonalelemente bei der sog. "Kommunalität" oder unangemessenen Faktorenreduktionen in der Faktorenanalyse), aber auch durch Rundungsfehler bei fast-kollinearen Korrelationsmatrizen können Eigenwerte negativ werden und die Matrix dadurch entgleisen. Indefinite Matrizen sind keine Korrelationsmatrizen, auch wenn sie äußerlich ("phänotypische Korrelationsmatrizen") so aussehen. Zu einer korrekten Diagnose, ob eine phänotypische auch eine genotypische, echte - mathematisch korrekte - Korrelationsmatrix  ist, gehört daher auch die Bestimmung der Eigenwerte, was mit den heutigen Programmen zur multivariaten Statistik routinemäßig erfolgen kann. Durch Eigenwertanalysen von Korrelationsmatrizen können manchmal auch schwerwiegende methodische Fehler oder Datenfälschungen erkannt werden.
    Was besagen nun die Eigenwerte einer Korrelationsmatrix? Kleine Eigenwerte "nahe 0" sind ein Hinweis darauf, wie viele fast-kollineare Beziehungen, also Gesetzmäßig- oder Regelhaftigkeiten in der Korrelationsmatrix enthalten sind. Kleine Eigenwerte bedeuten also keineswegs, daß die Matrix viel zu vernachlässigende Information (Redundanz oder Fehler) enthält; das ist nur eine mögliche Folgerung. Weil die Faktorenanalytiker darauf fixiert waren, Korrelationsmatrizen in ihrem Rang zu reduzieren und Eigenwerte < 1 völlig falsch ("Screetest") als zu vernachlässigende Größen mißdeuteten, erkannten sie überhaupt nicht, dass Eigenwerte "nahe" 0 die Entdeckung einer Gesetzmäßigkeit bedeuten kann, die eine besondere Aufmerksamkeit und Untersuchung geradezu herausfordert. Der Fehler bestand also darin, die Bedeutung eines Eigenwertes "nahe" 0 (praktisch <= 0,2) nicht zu erkennen oder zu verkennen.
    Zerlegt man eine Korrelationsmatrix C in ihre Hauptkomponenten (Eigenvektoren) V und ihre Eigenwertdiagonalmatrix D, so gilt: F = V* SQRT(D). F heißt die Matrix der Faktoren (genauer: Faktorenladungen). Man sieht dieser Gleichung an, dass die Eigenwerte nicht negativ werden dürfen, sonst resultieren imaginäre oder komplexe Faktoren (Beispiel), die zugleich imaginäre oder komplexe Rohdatensätze implizieren würden. Hat eine Korrelationsmatrix der Ordnung N einen kleineren Rang  Rg (1 <= Rg <= N, so kann die Korrelationsmatrix aus der Matrix von Rg Faktoren mathematisch exakt reproduziert werden, denn es gilt: C = F * F' (Matrix der Faktoren multipliziert mit ihrer Transponierten).
    Fazit: Ob eine Korrelationsmatrix der N auf Faktoren der Ordnung (Fast-) Rg < N zurückgeführt werden könnte, wenn man sich nicht um die damit entdeckte Gesetzmäßig- oder Regelhaftigkeit kümmern möchte, hängt genau davon ab, wie viele Eigenwerte (Fast-) 0 sind. Jede darüber hinausgehende Manipulation der Korrelationsmatrix führt nach dem Hain'schen Isometriesatz zu einer Rohdatenveränderung und damit Datenverfälschung. [Siehe auch: Kommunalität].

Pseudo-Korrelationsmatrizen. [Beispiele]
(Phänotypische) Pseudo-Korrelationsmatrizen sehen nur aus wie solche, sind aber keine, wenn man sich die Eigenwerte näher ansieht. Hier sind sehr merkwürdige und hochpathologische Konstruktionen möglich, wobei bereits aus einem einzigen Beispiel folgt: Symmetrische Matrizen mit 1 in der Hauptdiagonale für deren Einträge r gilt -1 <= r <= 1 sind nicht unbedingt Korrelationsmatrizen (mehr).

Der Rang und seine Bedeutung bei Korrelationsmatrizen

Quelle: Sponsel, R. (1994), Kapitel 2, Abschnitt Rang.
Weitere Querverweise zum Rang:  , Kurzbedeutung, Epsilon-Rang,

Anmerkung: Den Rang kann man auch von Rohdaten bestimmen. Hierbei gilt für den Rang = Min(Zeilen-Rang, Spalten-Rang), man sagt auch, der Zeilen-Rang ist gleich dem Spaltenrang.

Gauß

Bravais

Galton

Pearson

Yule

Spearman

Tschuprow

Gauß wird in der Geschichte der Korrelationsrechnung oft vergessen zu erwähnen, dabei spielt ja die von ihm entwickelte Methode der kleinsten Quadrate, die Fehler- und Ausgleichsrechnung und die Normalverteilung eine kaum zu überschätzende und grundlegende Rolle für die Entwicklung der Korrelationsrechnung, Testtheorie und Statistik.

Das Scheinkorrelations- und Partialisierungsparadox
Die merkwürdige Beliebigkeit der Korrelationskoeffizienten: Partielle Korrelationen

Ganz allgemein kann hier gesagt werden, dass die Möglichkeit der Partialisierung uns geradezu instand setzt, besondere Abhängigkeiten und Besonderheiten zu erkennen. So gesehen sollten dann aber auch Partialisierungen der wichtigsten Einflussquellen ausdrücklich in die Untersuchungen einbezogen und gerechnet werden.

Das Linearitätsparadox

Mit Nicht- & Linearitäts-Paradox des Korrelationskoeffizienten bezeichne ich einen dem Anschein nach nicht-linearen Zusammenhang im Schaubild oder im Werteverlauf, wobei der Korrelationskoeffizient aber einen sehr hohen bis vollkommen linearen Zusammenhang anzeigt (Beispiel 1a, Variante b). Andererseits können auch eindeutig nicht lineare Zusammenhänge zu sehr hohen linearen Korrelationskoeffzienten führen (Beispiel 2). Und drittens können der Anschauung nach fast lineare Zusammenhänge zur Fast-Unkorreliertheit führen (Beispiel 3), durch Vertauschen zweier Werte wird die Korrelation +1 (Beispiel 4). Eine andere Doppel-Paradoxie zeigt Beispiel 5.

Beispiel 1   [Werte zum direkten Einlesen und nachrechnen]

Bei folgendem Graphen würde kaum jemand vermuten, daß hier eine lineare Korrelation von 1 vorliegt:

Wert-1  14.8420  14.9138  14.9895  15.5672  15.6475  15.7055  15.8960  16.0851  16.3145  16.6591  17.2783  18.6461  22.3315  29.2784  36.5532  46.0904

Wert-2    0    0.490    1.000    4.890    5.460    5.810    7.120    8.340    9.850   12.190   16.410   25.460   50.400   97.600  146.500  211.010

Man kann jede natürliche Zahl n aus Zahlen 1...n zusammengesetzt denken. Beispiel: 4 kann auf folgende Weisen zusammengesetzt werden: 1+1+1+1, 1+1+2, 1+3, 2+2, 4. Das heißt, die Anzahl aller Partitionen von 4 ist 5. Eine Ausarbeitung zur Anzahl aller Partitionen von n= 1,2,3, ...  finden Sie hier. Wir betrachten hier für unser Korreleationsbeispiel nur die Matrix der Anzahlen der Partitionen der natürlichen Zahlen von 1 bis 10:

Lesebeispiele: Die Zahl 3 kann aus 1+1+1, 2+1 und 3 zusammengesetzt werden. Es kommen also 4 Einsen in den Partitionen von 3 vor. In den  Partitionen von 1, 2, 3, ...10 gibt es insgesamt 284 Einsen, das ergibt, nach dem insgesamt 538 Zahlen in den Partitionen vorkommen, einen Anteil von 52,79%. Die Zweien bringen es auf 114 mit einem Anteil von 21,19%.  Man sieht, wie sich die Graphen exponentiell entwickeln.

Korrelationsmatrix der Anzahl aller Partitionen n= 1,2,3, ... 10.
Hintergrund: Im September 2008 kam mir bei einem Spaziergang die Idee, dass die allermeisten Summanden in Partitionen n= 1,2,3, ... zunehmend aus 1 bestehen. Es sollte sich daher bei einer Faktorenenanalyse, hier Hauptkomponentenmethode, ein Generalfaktor zeigen. Da ich nicht wusste, ob und wie sehr das der Fall war, habe ich mir vorgenommen, ein überschaubares Beispiel mal zu rechnen. Hier ist nun das Ergebnis:

Ergebnis: Die Korrelationsmatrix ist fast durchweg von sehr hohen Korrelationskoeffizienten nahe 1 belegt, was man der Datenmatrix so nicht "ansieht".  Die Hauptkomponentenfaktorenanalyse zeigt einen einzigen großen ("übermächtigen") sog. "Generalfaktor", der - entsprechend dem größten Eigenwert -  97,553% der Varianz ausschöpft; ein Generalfaktor, der Spearman sicher begeistert hätte. Die Korrelationsmatrix hat - exakt betrachtet - Rang 9, "praktisch" aber Rang 1. Dass ein Eigenwert 0 ist bedeutet hier nur, dass eine artefizielle Kollinearität vorliegt, weil nämlich in der Korrelationsmatrix nur gleich viele Zeilen wie Spalten und nicht mehr gegeben sind (Faustregel: für empirische Korrelationsanalysen sollten wenigstens drei mal so viele Datensätze wie Variablen gegeben sein). Praktisch bedeutet dieses Generalfaktorergebnis, dass man die 10*10-Korrelationsmatrix ziemlich "gut" aus dem Generalfaktor F1 * F1' gewinnen kann:

Diskussion: Mich hat das Ergebnis in dieser Ausprägung überrascht. Intuitiv-naiv hatte ich erwartet für jede der Zahlen 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 einen Faktor zu finden, und zwar, grob geschätzt, etwa in der Ausprägung wie die Zahlen nach ihrer Häufigkeit vorkommen. Diese Idee wird durch diese Auswertung nicht gestützt. Für n=10 kommen insgesamt 538 Summanden vor, davon 284 Einsen, das sind "nur" 52,79%, wie oben mitgeteilt. Doch der Generalfaktor nimmt einen Anteil von 97,553% ein. Sollte hier etwa eingehen, dass sich jede natürliche Zahl auf Einsen zurückführen lässt? Doch woher sollte das die Datenmatrix "wissen"? Das scheint doch ziemlich abwegig. Was also bedeutet dieser übermächtige "Generalfaktor"? Ich deute derzeit, er spiegelt gar nicht die Anteile der "Zahl-Faktoren" 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 wider, sondern die Gesetzmäßigkeit, hier die lineare Abhängigkeit, die in der ganzen Partitionsmatrix dieser natürlichen Zahlenanordnung steckt; genau genommen stecken neben der einen artefiziellen Kollinearität (nZeilen = mSpalten) noch 8 Fast-Kollinearitäten in dieser n=10-Partitionsmatrix. Dieser Generalfaktor könnte daher das Bildungsgesetz der Partitionierung von n = 1,2,3, ... bedeuten.

Obwohl hier y = x^2 gilt, y also funktional - genauer quadratisch und nicht linear von x abhängt - ergibt sich folgende merkwürdige sehr hohe "lineare" Korrelation von r = 0,9805.

Rohdaten, Korrelationen, Matrix-Standard-Analyse und Faktorenanalyse (Generalfaktorbeispiel).
 

Beispiel 3 [siehe auch Reliabilitätsparadox]

Obwohl fast alle Werte gleich sind und damit ein Höchstmaß an anschaulicher linearer Korrelation enthalten, ist der lineare Korrelationskoeffizient mit r = - 0.034482759 infolge der geringen Streuung fast 0:

Beispiel 4

Vertauscht man die 99 und 100 "synchron", wird die Korrelation 1:

Beispiel 5 Pseudolinearer Anschein und Doppelparadox

Die folgende Matrix ist aus Werten zusammengesetzt, die zwischen 1 und 19 eine Korrelation von r = +1 und zwischen 20 und 159 eine Korrelation von r = -1 haben. Insgesamt ergibt sich eine positive Korrelation von r = 0,401. Obwohl die grobe Anschauung eine hohe positive Korrelation nahelegt, ergibt sich doch bei genauerer Betrachtung eher das Gegenteil. Eigentlich sollte man eine negative Korrelation erwarten, weil von den 160 Werten 141 eine vollkomme negative Korrelation haben (-1) und nur 19 eine vollkommen positive Korrelation (+1). Die negativen Alternationen überwiegen also bei weitem. Man sollte also eher eine negative Korrelation in der Größenordnung von r ~ - 0,40 erwarten, aber das Gegenteil ist der Fall.

Die Werte aus Beispiel 5 zum Einlesen und nachrechnen.

Querverweise:

• Zur Multi-Kollinearität in der Ökonomie > Belsley et al.
• Die Zeit als Variable, Zeitdiagramme, Zeitreihenanalysen. Was bedeutet die Zeit als Variable? Was sagen Zeitdiagramme aus - oder sagen sie gar nichts aus? Zum grundlegenden Unterschied und Verständnis von Korrelation und Kausalität.
• Wachstum - Kritische Reflexionen zu einem äußerst fragwürdigen Konzept.

Befund: Bei der multivariaten Untersuchung der Zeitreihen von 24 Wirtschaftsvariablen für den Zeitraum 1991-2007 ergab sich als eine Nebenfrage, wie sich die Korrelationskoeffizienten verändern, wenn man die Rohdaten LN-logarithmiert. Zu meiner Überraschung - und auch der zweier Mathematiker, denen ich das Ergebnis vorlegte - unterschieden sich die beiden Korrelationsmatrizen in den mittleren Abweichungsbeträgen nur um 0.02. Meine erste Idee war, dass dieser Befund durch die geringe Anzahl der Zeitreihe mit nur 17 Jahreswerten erklärt werden kann, weil sich der typische exponentielle Wachstumsverlauf erst nach einiger Zeit zeigt und am Anfang doch sehr einer Geraden ähnelt. Beide Kurven zeigen also bei den Anfangswerten einen sehr ähnlichen Verlauf. Dies sei am Beispiel der Staatseinnahmen illustriert:

Rechenbeispiel: Die Korrelationskoeffizienten und ihre Abweichungen 1991-2007 bzw. 1991-2090 ergeben sich wie folgt:

Ergebnis: Vergleicht man die Korrelationskoeffizienten - und ihre Abweichungen - der Rohdaten mit den LN-logarithmierten Rohdaten über eine Zeitreihe von 100 Jahren, hier 1991-2090, so zeigt sich im Schaubild ganz klar einmal der exponentielle Verlauf, wie wir ihn kennen und erwarten und beim Logarithmus eine näherungsweise Gerade. Trotzdem unterscheiden sich die Korrelationskoeffizienten am Beispiel Variable 2 Staatseinnahmen nur um den mittleren Abweichungsbetrag von 0.027616 der Zeitreihe 1991-2090 gegenüber der Zeitreihe 1991-2007 mit dem mittleren Abweichungsbetrag von 0.015879. Das ist für mich ein überraschender Befund mit einer gewissen Anscheinsparadoxie (für aufklärende Hinweise bin ich dankbar).

Brainstorming:
16.5.8: Gilt diese enge Beziehung der Korrelatiion zwischen Daten und ihren Logarithmen nur bei Daten, die ein Wachstum bergen? Lässt sich diese Idee sich durch ein einfaches Gegenbeispiel widerlegen, z.B. indem man die Daten von Größe und Gewicht (oben) hernimmt, logarithmiert und die Korrelationen vergleicht?

Das Beispiel liefert ein ähnliches Ergebnis wie die Wachstumstumswert-Zeitreihen, sie könnten also auch als Wachstumszeitreihe interpretiert werden und wären dann kein geeignetes (Gegen-) Beispiel. Tatsächlich liefern die meisten Erhebungen von Körpergrößen und Körpergewichten als Wachstum interpretierbare Daten. Das sieht man sofort, wenn man die Werte der Größe nach sortiert, z.B. nach dem Gewicht: 46, 51, 52, 55, 58, 61, 63, 65, 65, 67, 72, 74, 74, 76, 76, 81, 85, 87, 92, 98.
 

• Systematische Veränderungs-Paradoxie beim linearen Produkt- Moment- Korrelationskoeffizienten und Effekten von Lernen, Üben, Vergessen, Entwicklung, Fortschritt, Rückschritt und ganz allgemein bei systematischen Veränderungen relativ konstanter Zunahmen oder Abnahmen.

Ein Reliabilitätsparadox der numerologischen Testtheorie

Reliabilität bedeutet in der Testtheorie Zuverlässigkeit und Genauigkeit einer Messung. Man unterscheidet verschiedene Arten von Reliabilitäten, u.a.: Paralleltestreliabilität und Retestreliabilität (Testwiederholung). Nehmen wir an, wir haben einen Test, der 30 Fragen (Items) umfaßt und der bei einer Versuchsperson zu folgendem Ergebnis führt 1= Ja, 0= Nein):

Item:  123456789012345678901234567890
                10        20        30
Tag1:  111111111111111111111111111110
Tag2:  111111111111111111111111111101

Wie man ohne besondere psychologische, statistische oder testtheoretische Kenntnisse sehen kann, sind beide Testreihen in 28 Fragen gleich bearbeitet, nur in den letzten beiden unterschiedlich. Man sollte also annehmen, dass die Korrelation zwischen beiden Testreihen sehr hoch ist, aus dem Bauch heraus wünscht man sich intuitiv eine Korrelation in der Größenordnung 28/30 = 0,93. Tatsächlich ergibt jedoch der Produkt- Moment- Korrelationskoeffizient (aufgrund der geringen Streuung, die die Werte zeigen) einen Wert von r = -0,034482759, behauptet also praktisch die Unkorreliertheit der Werte. Verdoppelt man die Testreihe auf 60 Fragen (Items) wird es auch nicht recht viel besser mit r = -0,016949153:

Item:  123456789012345678901234567890123456789012345678901234567890
                10        20        30        40        50        60
Tag1:  111111111111111111111111111111111111111111111111111111111101
Tag2:  111111111111111111111111111111111111111111111111111111111110
 

Man mag daher mit Fug und Recht bezweifeln, ob der lineare Produkt-Moment-Korrelationskoeffizient geeignet ist, die Reliabilität vernünftig zu schätzen.

• Aldrich, John (1995). Correlations Genuine and Spurious in Pearson and Yule. Statistical Science, Vol. 10, No. 4 (Nov., 1995), 364-376. [Abs]
• Anderson, Oskar (1954). Probleme der statistischen Methodenlehre in den Sozialwissenschaften. Würzburg: Physica. [enthält ein ausführliches Kapitel zur Korrelation und geht auf die Tücken und Fallen bei der Partialisierung ein]
• Bartel, Hans (1974). Korrelationen. In: Statistik I, 79-111. Stuttgart: Gustav Fischer.
• Baur, Franz (1928). Korrelationsrechnung. Mathematisch-Physikalische Bibliothek. Leipzig: Teubner. [historisch]
• Belsley, David A.; Kuh, Edwin & Welsch, Roy E. (1980). Regression Diagnostics: Identifying Influential Data and Sources of Collinearity. New York: Wiley. [Den Ökonomen sind die Probleme mit der (Multi-) Kollinearität im Gegensatz zu den meisten PsychologInnen wohlvertraut]
• Betz, W. (1911). Über Korrelation. Methoden der Korrelationsrechnung und kritischer Bericht über Korrelationsuntersuchungen aus dem Gebiete der Intelligenz, der Anlagen und ihrer Beeinflussung durch äußere Umstände. Beihefte zur Zeitschrift für angewandte Psychologie und psychologische Sammelforschung. Leipzig: Barth. [mit umfassenden Literaturverzeichnis, historisch]
• Bock, R. D. & Petersen, A. C. (1975). A multivariate correction for attenuation. Biometrika, 62,3, p. 677. [Anmerkung: die "true correlation matrix" verliert ihre positive Definitheit und produziert einen negativen Eigenwert, dokumentiert in Sponsel 1994, Kap. 9]
• Bravais, A. (1846). Analyse mathématique sur les probabilités des erreurs de situation d`un point. Mém. prés. par divers savants à l`Acad. des sciences de l`Inst. de France, 2. Serie, 9, p. 255-332.  [historisch]
• Cureton, Edward E. (1966). Corrected Item-Test Correlations. Psychometrika 31,1,93-96. [mit "Verbesserungs- bzw. Korrekturformeln für die Item-Test-Reliabilität"]
• Cureton, Edward E. (1966). On Correlation Coefficients. Psychometrika 31,4,605-607. [mit "Verbesserungs- bzw. Korrekturformeln"]
• Eisenreich, G. (1991). Korrelationen. In: Lineare Algebra und analytische Geometrie. Berlin: Akademie, S. 286.
• Encyclopedia of Statistical Science (1982). Correlation. Vol. 2, pp. 195-204. New York: Wiley.
• Fisher, Ronald A. (1925). Statistical Methods for Research Workers. Edinburgh: Oliver & Boyd. [Online]
• Fisher, Ronald A. (dt. 1956). Der Korrelationskoeffizient. In: Statistische Methoden für die Wissenschaft. Edinburgh: Oliver and Boyd. Seiten 176-211.
• Galton, Francis (1886). Family likeness in stature. ProcRoSoc 40, p. 42 [historisch]
• Galton, Francis (1888). Head growth in students at the University of Cambridge. In: Nature 38, pp. 14-15 [historisch]
• Galton, Francis (1888). Correlations and their measurement. [historisch]
• Hain, Bernhard (1994). Bemerkungen über Korrelationsmatrizen. Kap. 6 in: Sponsel, Rudolf & Hain, Bernhard (1994). Numerisch instabile Matrizen und Kollinearität in der Psychologie. Diagnose, Relevanz & Utilität, Frequenz, Ätiologie, Therapie.  Ill-Conditioned Matrices and Collinearity in Psychology. Deutsch-Englisch. Übersetzt von Agnes Mehl. Erlangen: IEC-Verlag.
• Koller, Siegfried. (1962). Typisierung korrelativer Zusammenhänge. Metrika, 65-75. [enthält systematisch hierarchische Abfrage zur Deutungsanalyse]
• Koller, Siegfried (1971). Mögliche Aussagen bei Fragen der statistischen Ursachenforschung. Metrika 17, 30-42.
• Münzner, H. (1936). Grundbegriffe und Probleme der Korrelationsrechnung. Deutsche Mathematik, 1, 290-.
• Olkin, I. & Pratt, J.W. (1958). Unbiased Estimation Of Certain Correlations Coefficients. The Annals of Mathematical Statistics, Vol. 39, 201-211. [Studie zu den Folgen in Sponsel 1994, Kap. 7.10. Die num. Stabilität nimmt zu und kein Eigenwert entgleist negativ]
• Quenouille, M.H. (1957). The Analysis of Multiple Time Series. Griffins Statistical Monographs 1.
• Pearson, Karl (1901). On the Correlation of Characters not Quantitatively Measurable. Philosophical Transactions Of The Royal Society Of London. Series A. Vol. 195, I. Mathematical Contributions to the Theory of Evolution - VII, pp. 1-47. [historisch]
• Schlosser, Otto (1976). Einführung in die sozialwissenschaftliche Zusammenhangsanalyse. Reinbek: Rowohlt.
• Spearman, Charles (1904). The proof and measurement of association between two things. American Journal of Psychology 15, pp. 88 (formula p.90).
• Sponsel, R. (1994). Numerisch instabile Matrizen und Kollinearität in der Psychologie. Diagnose, Relevanz & Utilität, Frequenz, Ätiologie, Therapie.  Ill-Conditioned Matrices and Collinearity in Psychology. Deutsch-Englisch. Übersetzt von Agnes Mehl. Kapitel 6 von Dr. Bernhard Hain: Bemerkungen über Korrelationsmatrizen. Erlangen: IEC-Verlag [ISSN-0944-5072  ISBN 3-923389-03-5].
• Sponsel, R. (2005). Fast- Kollinearität in Korrelationsmatrizen mit Eigenwertanalysen erkennen. Erlangen: IEC-Verlag.
• Thorndike, E. L. (1921). On The Organization Of Intellect. Psychological Review XXVIII, p. 147. Bemerkung: Die kleine Matrix der Ordnung 7 enthält zwei stark negative Eigenwerte.
• Tschuprow, A.A. (1925). Grundbegriffe und Grundprobleme der Korrelationsrechnung. Leipzig: Teubner. [mit umfassendem und kommentiertem  Literaturverzeichnis, historisch]
• Yule, G.U. (1926). Why do we sometimes get nonsense-correlations between time series? Journal of the Royal Statistical Society, 89, 1-64.

• Die Erfindung des Galton-Brettes und die Entwicklung des Konzeptes der Korrelation: http://www.galton.de/Kap1_2_4.htm
• Gregor Brand: Gehirngröße und Intelligenz: http://www.loni.ucla.edu/~thompson/MEDIA/NN/gb_nn.htm
• Joachim Funke: Intelligenz: Die psychologische Perspektive: http://www.psychologie.uni-heidelberg.de/ae/allg/mitarb/jf/intelligenz.pdf

• Der Korrelationskoeffizient
• Korrelation(skoeffizient) ist nicht gleich Korrelation(skoeffizient)
• Formel der Produkt-Moment-Korrelationsrechnung nach Bravais-Pearson
• Geschichte der Korrelationsrechnung nach Baur (1928)
• Ein Reliabilitätsparadox der numerologischen Testtheorie.