Fragen zur Methode

Die Größen, um die es geht, lassen sich nicht direkt messen. Führungseffizienz oder Kundenwert kann niemand ablesen, sie werden über mehrere Testaussagen erfasst. Ein Strukturgleichungsmodell schätzt in einem Schritt, wie gut die Aussagen ihr Konstrukt abbilden und wie die Konstrukte aufeinander wirken. Eine Korrelation betrachtet nur Paare von Werten. Das Strukturgleichungsmodell prüft eine vorab aus der Theorie abgeleitete Wirkungsstruktur als Ganzes. Regression und Pfadanalyse arbeiten nur mit direkt gemessenen Größen. Das QMC-Modell enthält sieben latente Konstrukte und eine vermittelnde Größe, die Kommunikationsqualität. Für diesen Aufbau wählte die Arbeit das Strukturgleichungsmodell und rechnete es in AMOS 21.

In einem reflektiven Modell steht das Konstrukt am Anfang. Die Indikatoren spiegeln es wider, ohne es vollständig zu beschreiben. In einem formativen Modell ist es umgekehrt, dort setzt sich das Konstrukt aus seinen Indikatoren zusammen. Die Arbeit wählt die reflektive Form, weil eine Literaturanalyse nie alle Bestandteile eines Konstrukts findet. So fehlt im Modell etwa ein mitarbeiterbezogener Erfolg, der durchaus zum Kommunikationserfolg zählen könnte. Damit solche Lücken und Messfehler aufgefangen werden, enthält das Modell zusätzliche Fehlervariablen.

Die Kategorien des Ausgangsmodells stammen aus der Literatur. Die meisten Studien dort betrachten nur einzelne Ausschnitte, und über Qualitätsmanagement in Kommunikationsagenturen selbst fand die Recherche kaum Arbeiten. Bevor Auftraggeber die Kategorien bewerten, sollte die Praxis prüfen, ob die Begriffe verständlich und richtig zugeordnet sind. Aktionsforschung bindet die Beteiligten in diese Prüfung ein. Das passt zur Grundannahme der Arbeit, nach der Kommunikationsqualität im Dialog entsteht, und erleichtert die spätere Anwendung des Modells. Habermas hat gegen die Aktionsforschung eingewandt, sie vernachlässige die Theorie. Deshalb setzte die Vorstudie auf dem literaturgestützten Modell auf und beschränkte sich darauf, seine Kategorien zu prüfen.

Führungskräfte aus zwei international tätigen Kommunikationsagenturen bewerteten jede der 26 Kategorien auf einer Skala von 0 bis 3; Kategorien deutlich unter dem Gesamtmittel von 1,70 entfielen. Sechs wurden gestrichen, 20 gingen als Indikatoren in die Befragung (Kennzahl der Vorstudie).

Auftraggeber eignen sich in doppelter Rolle. Sie kennen die Agentur aus der Zusammenarbeit, und sie sehen die Wirkung der Projekte im eigenen Unternehmen, an den Reaktionen ihrer Kunden, an der öffentlichen Wahrnehmung und an den eigenen Geschäftszahlen. Deshalb bewerteten sie im Fragebogen zuerst die Agentur und dann die Folgen des Projekts für ihr eigenes Haus.

Angeschrieben wurden 1.331 Unternehmen, die einer von zwei Agenturen einen abgeschlossenen Auftrag von mehr als 100.000 Euro erteilt hatten. 298 antworteten, 89 davon brachen vorzeitig ab. Ausgewertet wurden 209 vollständige Fragebögen, 15,7 Prozent der Angeschriebenen. Die Arbeit folgt der Regel, nach der ein Strukturgleichungsmodell mindestens zehn Fälle je Indikator und mindestens 200 Fälle insgesamt braucht. Bei 20 Indikatoren sind das 200. Die 209 Datensätze liegen knapp darüber.

Die Befragung lief anonym über ein Online-System. Der Forscher kannte weder Namen noch andere Personendaten, Position und Antworten wurden getrennt gespeichert, und die Fragebögen wurden nach der Auswertung vernichtet (Methode).

Die Arbeit wertet einen Pfad als signifikant, wenn sein p-Wert unter 0,10 liegt. Das entspricht einer Irrtumswahrscheinlichkeit von höchstens zehn Prozent. Damit ein Strukturgleichungsmodell eine eindeutige Lösung hat, braucht jedes Konstrukt eine feste Bezugsgröße. Deshalb wird je Konstrukt ein Pfad auf den Wert 1 gesetzt. Solche Referenzpfade haben keinen eigenen p-Wert und werden nicht einzeln getestet. Das betrifft auch zwei der vier angenommenen Kernhypothesen, den Pfad von der Führungseffizienz zur Kommunikationsqualität und den von der Kommunikationsqualität zum Kundenwert.

Es sind standardisierte Gewichte aus dem Endmodell. Standardisiert heißt, alle Größen sind in dieselbe Einheit umgerechnet, sodass sich die Stärke verschiedener Pfade direkt vergleichen lässt. Prozentangaben sind sie nicht. 0,98 gilt für den Pfad von der Führungseffizienz zur Kommunikationsqualität, 0,80 für den Pfad zum Kundenvertrauen, 0,14 für Mitarbeiterqualität und Reputationsgewinn. Die beiden größten Werte gehören zu Referenzpfaden, die nicht einzeln getestet wurden. Alle Pfade mit Schätzung und p-Wert stehen unter Ergebnisse.

Kein Indikator des finanziellen Werts war signifikant, weder Börsen- oder Marktwert noch Eigenkapitalrendite oder Tobins q. Auch der Pfad von der Kommunikationsqualität zum finanziellen Wert verfehlte die Schwelle, mit einem p-Wert von 0,24. Die Arbeit strich den Bereich deshalb in der ersten Abänderung; ihre Gründe stehen unter Kommunikationserfolg.

Im Ausgangsmodell trugen mehrere Indikatoren nichts zur Erklärung bei, einige zeigten sogar negative Gewichte. Die Arbeit sieht die Ursache in Auswahl und Zuordnung der Indikatoren. Sie entfernte deshalb schrittweise, was nicht signifikant war, und schätzte das Modell nach jedem Schritt neu. Im Endmodell bleiben Führungseffizienz, Mitarbeiterqualität und Kommunikationsstrategie, erfasst über sieben Indikatoren, und auf der Erfolgsseite Kundenvertrauen und Reputationsgewinn. Direkt gemessen werden darin noch neun Variablen. Ressourcenintegration, finanzieller Wert sowie die Konstrukte sozialer Wert und Kundenwert sind darin nicht mehr enthalten.

Eine explorative Faktorenanalyse vorab hielt die Studie für entbehrlich, weil die Vorstudie die Zuordnung der Kategorien schon im Gespräch geprüft hatte. Im Rückblick räumt die Arbeit ein, dass eine solche Analyse die Indikatoren womöglich effizienter gruppiert hätte.

Befragt wurden Auftraggeber zweier international tätiger Agenturnetzwerke. Ihre Unternehmen verteilen sich auf Fertigung, Dienstleistung, Sales und andere Branchen sowie auf kleine, mittlere und große Firmen. Die Befunde beschreiben zunächst diesen Kreis von Auftraggebern. Wie lange die Zusammenhänge gelten, lässt die Arbeit offen. Ein Strukturwandel der Branche, weiteres Wachstum webbasierter Kommunikation oder eine veränderte Art, Qualität wahrzunehmen und Erfolg zu messen, könnten sie verschieben. Offene Punkte sammelt die Seite Grenzen und Ausblick.