Methode der Studie

Die Studie arbeitet in drei aufeinander aufbauenden Stufen. Eine systematische Literaturanalyse liefert die Kategorien für ein erstes Modell. Führungskräfte aus zwei international tätigen Kommunikationsagenturen bewerten diese Kategorien in einer Vorstudie; was deutlich unter dem Durchschnitt liegt, entfällt. Danach bewerten Auftraggeber von Agenturen die verbliebenen 20 Indikatoren in einem Fragebogen. Ein Strukturgleichungsmodell schätzt aus diesen Antworten, welche Faktoren in der Agentur mit welchem Erfolg beim Auftraggeber zusammenhängen.

Hier geht es um Haltung, Ablauf und Auswertung. Die Befunde stehen unter Ergebnisse, das Modell unter QMC-Modell.

Haltung der Forschung

Die Arbeit ordnet sich dem kritischen Realismus zu, wie ihn Bhaskar sowie Marsh und Furlong beschreiben. Danach existiert eine Wirklichkeit unabhängig vom Beobachter. Forschung erfasst sie aber immer in einem sozialen und persönlichen Zusammenhang, und ihr Wissen bleibt vorläufig. Vom Positivismus, der Theorien allein aus Beobachtung gewinnen will, grenzt sich die Studie damit ab.

Aus dieser Haltung folgen zwei Entscheidungen. Zahlen aus der Befragung werden qualitativ eingeordnet und nicht für sich allein gelesen. Und ein deduktives Vorgehen ist zulässig, bei dem Annahmen aus der Literatur an eigenen Daten geprüft werden.

Als Begründung zieht die Arbeit Brunswiks Linsenmodell heran. Wahrnehmung läuft danach durch Filter der Wahrnehmung und des Urteils, die sich aus früherem Wissen speisen. Wer Daten deutet, tut das nie von einem neutralen Punkt aus. Deshalb prüft das Schlusskapitel die Befunde aus fünf Blickwinkeln:

• aus Sicht der akademischen Gemeinschaft,
• aus Sicht eines kritischen Forschers, der Gültigkeit und Zuverlässigkeit hinterfragt,
• aus Sicht eines Sozialplaners, der nach Übertragbarkeit und Haltbarkeit fragt,
• aus der persönlichen Sicht des Autors,
• aus Sicht einer Agentur, die das Modell anwenden will.

Den Anstoß dazu gibt Feenbergs Forderung nach einer Vielfalt der Standpunkte.

Die Literatur­analyse

Die erste Stufe beantwortet drei der vier Teilfragen der Arbeit aus dem Forschungsstand (siehe Forschungsfrage). Welche Modelle des Qualitätsmanagements gibt es, und wurden sie in der Kommunikationsbranche erprobt? Welche Faktoren tragen nach früheren empirischen Arbeiten zur Qualität von Kommunikationsprozessen bei? Mit welchen Größen haben frühere Studien Kommunikationserfolg gemessen?

Gesucht wurde in vier Datenbanken, in Google Scholar, EBSCOhost mit EconLit, Emerald Insight und Scirus. So kamen Aufsätze aus Fachzeitschriften ebenso in die Auswahl wie Hochschulschriften, auf Deutsch und auf Englisch. Jede Teilfrage hatte eigene Suchbegriffe. Für die Enabler kombinierte die Suche etwa „commercial communication“, „marketing communication“ und „public relations“ mit Begriffen für Voraussetzungen und dem Zusatz „empirical“. Weil zur Kommunikationsbranche selbst kaum Studien über Qualitätsmanagement vorlagen, wurde die Suche zur ersten Frage auf Dienstleistungen in Marketing und Öffentlichkeitsarbeit erweitert. Jede Trefferliste wurde von Hand nachsortiert.

Am Ende standen drei Studienübersichten mit 16 Arbeiten zu Qualitätsmanagement-Modellen, 31 zu Qualitäts-Enablern und 24 zu Messgrößen des Kommunikationserfolgs. Aus ihnen leitete die Arbeit für jeden Baustein des Modells mehrere beobachtbare Kategorien ab, zusammen 26. Sie bilden das literaturgestützte Ausgangsmodell, eine Anpassung des EFQM-Gedankens an Agenturen. Wie ISO 9001, TQM und EFQM dabei abschneiden, zeigt der Vergleich der drei Modelle.

Die Vorstudie in zwei Agenturen

Bevor ein Fragebogen an Auftraggeber ging, prüfte die Studie das Ausgangsmodell in der Praxis. Sie wählte dafür die Aktionsforschung. Der Ansatz geht auf Kurt Lewin zurück, der Forschung als Spirale aus Planung, Eingriff, Erkenntnis und Veränderung beschrieb. Argyris ergänzte die Unterscheidung zwischen einfachem und doppeltem Lernen, French und Bell übertrugen das Verfahren auf Organisationen. Die Phasennamen Auftauen, Verändern und Wiedereinfrieren übernimmt die Arbeit von Johnson.

Für diese Wahl nennt die Arbeit einen inhaltlichen Grund. Kommunikationsqualität entsteht im Dialog der Beteiligten, und Aktionsforschung macht die Beteiligten zu Mitwirkenden der Forschung. Wer an der Prüfung teilnimmt, versteht das Modell zudem besser und kann es später leichter anwenden. Dem Einwand, Aktionsforschung vernachlässige die Theorie, begegnet die Studie mit einer klaren Grenze. Die Vorstudie beginnt beim Modell aus der Literatur und prüft nur dessen Kategorien.

Befragt wurden Führungskräfte aus zwei international tätigen Kommunikationsagenturen mit langjähriger Erfahrung im Qualitätsmanagement. Alle waren selbst an den QM-Prozessen ihrer Agentur beteiligt. Die Gespräche fanden in den Büros der Agenturen statt und folgten fünf Schritten.

1. Vorstellung des Vorhabens und des Ausgangsmodells vor Mitarbeitern der Agentur (Auftauen).
2. Geführte Interviews mit Führungskräften und eine Diskussion des Modells (Verändern).
3. Bewertung jeder Kategorie noch im Gespräch, auf einer Skala von 0 (keine Relevanz) bis 3 (hohe Relevanz).
4. Freie Anmerkungen dazu, ob eine Kategorie am richtigen Platz im Modell steht.
5. Zusammenführung aller Bewertungen in einer Tabelle und Festschreiben der neuen Struktur (Wiedereinfrieren).

Die Kennzahl der Vorstudie

Die Auswertung bleibt bewusst einfach. Für jede Kategorie bildet die Arbeit den Mittelwert über alle Befragten, außerdem das Mittel über alle Kategorien und Befragten. Die Differenz der beiden Werte zeigt, ob eine Kategorie über oder unter dem Durchschnitt liegt. Das Gesamtmittel lag bei 1,70 von 3 Punkten. Kategorien, deren Mittelwert deutlich darunter lag, wurden gestrichen; die Kommentare der Befragten lieferten die Gründe. Von 26 Kategorien blieben 20.

Beim geringeren Geschäftsrisiko war der Abstand zum Mittel mit 0,12 Punkten am kleinsten; hier gaben die Einwände in den Gesprächen den Ausschlag. Umgekehrt blieben alle drei Finanzgrößen im Modell, obwohl Befragte sie für spekulativ und erst langfristig messbar hielten. Ihre Mittelwerte lagen über dem Durchschnitt.

Die Grenzen dieser Stufe benennt die Arbeit selbst. Die Auswahl der Befragten ist statistisch nicht repräsentativ, ihr Urteil hängt an persönlicher Erfahrung, und die Gesprächspartner der einen Agentur äußerten sich ausführlicher als die der anderen. Die Vorstudie schärft die Kategorien. Geprüft wird das Modell erst in der dritten Stufe.

Die Befragung der Auftrag­geber

Die Hauptbefragung richtet sich an Auftraggeber von Agenturen. Sie beurteilen die Agentur aus eigener Anschauung und erfahren die Wirkung ihrer Arbeit unmittelbar, durch Rückmeldungen von Kunden und Öffentlichkeit, im Jahresabschluss oder am Börsenkurs.

Die Adressen stammen aus den Kundendatenbanken der beiden Agenturen, die mehrere zehntausend Einträge umfassen. Ausgewählt wurden Unternehmen, keine Privatpersonen, die einen abgeschlossenen Auftrag mit mehr als 100.000 Euro Volumen vergeben hatten. So kannten alle Befragten ein Projekt, das eine spürbare Wirkung haben konnte und an das sie sich erinnerten. Der Filter ergab 1.331 Adressen. Eingeladen wurden sie per E-Mail über ein Online-Befragungssystem, mit einem Hinweis auf den wissenschaftlichen Zweck.

Der Fragebogen beginnt mit drei Fragen zur Einordnung, nach der Branche, nach der Zahl der Beschäftigten in fünf Größenklassen der EU-Systematik und nach der Position der antwortenden Person. Es folgen 20 Testaussagen, eine je Indikator. Zwölf Aussagen betreffen die Agentur, etwa ob ihre Leitung die Mitbestimmung der Mitarbeiter ermöglicht. Die Befragten bewerteten sie von 1 (schlechte Leistung) bis 5 (Top-Leistung). Acht Aussagen betreffen das eigene Unternehmen nach dem Projekt, etwa ob das Vertrauen der Kunden gewachsen ist. Hier reichte die Skala von 1 (keine Zustimmung) bis 5 (maximale Zustimmung). Unternehmen ohne Börsennotierung konnten beim Marktwert den Wert für ihre Anteilseigner zugrunde legen.

Die Erhebung war anonym. Der Forscher kannte weder Namen noch andere Personendaten. Position und Antworten wurden getrennt gespeichert, die Fragebögen nach der Auswertung vernichtet. Gefragt wurde nur nach beruflichen Einschätzungen, nicht nach privaten Themen.

Ausgewertet wurden nur vollständige Fragebögen. Mit 209 Datensätzen erfüllt die Stichprobe die Faustregel, der die Arbeit folgt, mit mindestens zehn Fällen je Indikator und mindestens 200 Fällen insgesamt.

Die Antwortenden kommen aus der Fertigung (72), aus Dienstleistungsunternehmen (69), aus dem Sales (47) und aus anderen Branchen (21). 107 Unternehmen haben höchstens 400 Beschäftigte, 37 zwischen 401 und 1.000, 65 mehr als 1.000. Im Management arbeiten 81 der Antwortenden, 58 sind Inhaber oder CEO, 59 Mitarbeiter, 11 nennen eine andere Position. Den hohen Anteil großer Unternehmen erklärt die Arbeit mit dem Mindestvolumen der Aufträge.

Die Auswertung

Ein Strukturgleichungsmodell schätzt Beziehungen zwischen Größen, die sich nicht direkt beobachten lassen. Führungseffizienz oder Kundenwert sind solche latenten Größen. Erfasst werden sie über Indikatoren, hier über die 20 Testaussagen. Anders als eine Regression oder eine Pfadanalyse schätzt das Verfahren Messmodell und Wirkungsbeziehungen in einem Schritt. Die Arbeit stützt sich auf das deduktiv-nomologische Erklärungsmodell von Hempel und Oppenheim, nach dem aus der Theorie abgeleitete Zusammenhänge an Daten geprüft werden. Gerechnet wurde mit AMOS 21 und einer Maximum-Likelihood-Schätzung.

Das Messmodell ist reflektiv. Die Indikatoren spiegeln ihr Konstrukt wider, erschöpfen es aber nicht. Weil eine Literaturanalyse nie vollständig ist, können Bestandteile fehlen, etwa ein Erfolg, der sich bei den Mitarbeitern zeigt. Vier Konstrukte stehen auf der Seite der Agentur, drei auf der Seite des Auftraggebers. Zwischen beide setzt das Modell eine vermittelnde Größe, die Kommunikationsqualität. Sie entsteht aus den Enablern und zeigt sich im Erfolg.

Die Auswertung lief in vier Schritten.

1. Datenprüfung. Schiefe und Wölbung aller 20 Indikatoren lagen innerhalb der gängigen Grenzwerte, die Schiefe zwischen −0,08 und −0,62, die Wölbung zwischen −0,24 und −1,20. Fehlende Werte gab es nicht, weil nur vollständige Fragebögen ausgewertet wurden. Nach dem Mahalanobis-Abstand fand die Arbeit keine auffälligen Ausreißer.
2. Konfirmatorische Faktorenanalyse. Sie prüfte die beiden Teilmodelle, Enabler und Erfolg, zunächst getrennt. Bei neun der 20 Indikatoren lag der p-Wert der Ladung unter 0,10.
3. Gesamtmodell. Die Teilmodelle wurden über die Kommunikationsqualität verbunden und die sieben Kernhypothesen geprüft. Als signifikant galt ein Pfad mit einem p-Wert unter 0,10. Je Konstrukt ist ein Pfad auf den Wert 1 festgesetzt (Referenzpfad, nicht einzeln getestet; Erläuterung). Für die Gesamtpassung berichtet die Arbeit Chi², RMR, GFI und RMSEA, für jeden Pfad Schätzwert, Standardfehler, kritischen Wert und p-Wert.
4. Abänderungen. In drei Schritten entfernte die Arbeit Indikatoren und Konstrukte, die nichts zur Erklärung beitrugen.

Vom Ausgangsmodell zum Endmodell

Weil sich das Ausgangsmodell nur teilweise bestätigte und einige Indikatoren sogar negative Gewichte zeigten, überarbeitete die Arbeit es in drei Schritten. Die negativen Werte führt sie auf Auswahl und Zuordnung der Indikatoren zurück. Nach jedem Schritt wurde das Modell neu geschätzt, bis neun beobachtete Variablen übrig blieben. Welche Größen in welchem Schritt entfielen und welche Gewichte das Endmodell zeigt, steht unter Ergebnisse, die Lesart der Gewichte unter Fragen zur Methode.

Grenzen der Methode

Eine explorative Faktorenanalyse vor der Befragung hätte die Indikatoren nach Einschätzung der Arbeit womöglich besser gruppiert. Sie verzichtete darauf, weil die Vorstudie die Zuordnung schon geprüft hatte. Querbeziehungen zwischen den Enablern sind nicht modelliert, und alle Antworten stammen aus den Kundenkreisen zweier Agenturnetzwerke. Was das für die Lesart der Ergebnisse bedeutet, steht unter Grenzen und Ausblick.