|
Inhaltsverzeichnis |
6 |
|
|
Vorwort zur zweiten Auflage |
10 |
|
|
Vorwort zur ersten Auflage |
12 |
|
|
1. Wissenschaft, Moral und die Grenzen der Planbarkeit |
14 |
|
|
1.1 Definitionsversuche von «Evaluation» |
14 |
|
|
1.2 Wissenschaft und moralische Verantwortung |
16 |
|
|
1.3 Handlungsoptimierung durch Evaluation |
19 |
|
|
2. Grundlagen sozialwissenschaftlich gestützter Evaluation |
24 |
|
|
2.1 Zielsetzungen bei Evaluationsvorhaben |
24 |
|
|
2.1.1 Grundlagen für die Akzeptanz von Evaluation |
24 |
|
|
Psychologische Voraussetzungen |
24 |
|
|
Geschichtliche Entwicklung des Evaluationsgedankens |
28 |
|
|
2.1.2 Nutzenerwartungen des Auftraggebers |
30 |
|
|
Bewertung ohne detaillierte Zielsetzung |
30 |
|
|
Verantwortungsdelegation |
30 |
|
|
Durchsetzungshilfe |
30 |
|
|
Entscheidungshilfe |
31 |
|
|
Optimierungsgrundlage |
31 |
|
|
Kontrolle der Zielerreichung |
32 |
|
|
2.1.3 Schwerpunkte konkreter Evaluationsprojekte |
32 |
|
|
Rahmenbedingungen |
33 |
|
|
Grundsätzliche Ziele |
34 |
|
|
Zeitperspektive |
34 |
|
|
Nutzenüberlegungen |
35 |
|
|
Bearbeitungsformen |
35 |
|
|
Erfahrungsaufbereitung |
36 |
|
|
2.2 Wissenschaft als mögliche Grundlage von Evaluation |
37 |
|
|
2.2.1 Evaluation als wissenschaftsgestütztes Handeln |
37 |
|
|
Beziehung zwischen Wissenschaft und Evaluation |
37 |
|
|
Rolle des Evaluators |
38 |
|
|
Wissenschaft als Hilfe für die Evaluationsarbeit |
39 |
|
|
2.2.2 Nutzen der Wissenschafts-Beiträge |
39 |
|
|
Potentielle Sachbeiträge von Wissenschaft |
40 |
|
|
Zusatznutzen «wissenschaftlicher» Evaluation |
40 |
|
|
2.2.3 Alternativen zur wissenschaftsgestützten Evaluation |
43 |
|
|
Legalistische Position |
43 |
|
|
Nicht-sozialwissenschaftliche Evaluation |
44 |
|
|
2.2.4 Qualitätsmanagement nach DIN-EN-ISO-9000ff. |
44 |
|
|
2.3. Verfügbarkeit von Evaluatoren |
46 |
|
|
2.3.1. Rollenvielfalt des Evaluators |
47 |
|
|
2.3.2 Rechtliche Rahmenbedingungen von evaluatorischer Tätigkeit |
47 |
|
|
Vertragsmöglichkeiten |
48 |
|
|
2.3.3 Persönliche Voraussetzungen |
52 |
|
|
Fachliches Können |
52 |
|
|
Persönlichkeit, Interessen, Motivation |
52 |
|
|
3. Einsatzgebiete psychologischer Evaluation |
56 |
|
|
3.1 Gestaltungsaspekte von Evaluationsstudien |
56 |
|
|
3.1.1 Evaluationsziele |
56 |
|
|
3.1.2 Evaluationsbereich |
58 |
|
|
3.1.3 Evaluationsobjekt |
60 |
|
|
3.1.4 Ort der Evaluierung |
63 |
|
|
3.1.5. Evaluationsmodell |
63 |
|
|
3.1.6. Evaluationsnutzung |
64 |
|
|
3.2 Evaluation als interdisziplinäres Feld |
67 |
|
|
3.2.1 Notwendigkeit einer einzelne Evaluationsbereiche überschreitenden Vorgehensweise |
67 |
|
|
3.2.2 Vergleich BRD/USA: Stand der Evaluationsforschung |
68 |
|
|
3.2.3 Strukturelle Gemeinsamkeiten «idealer» Evaluationsstudien |
69 |
|
|
Strukturelle Kennzeichen von Evaluationsstudien: |
69 |
|
|
3.3 Grundlagen und Probleme der Evaluationsforschung Probleme der Evaluationsforschung dargestellt am Beispiel konkreter Evaluationsprojekte |
71 |
|
|
3.3.1 Evaluation in der Wirtschaft |
71 |
|
|
3.3.2 Evaluation im Schul- und Bildungswesen |
75 |
|
|
3.3.3 Evaluation im forensischen Bereich |
80 |
|
|
4. Zielexplikation und Bewertungskriterien |
84 |
|
|
4.1 Zielexplikation |
84 |
|
|
4.1.1 Zielgruppenbestimmung |
86 |
|
|
4.1.2 Konkretisierung des Evaluationsobjektes |
88 |
|
|
4.1.3 Antizipatorische Ergebnisverwertung |
90 |
|
|
4.2 Bewertungsprozeß |
90 |
|
|
4.2.1 Auswahl der Bewertungskriterien |
92 |
|
|
4.2.2 Nebenfolgenabschätzung |
93 |
|
|
4.2.3 Operationalisierungsfragen |
95 |
|
|
Systematische Itemkonstruktion |
101 |
|
|
Eindimensionale probabilistische Modelle |
102 |
|
|
4.3 Bewertungs- und Entscheidungshilfen |
103 |
|
|
4.3.1 Explizite Verfahren der Nutzenbestimmung |
103 |
|
|
Nutzenmessung |
104 |
|
|
Nutzenverrechnung |
107 |
|
|
4.3.2 Expertengestützte Entscheidungsfindung |
108 |
|
|
4.3.3. Entscheidungsfindung durch Betroffene |
109 |
|
|
4.3.4 Grenzen objektiver Nutzenbewertung |
111 |
|
|
5. Planung von Evaluationsprojekten |
114 |
|
|
5.1 Projektmanagement |
115 |
|
|
5.1.1 Informationen zu Projektdetails und Rahmenbedingungen |
115 |
|
|
5.1.2 Vorläufiger Arbeitsplan |
117 |
|
|
5.1.3 Zeit- und Kostenabschätzung |
118 |
|
|
Strukturanalyse |
118 |
|
|
Zeitanalyse |
120 |
|
|
Balkenplantechnik |
121 |
|
|
Netzplantechnik |
123 |
|
|
Kostenschätzung |
124 |
|
|
Entscheidungsbaumverfahren |
125 |
|
|
5.2 Designfragen |
125 |
|
|
5.2.1 Fehlerquellen |
126 |
|
|
5.2.2 Untersuchungspläne |
127 |
|
|
Sonderfall: Überprüfung der Zielereichung |
129 |
|
|
Grenzen der Realisierbarkeit von Idealforderungen |
130 |
|
|
Notwendig: Praktikable Kompromisse |
131 |
|
|
5.2.3 Datenerhebungsverfahren |
132 |
|
|
Tests bzw. Fragebögen |
132 |
|
|
Beobachtung |
133 |
|
|
Interviewtechniken |
134 |
|
|
5.3 Auswertungsverfahren |
135 |
|
|
5.3.1 Beurteilung der Effektstärke |
136 |
|
|
Normierte Skalenwerte |
136 |
|
|
Signifikant = relevant? |
137 |
|
|
Interpretation deskriptiver Kennzahlen |
137 |
|
|
Meta-Analysen |
139 |
|
|
5.3.2 Auswertungsverfahren auf der Basis allgemeiner linearer Modellansätze |
139 |
|
|
Populationsabhängigkeit |
139 |
|
|
Deskription, nicht Funktionsanalyse |
140 |
|
|
Kontextabhängigkeit |
141 |
|
|
5.3.3 Qualitative Auswertungsverfahren |
141 |
|
|
Konfigurale Techniken |
142 |
|
|
Strukturierungshilfen |
142 |
|
|
Verstehen |
143 |
|
|
6. Durchführung von Evaluationsstudien |
146 |
|
|
6.1 Organisatorische Fragen |
146 |
|
|
6.1.1 Fragen der Personalführung |
147 |
|
|
Organisationsaufgaben |
148 |
|
|
Positive Aspekte |
148 |
|
|
6.1.2 Kontrolltechniken des Projektverlaufes und des Konfliktmanagements |
149 |
|
|
6.1.3 Unerwartete Störfälle |
150 |
|
|
6.2 Auswertungsarbeiten |
151 |
|
|
6.2.1 Kontrolle der Datenqualität |
151 |
|
|
Datenerhebung durch Interview |
151 |
|
|
Interviewerkontrolle |
152 |
|
|
Schriftliche Befragung |
153 |
|
|
Fehler bei der Datenaufbereitung |
153 |
|
|
Datenauswertung |
154 |
|
|
6.2.2 Datenschutz |
155 |
|
|
Schutz der Privatsphäre |
157 |
|
|
Datenschutz auch bei Änderung der Rahmenbedingungen! |
157 |
|
|
6.2.3 Auswertungspläne |
159 |
|
|
Rechtzeitige Auswahl der Auswertungsdetails |
159 |
|
|
Antizipatorische Konsensfindung |
160 |
|
|
6.3 Berichtlegung |
160 |
|
|
6.3.1 Zielgruppenanalyse |
161 |
|
|
6.3.2 Informationsverdichtung |
162 |
|
|
Nahezu unvermeidbare Angriffspunkte |
163 |
|
|
6.3.3 Mündliche Präsentation |
163 |
|
|
7. Ausblick: Bewertung sozialwissenschaftlicher Evaluation |
166 |
|
|
7.1 Bewertungskriterien einzelner Evaluationsvorhaben |
166 |
|
|
Ergebnisabhängige Aspekte |
166 |
|
|
Ergebnisunabhängige Aspekte |
167 |
|
|
7.2 Evaluation als gesellschaftliches Gestaltungsprinzip |
167 |
|
|
7.3 Zukunftsperspektiven |
168 |
|
|
8. Literaturverzeichnis |
170 |
|
|
9. Stichwortverzeichnis |
176 |
|