Evaluation: Was wirkt wie? 

Evaluation und Prozessbegleitung – das Aufgabengebiet im TransforMA-Handlungsfeld Koordination und Evaluation klingt zunächst trocken, ist bei näherem Blick jedoch ebenso wichtig wie spannend. Evaluation ist der systematische Prozess der Bewertung von Maßnahmen, wie Veranstaltungen oder Formaten, Projekten oder Ergebnissen, um deren Qualität, Wirksamkeit und Verbesserungspotenzial zu bestimmen. Ähnlich wie bei klassischer Detektivarbeit stellen die Mitarbeitenden die Frage: „Was wirkt wie und warum?“. Eine systematische Suche nach Erfolgskriterien und die Analyse ihrer Wirkung sind zentral, um Antworten auf diese Schlüsselfrage zu erhalten. So werden auch die Maßnahmen von TransforMA genau unter die Lupe genommen – mit individuell zugeschnittenen Evaluationen.

Evaluationsmethoden 

Um Maßnahmen zu evaluieren, gibt es verschiedene Methoden:

Bei einer Prozessbegleitung wird die Evaluation direkt parallel zu der Maßnahme durchgeführt. Probleme bezüglich der Durchführung können so früh erkannt, Anpassungen vorgenommen und der Erfolg der Maßnahme laufend sichergestellt werden (siehe Sprach-Checker-Projekt).  

Eine andere Methode ist die summative Evaluation, die den Erfolg nach Abschluss einer Maßnahme misst. Klassischerweise erfragt die Evaluation hier, wie zufrieden die Zielgruppe mit bestimmten Aspekten der Maßnahme ist. 

Eine weitere Möglichkeit ist die forschende Evaluation, die neben Evaluationsergebnissen auch neue wissenschaftliche Erkenntnisse liefert und damit zur thematischen Weiterentwicklung in der Praxis beiträgt.

Best Practices als Ergebnis 

Evaluation prüft nicht nur die konkreten Erfolgsergebnisse, sondern auch, ob sich die Maßnahme auf andere Kontexte übertragen lässt – zum Beispiel auf eine ähnliche Zielgruppe in einer anderen Stadt oder zu einem späteren Zeitpunkt. Wenn dies der Fall ist, kann das Format als sogenannte „Good Practice“ oder gar „Best Practice“ gelten: Das Konzept der Maßnahme ist wirksam und effizient und ihr Ablauf ist so dokumentiert, dass andere sie nachvollziehen und übernehmen können.  

Best-Practice-Beispiel: OCR-Sprechstunde – was macht sie erfolgreich?

Eine solche Best-Practice-Maßnahme von TransforMA ist die OCR-Sprechstunde, die durch Astrid Kickum im vergangenen Jahr evaluiert wurde. Die OCR-Sprechstunde (Optical Charakter Recognition) ist ein Online-Beratungsangebot für alle, die alte Briefe, Formulare, Schallplattencover oder Musiknoten, die bislang nur auf Papier vorliegen, digitalisieren möchten. Expert*innen der Universitätsbibliotheken der Universität Mannheim und der Universität Tübingen stehen ihnen dabei einmal im Monat kostenfrei mit Rat und Tat zur Seite – zu allen Fragen rund um die Digitalisierung. Das Angebot ist bundesweit zugänglich und richtet sich sowohl an Wissenschaftler*innen als auch an Interessierte ohne wissenschaftlichen Hintergrund.

Auf Grundlage der Evaluation konnten zentrale Kriterien identifiziert werden, die zum Erfolg der Maßnahme beitragen und auch auf andere Fachbereiche übertragbar sind:

Die Sprechstunde ist ein offenes Online-Angebot, das bundesweit nutzbar ist – ein Ort, an dem Interessierte unkompliziert teilnehmen können, ohne sich vorher anmelden zu müssen. Sie findet monatlich zu festen Terminen statt und dauert maximal eine Stunde, sodass alles klar strukturiert bleibt. Der Zugang erfolgt über einen festen Link, der den Einstieg besonders einfach macht. Die Teilnehmendenzahl ist nicht begrenzt, wodurch viele Personen teilnehmen können. Expert*innen vermitteln das Wissen passend zum Erfahrungsstand der Teilnehmenden und lassen ausreichend Raum für Nachfragen.

Vergleichbare offene Online-Sprechstunden sind beispielsweise in den Bereichen digitale Lehre, wissenschaftliche Recherche, Auslandsaufenthalte oder Forschungsdatenmanagement denkbar und teilweise bereits etabliert. Die Evaluation der OCR-Sprechstunde hat gezeigt: Offene Sprechstunden als (Transfer-)Maßnahme werden gut aufgenommen und können erfolgreich auf andere Institutionen und Inhalte übertragen werden.