Development, testing and generalizability of a standardized evaluation form for the assessment of patient-directed reports in the new final medical licensing examination in Germany Translated title: Entwicklung, Testung und Generalisierbarkeit eines standardisierten Bewertungsbogens zur Beurteilung von patientenverständlichen Berichten im künftigen abschließenden Staatsexamen des Medizinstudiums in Deutschland

Abstract

Background: As doctors often fail to explain diagnoses and therapies to patients in an understandable and appropriate way, the improvement of doctor-patient communication is essential. The current medical training and examinations are focused on verbal rather than on written communication. Following the premise of “assessment drives learning”, the final medical licensing examination in Germany has been further developed by the German National Institute for state examinations in Medicine, Pharmacy and Psychotherapy (IMPP). As part of the discharge management the candidates have to prepare a report for the patient that is understandable and provides them with all important information about their stay in hospital.

Aim: A standardized evaluation form for formative and summative feedback has been developed and tested with regard to applicability and the assurance of test quality criteria, especially the reliability to assess the written communication skills of the students.

Methodology: In an expert consensus procedure, a draft for a standardized evaluation form was developed. This form was revised after an initial trial run on patient-directed reports written by students in their last year of medical studies. Afterwards twenty-one patient-directed reports were evaluated by fourteen different examiners. The reliability was tested by calculating the generalizability-coefficient and by analysing the inter-rater reliability.

Results: The first test on the evaluation of the patient-directed reports indicated the practicability of the application and the usefulness of the evaluation form as an instrument for assessing the written communication skills of students. The analyses of the inter-rater reliability showed that the degree of agreement in the evaluations was partly different between two groups of examiners. The calculated G-coefficient indicates a high reliability. The content validity of the evaluation form was given through the comprehensive medical expertise in the development process.

Conclusion: Assessing written patient-directed communication is a benefit of the newly developed last part of the medical licensing examination in Germany. Continuous formative assessment and feedback based on the evaluation form is intended to improve the written communication skills of future doctors. Furthermore, a better understanding of their diagnosis and treatment as well as a trusting relationship with their doctor may empower patients in the medical decision process and lead to fewer dismissal errors in the future. For consistent use of the evaluation form a standardized training of examiners should be implemented.

Zusammenfassung

Hintergrund: Ärzt*innen erklären ihren Patient*innen Diagnosen und Therapien oft nicht ausreichend verständlich und nachvollziehbar. Eine Verbesserung der Arzt-Patienten-Kommunikation ist daher dringend geboten. Die derzeitige medizinische Ausbildung inkl. der Prüfungen konzentriert sich auf die Vermittlung von Kompetenzen in der mündlichen Kommunikation, während die schriftliche Kommunikation mit Patient*innen bislang nur wenig Beachtung findet.

Zur optimalen Vorbereitung der Medizinstudierenden auf den Berufsstart wurde das abschließende Staatsexamen des Medizinstudiums in Deutschland vom Institut für medizinische und pharmazeutische Prüfungsfragen im Sinne von „Assessment drives learning“ neugestaltet. Künftig sollen die Prüflinge als Teil des Entlassmanagements einen Bericht für die Patient*innen erstellen, der diesen in patientenverständlicher Sprache alle relevanten Informationen über ihren Krankenhausaufenthalt zugänglich macht.

Zielsetzung: Hierfür wurde ein standardisierter Bewertungsbogen entwickelt. Mit diesem kann ein formatives und summatives Feedback zu den Kompetenzen in schriftlicher Kommunikation gegeben werden. Die Anwendbarkeit dieses Bogens sowie die Testgütekriterien, insbesondere die Reliabilität, wurden getestet.

Methodik: In einem Expertenkonsensusverfahren wurde ein erster Entwurf dieses Bewertungsbogens entwickelt. Dieser Bogen wurde nach einem ersten Probelauf mit patientenverständlichen Berichten, die von Studierenden im letzten Jahr ihres Medizinstudiums verfasst wurden, überarbeitet. Anschließend wurden 21 patientenverständliche Berichte von 14 verschiedenen Prüfenden bewertet. Die Reliabilität wurde durch die Berechnung des Generalisierungskoeffizienten und durch die Analyse der Inter-Rater-Reliabilität getestet.

Ergebnisse: Im Rahmen der ersten Testung der Bewertung von patientenverständlichen Berichten konnte die Praktikabilität und der Nutzen des Bewertungsbogens als Instrument zur Beurteilung der spezifischen schriftlichen Kommunikationsfähigkeiten von Studierenden festgestellt werden. Die Analysen der Inter-Rater-Reliabilität zeigten, dass sich der Grad der Übereinstimmung in den Bewertungen je nach Vorkenntnissen der Prüfenden im Bereich der patientenverständlichen Kommunikation teilweise unterschied. Der berechnete G-Koeffizient weist auf eine hohe Reliabilität des Bewertungsbogens hin. Die inhaltliche Validität des Bewertungsbogens konnte durch die umfassende medizinische Expertise im Entwicklungsprozess sichergestellt werden.

Schlussfolgerung: Die Bewertung der Kommunikation mit Patient*innen als Teil der neu entwickelten Prüfung am Patienten oder an der Patientin bedeutet einen Zugewinn für die medizinische Ausbildung. Regelmäßige formative Prüfungen und Feedback anhand des Bewertungsbogens können im Laufe des Studiums eingesetzt werden, um die schriftlichen Kommunikationskompetenzen künftiger Ärzt*innen zu verbessern. Darüber hinaus ist zu erwarten, dass das Verstehen von Diagnosen und Therapien sowie eine vertrauensvolle Arzt-Patienten-Beziehung Patient*innen zu mehr Teilhabe am medizinischen Entscheidungsprozess befähigt. Dies könnte künftig auch Entlassungsfehlern vorbeugen. Für den einheitlichen Gebrauch des Bewertungsbogens ist die Implementierung standardisierter Prüferschulungen erforderlich.