La valutazione della qualità degli interventi di Educazione Continua in Medicina (ECM) nella Regione Valle d’Aosta
a cura di Diletta Gazzaroli e Angelo Benozzo
Il progetto di ricerca si è ispirato ai principi della ricerca-azione partecipata (Barbier, 2007; Lewin, 1946; Orefice, 2006); per quanto riguarda il tema della valutazione della qualità degli interventi formativi ECM, sono state assunte le indicazioni dell’approccio psico-sociologico (Barus-Michel Enriquez & Levy, 2002). Secondo questa proposta, la valutazione è un processo partecipativo che implica l’attivazione del contesto e dei professionisti che vi operano per analizzare, elaborare ed interpretare i dati raccolti.
Gli obiettivi della ricerca erano cosi` articolati:
- Vagliare limiti e potenzialità di alcuni interventi formativi ex ante, durante ed ex post, sul piano delle ricadute dell’intervento in termini organizzativi.
- Sostenere miglioramenti dei processi formativi nell’ottica di una crescita delle figure professionali coinvolte e, più ampiamente, del sistema sanitario regionale.
- Contribuire al miglioramento delle pratiche formative dei diversi Provider.
La ricerca era strettamente connessa alle esigenze dell’Assessorato Sanità, Salute e Politiche Sociali della Regione Valle d’Aosta, in quanto intendeva contribuire a:
- fornire elementi di analisi alla Commissione Regionale ECM, per migliorare le attività formative rivolte ai professionisti della sanità;
- predisporre una “guida di osservazione di un evento formativo” che definisse gli elementi di interesse per la valorizzazione dell’iniziativa formativa.
Fondamentale ai fini della realizzazione del progetto è stato il coinvolgimento e la stretta sinergia con gli attori chiave della formazione ECM, ossia i Provider della Regione Valle d’Aosta: 1) Azienda USL Valle d’Aosta; 2) ISAV – Istituto Clinico Valle d’Aosta; 3) OPI – Ordine Professioni Infermieristiche (ex Collegio degli Infermieri IPASVI); 4) Ordine dei Medici.
Le attività di ricerca erano suddivise in quattro fasi. La prima fase ha previsto la costruzione del campione oggetto della ricerca. I lavori hanno preso avvio con un incontro con tutti i provider in cui è stata presentata e discussa la proposta di ricerca al fine di condividere non solo la finalità e gli obiettivi ma anche la metodologia di lavoro. È seguita una fase di studio della letteratura nazionale e internazionale e in parallelo sono stati analizzati tutti i progetti e le schede relativi ai corsi di formazione ECM realizzati in Valle d’Aosta nel 2017. L’operazione di analisi delle proposte ha consentito di selezionare una prima rosa di corsi da prendere in esame per la ricerca.
Per quanto riguarda la seconda fase di lavoro, ovvero la raccolta dati relativi ai corsi di formazione ECM selezionati per la valutazione, si è ritenuto imprescindibile il confronto con ciascun Provider, ossia con i testimoni privilegiati per ciascuna iniziativa, per la validazione delle aree di indagine previste dai due strumenti di ricerca. Le aree di indagine previste dall’intervista sono state le seguenti: 1) Rappresentazioni relative al proprio ruolo e alla formazione ECM; 2) Progettazione; 3) Valutazione; 4) Bilancio sulla progettazione. I focus group sono stati proposti ad alcuni dei professionisti che hanno preso parte ai corsi di formazione. Per quanto riguarda la fase di reperimento dei partecipanti ci si è avvalsi dell’aiuto dei Provider poiché si è valutato che potessero essere dei facilitatori non solo nel processo di presa di contatto e pianificazione degli incontri ma anche nel promuovere l’ingaggio dei professionisti alla ricerca. Nel caso dei focus group le aree di indagine erano: 1) Prima del corso; 2) Il corso: opinioni e feed-back relativi al docente (stile di conduzione e conoscenze), relazioni con i partecipanti, rilevanza e interesse dei contenuti, appropriatezza della metodologia proposta; 3) Valutazione e ricadute; 4) Rappresentazioni della formazione ECM di qualità. Anche durante la terza fase – l’analisi tematica delle ricche interviste e dei focus group – la condivisione con i Provider ha rappresentato un punto cardine del lavoro. Infatti, dopo una prima fase di rilettura e rielaborazione dei materiali raccolti sono stati previsti due momenti di incontro con i Provider. Infine, la quarta fase è coincisa con la scrittura del rapporto di ricerca, anch’esso condiviso con gli stakeholder e i partner della ricerca.
La ricerca ha messo in evidenza che complessivamente l’attuale sistema valutativo della formazione ECM in Valle d’Aosta, si colloca in quello che in letteratura è stato definito approccio burocratico alla valutazione – la valutazione mira a constatare il rispetto dei criteri di lavoro stabiliti e il valutatore è un tecnico neutrale. È anche presente una tensione ad avvicinarsi all’approccio pragmatico alla valutazione – a valutazione si fonda su standard di qualità ed ha un riscontro sulla performance nel contesto lavorativo) che crea le premesse perché il sistema valutativo possa realizzare un ulteriore passaggio evolutivo verso un approccio dialogico. Ovvero, verso una valutazione fondata sulla comprensione di quanto accade nel processo di lavoro e di un giudizio di valore co-costruito da valutatori e stakeholders.
Principali risultati della ricerca
Di seguito sono riportati i principali risultati emersi dalla raccolta e analisi dei dati presentati dando spazio alla rilettura del materiale empirico riferito a ciascun Provider singolarmente (Azienda USL, ISAV Istituto Clinico Valle d’Aosta, OPI Ordine professioni infermieristiche). I risultati della ricerca sono riassunti di seguito attraverso la presentazione del punto di vista dei partecipanti ai corsi (che hanno preso parte al focus group), distinto da quello dei responsabili scientifici e dei tutor, che sono stati intervistati individualmente.
Azienda USL Valle d’Aosta
Sono stati presi in esame quattro corsi di formazione ECM svoltisi durante l’anno 2017. A fronte dell’ampio ventaglio di proposte offerte dall’Azienda USL si è ritenuto opportuno selezionare almeno un corso per tipologia di offerta formativa (corso sul campo, residenziale, retraining): “Comitato aziendale per il buon uso del sangue”, “Legge Madia e riforma della pubblica amministrazione”, “Gestione delle urgenze-emergenze psichiatriche in ospedale e nel territorio: tra criticità e nuovi modelli organizzativi”, “Movimentazione manuale dei carichi e dei pazienti”.
partecipanti
Una prima questione chiave riguarda la discrezionalità nella scelta di partecipare ad un corso. Infatti, durante i focus group i partecipanti hanno sottolineato che spesso la scelta di prendere parte ad un corso non sia su base volontaria ma esito di una richiesta organizzativa. Nel caso delle “formazioni non scelte“, il vissuto dei partecipanti è molto spesso quello di non sentirsi riconosciuti e/o valorizzati come professionisti con il conseguente rischio di trasmettere una conferma implicita che la formazione sia un obbligo di legge da espletare attraverso la raccolta dei crediti. Secondo la prospettiva dei professionisti, la formazione ECM dovrebbe essere funzionale alla crescita lavorativa e personale di chi vi partecipa. Per tale ragione, poter scegliere corsi su tematiche sentite come prioritarie o rispetto alle quali ci si sente “carenti” diventa elemento imprescindibile per garantire un’effettiva utilità del corso. Aiutare a comprendere le motivazioni dietro la richiesta di partecipare ad un corso può essere d’aiuto per i partecipanti a rileggere tale richiesta in termini di coerenza con la propria professione e il proprio contesto. Diversamente, quando la partecipazione ai corsi è “volontaria“, i professionisti concordano nel giudicare la formazione ECM come occasione di confronto e crescita poiché la riflessione riguarda tematiche/questioni vicine alla propria quotidianità lavorativa.
Altra questione chiave riguarda gli obiettivi e il contenuto del corso. I partecipanti dei vari focus group concordano unanimemente rispetto alla imprescindibilità che l’oggetto sia trattato in termini di concretezza e “traducibilità” nel contesto professionale a prescindere dal fatto che il corso sia residenziale o sul campo. Connesso al tema della trasferibilità/traducibilità è anche la scelta dei ruoli cui aprire la partecipazione al corso: la formazione ECM può essere occasione di crescita e arricchimento grazie al confronto tra professionisti ma su determinati oggetti la trasversalità di ruoli non è funzionale all’approfondimento e di conseguenza ad un apprendimento efficace e trasferibile.
In quest’ottica anche la scelta del docente è una questione fondamentale; il docente, infatti, deve essere in grado di utilizzare un linguaggio condiviso con i destinatari della formazione ed essere in grado di sostenere il processo di trasferibilità delle conoscenze attraverso spunti pertinenti con il contesto professionale in cui lavorano partecipanti alla formazione.
Infine, per quanto riguarda l’attuale sistema valutativo (questionario per la verifica dell’apprendimento e per il gradimento), l’opinione trasversale è quella di ritenerlo “pratico” ma non sempre adeguato. Infatti, non è percepito come utile per esprimere dei feed-back più articolati (e viene riconosciuto che la tendenza sia quella di dare una valutazione positiva anche quando non coerente con l’opinione sul corso) o per esplicitare i propri bisogni. Sostanzialmente il momento della valutazione non viene percepito come parte del processo formativo.
Altra criticità emersa in riferimento al sistema valutativo riguarda l’“assenza“ del follow-up. Nella maggior parte dei casi la percezione dei professionisti è che stia alla responsabilità del singolo alimentare quanto appreso nel corso con il rischio di perdere l’occasione di generare un apprendimento organizzativo oltre a quello individuale.
responsabili
In base a quanto emerso dalle interviste individuali, i Responsabili Scientifici convergono nel declinare il proprio ruolo in termini di tutela dell’appropriatezza della proposta. Ciò significa: saper cogliere e leggere i bisogni/fragilità/criticità all’interno dell’équipe/struttura; riuscire a trasmettere il senso del corso rendendolo interessante e attrattivo; dare garanzia che il percorso abbia una propria logica/coerenza ed efficacia preoccuparsi della trasferibilità nella propria realtà dei contenuti.
Avendo preso in considerazione anche un corso di formazione sul campo (Comitato aziendale per il buon uso del sangue “COBUS”) sono state esplorate le rappresentazioni di ruolo anche in riferimento alle due figure del Responsabile di Progetto e del Coordinatore.
Un primo elemento che si può riscontrare riguarda il fatto che non appare una così chiara distinzione e definizione tra i due ruoli. I partecipanti, infatti, percepiscono il responsabile di progetto come un leader di progetto che oltre a «tirare le fila» si preoccupa di curare le relazioni nel gruppo e – a detta degli stessi partecipanti – ha saputo trasformare la formazione in un gruppo di lavoro basato sul confronto e la discussione. Il coordinatore, invece, più che riconoscersi delle funzioni connesse alla gestione del gruppo ritiene che il suo ruolo sia legato al fornire le informazioni legate alla sua area di competenza.
Altro elemento di convergenza tra Responsabili Scientifici e partecipanti dei corsi riguarda il tema della valutazione. L’attuale sistema valutativo (questionario per la verifica dell’apprendimento e per il gradimento) viene definito come protettivo rispetto al sistema ma non sempre funzionale. Infatti, oltre alla discrepanza tra valutazioni dei questionari (tendenzialmente positive) e feed-back informali (più critici), il sistema non consente di poter avere un riscontro sull’efficacia dell’apprendimento perché non è affiancato da evidenze concrete (audit o numeri dai reparti).
Anche per quanto riguarda il follow-up ne viene riconosciuta l’importanza ma da parte di tutti i Responsabili Scientifici è emersa la difficoltà a prefigurare delle possibili proposte per il timore che possa essere vissuta come giudicante e/o richiedere un investimento di risorse considerevole.
È interessante notare come le rappresentazioni dei Responsabili siano in linea con le considerazioni e i bisogni espressi dai partecipanti. Viene quindi da interrogarsi su quali possano essere i fattori che non sempre consentono di tradurre queste convergenze nei progetti: una non adeguata analisi dei bisogni? Un bisogno di essere formati sulla progettazione? Una più accurata preparazione nella comunicazione delle proposte formative?
A questo proposito merita di essere menzionata la fatica riportata dai responsabili scientifici rispetto alla componente burocratica per la stesura di un progetto ECM. Secondo gli intervistati, infatti, risulterebbe eccessiva e i criteri di approvazione di un progetto non sempre, a loro giudizio, sono chiari. Secondo il Provider questa difficoltà dei responsabili è riconducibile alle resistenze di alcune realtà aziendali nel creare sinergie con l’Ufficio Formazione. La questione dovrebbe essere posta su un differente piano; piuttosto che ragionare in termini di logica aut-aut, si dovrebbe passare ad una logica et-et (burocrazia e appropriatezza della proposta ugualmente imprescindibili, come due come due facce della stessa medaglia).
ISAV – Istituto Clinico Valle d’Aosta
È stato preso in esame un corso sul campo svoltosi nell’arco dell’anno 2017: “Il dolore: un nemico della riabilitazione”.
partecipanti
Dal focus group è emerso con chiarezza che il tema oggetto della formazione riveste una considerevole importanza per la quotidianità professionale nella clinica. La proposta di un corso che avesse per oggetto la presa in carico del dolore rispetto al processo di riabilitazione è stata quindi accolta non solo come un’occasione di formalizzazione del tema ma anche (e soprattutto) come un’occasione di apprendimento finalizzata a leggere e comprendere con maggiore consapevolezza le situazioni cliniche che possono verificarsi in reparto.
Altro elemento chiave che ha mosso i partecipanti in termini di investimento rispetto al corso è stata la prospettiva di poter cambiare la gestione dei processi di lavoro a livello di équipe.
Per quanto riguarda il corso, un punto di forza secondo i partecipanti riguarda il processo di lavoro centrato sull’ingaggio dei singoli e del gruppo. Infatti, secondo i partecipanti, il fatto di essersi dovuti “far carico“, tra un incontro e l’altro, della preparazione e della condivisione dei materiali con gli altri partecipanti ha consentito loro (oltre l’ottimizzazione dei tempi) di assumersi maggiore responsabilità per quanto stavano facendo. Elemento chiave rispetto a questo processo è stata la figura del tutor. Infatti, oltre alla gestione delle questioni logistiche e pratiche del progetto, questa figura è stata fondamentale in termini di sostegno e connessione del lavoro e delle dinamiche relazionali tra un incontro e l’altro.
Rispetto alla valutazione quello che emerge tra i partecipanti è una rappresentazione complessa ed evoluta in termini di circolarità e multidimensionalità. Infatti, secondo i partecipanti la valutazione dell’efficacia del corso deve basarsi: sul dialogo tra i professionisti e le differenti prospettive professionali; sul confronto con i dati oggettivi (le scale del dolore introdotte durante il corso, il numero di antidolorifici somministrati); sulla relazione con il paziente e il grado di variabilità connesso alla soggettività di ciascuno.
Interessante notare come le ricadute del corso non siano connesse solo ai contenuti sul dolore ma anche al processo di lavoro tra i partecipanti del corso. Come da loro stessi osservato si è avviato un passaggio ad un lavoro come équipe integrata, in cui superare la routine grazie al confronto di sguardi diversi.
Una riflessione finale la meritano le dimensioni del gruppo di lavoro che ha partecipato al corso. Il corso è stato attivato solo per un reparto a causa delle differenti caratteristiche tra i pazienti del primo e del secondo piano. Tuttavia, quello che potrebbe essere visto come un limite, ovvero la piccola dimensione del gruppo di lavoro, può rappresentare una risorsa se gestita adeguatamente attraverso il monitoraggio del processo e delle dinamiche relazionali tra i partecipanti. Le piccole dimensioni aiutano a creare un clima familiare di fiducia, collaborazione e comunicazione libera anche rispetto a criticità e fatiche. Si può notare come il forte senso di appartenenza sia un fattore che può giocare un ruolo chiave rispetto all’investimento nella formazione.
coordinatore, esperto e tutor
Nonostante alcune delle criticità riscontrate, quali una letteratura scientifica non sempre “adeguata”, la fatica di alcuni operatori (soprattutto di quelli appartenenti alla “vecchia generazione”) ad interiorizzare il valore della formazione e la poca visibilità delle iniziative all’esterno della clinica. Secondo i tre intervistati il corso ha saputo garantire il trasferimento delle conoscenze scientifiche in ambito clinico e, di conseguenza, ha permesso di ottenere: operatori più sicuri in grado di lavorare quotidianamente insieme integrando prospettive differenti; un miglioramento della qualità della salute dei pazienti.
È interessante approfondire quali fattori, secondo i tre intervistati, abbiano contribuito ad un esito positivo del corso. Anzitutto, la proposta è connessa ad un dato riscontrato nel lavoro quotidiano: la poca conoscenza sul tema del dolore. Un altro fattore che ha contribuito rispetto alla strutturazione di un progetto di formazione efficace è stata la coerenza tra la natura del bisogno dei professionisti (esigenze cliniche e la scarsità di materiali scientifici) e la metodologia proposta (sul campo). L’integrazione e la chiarezza di ruoli tra il coordinatore, l’esperto e il tutor rappresentano un altro fattore funzionale alla riuscita del corso.
Infine, per quanto riguarda la valutazione emerge una rappresentazione coerente con quella dei partecipanti, ovvero, di un processo per comprendere se si sia prodotto un cambiamento.
OPI – Ordine Professioni Infermieristiche (ex Collegio degli Infermieri IPASVI)
Sono stati presi in esame tre corsi residenziali svoltisi durante l’anno 2017: “La violenza di genere inizia dalle parole che usiamo”, “Giornata di formazione per infermieri. La medicina narrativa: da dove partiamo”, “Migranti, oltre gli sbarchi e i confini”.
partecipanti
Nel caso di OPI la partecipazione ai corsi è volontaria. La questione della scelta di partecipare al corso si intreccia ovviamente con l’interesse per il tema/i contenuti del progetto. I partecipanti intervistati erano ben consapevoli che le iniziative formative non avevano un contenuto strettamente tecnico-specialistico – anzi, per alcuni potevano sembrare anche molto lontani da un profilo ideale di competenze professionali – tuttavia, ricorrendo alla classica distinzione tra sfera professionale e sfera personale ne hanno riconosciuto il valore. Inoltre, le iniziative formative, pur non avendo un carattere tecnico-specialistiche, comunque, conservavano degli elementi di trasferibilità o per lo meno hanno rappresentato lo spunto per l’avvio di micro (o macro) processi di cambiamento.
Tutti e tre i corsi presi in esame sono stati caratterizzati dalla presenza di docenti assai valorizzati che hanno creato un clima d’aula che ha facilitato la ‘messa a nudo di parti di sé’. I temi, infatti, erano proposti attraverso un approccio che sollecitava il coinvolgimento diretto dei partecipanti.
Il questionario di valutazione finale sembra poco valorizzato, anche poco ricordato; ne vengono esaltate le caratteristiche di strumento burocratico. Oltre ad essere uno strumento che a volte non viene nemmeno compilato, sembra non fornisca elementi utili per comprendere le ricadute del corso. A prescindere dal questionario i partecipanti sembrano dare una valutazione positiva e in alcuni casi anche entusiastica delle iniziative cui hanno partecipato.
il responsabile scientifico
Il responsabile scientifico viene descritto come colui che presidia la seguente sequenza di attività:
- definire l’argomento, cercare e decidere i docenti/professionisti/relatori da chiamare e le associazioni da coinvolgere (per patrocinio e sponsorship);
- confrontarsi con la formazione realizzata presso altri Ordini;
- presidiare la comunicazione;
- ricercare e verificare gli spazi dell’evento in tutto il territorio della Regione;
- chiedere il CV ai docenti e organizzarne la trasferta;
- raccogliere le esigenze e ‘lamentele’;
- presidiare il clima d’aula e il rapporto con il docente;
- gestire la compilazione dei questionari di valutazione (test di gradimento e dell’apprendimento).
Da questa descrizione sembra che colei/colui che dovrebbe essere il presidio degli obiettivi/temi/contenuti, svolga anche (e soprattutto) attività di natura organizzativa/segretariale che l’organizzazione degli eventi richiedono. Pertanto, la domanda diventa: è possibile che la focalizzazione e il presidio di aspetti organizzativi, faccia perdere di vista il focus sul valore dell’iniziativa e quindi anche sulla qualità del corso/evento?
Inoltre, è interessante notare che spesso sia i partecipanti sia i Responsabili Scientifici, anziché utilizzare l’espressione corso di formazione per descrivere le iniziative che sono state organizzate, ricorrono a evento o anche a convegno, termini che segnano l’entrata in un’area semantica diversa da quella della “formazione”. L’utilizzo di questi termini ci fa interrogare su quale sia la natura delle proposte di OPI. Una formazione che intende sensibilizzare o sviluppare competenze per migliorare il servizio? Una formazione che intende sviluppare competenze e che si realizza nell’arco di un solo giorno?
Queste osservazioni sottolineano la necessità di interrogarsi in modo specifico su finalità e obiettivi che attraverso la formazione si intendono raggiungere. Se si vuole andare nella direzione dello sviluppo di competenze, allora forse si dovrebbero immaginare dei dispositivi formativi più complessi e articolati; si dovrebbe immaginare di costruire dei sistemi di follow-up e una continuità nelle iniziative e, inoltre, pensare a formazioni trasversali meno generali ma che consentano di progettare azioni/interventi utili anche nel contesto lavorativo. Se invece la finalità è la sensibilizzazione, allora, forse, in un solo giorno di formazione, si ‘gettano dei semi’ che occorrerà innaffiare, alimentare e proteggere nel tempo, affinché possano attecchire e diventare piante adulte. A partire da questi elementi emersi nel corso della ricerca, il suggerimento rivolto a coloro che organizzano la formazione è quello di essere realistici e di ripensare alle proprie aspettative chiarendo la finalità che si intende raggiungere. La risposta data a quale finalità viene attribuita alle iniziative formative dovrebbe consentire anche di immaginare modalità di per presidiare la qualità e la valutazione degli interventi, affinché esse non siano lasciate all’informalità e al caso.
Alla luce dei risultati emersi durante la raccolta dati è possibile evidenziare tre macro tematiche di interesse per i Provider che riguardano rispettivamente la progettazione, il contenuto e gli obiettivi del corso e il sistema di valutazione. Anche se analizzate distintamente, queste tre aree sono tra loro fortemente interconnesse e si influenzano a vicenda. Infatti, le scelte che vengono fatte in fase di progettazione inevitabilmente incideranno sul modo in cui i contenuti saranno trattati in aula e il modo in cui saranno valutati, allo stesso modo se la valutazione è pensata come parte integrante di un processo circolare i suoi esiti avranno delle ricadute sulle successive progettazioni, infine, non si può prescindere dal tipo di contenuto e di obiettivi che si vogliono conseguire quando si struttura un percorso e (parimenti) quando lo si valuta. L’attenzione a queste tre aree è basilare per consentire di attuare appieno il passaggio da quello che viene definito approccio burocratico (che attualmente sembra caratterizzare il sistema ECM in Valle d’Aosta) ad un approccio pragmatico alla valutazione. In altri termini, la valutazione – invece di mirare a constatare l’adempienza a dei criteri di lavoro – potrebbe realmente iniziare a fondarsi sugli standard di qualità e cercare un riscontro sulla performance nel contesto lavorativo. Questo passaggio permetterebbe inoltre di creare le condizioni perché il sistema valutativo possa avvicinarsi ad un approccio dialogico in cui la valutazione si concentra sulla comprensione del processo di lavoro e il giudizio di valore sull’esperienza formativa è l’esito di una co-costruzione tra i valutatori e tutti gli attori coinvolti nel processo formativo.
Riferimenti bibliografici
Barbier R., La ricerca azione, Armando, Roma, 2007.
Barus-Michel, J., Enriquez, E., & Le´vy, A. (2002). Vocabulaire de psychosociologie. Toulouse: ERES
Lewin, K. (1946). Action research and minority problems. Journal of Social Issues, 2(4), 34-46.
Orefice, P. (2006). La Ricerca Azione Partecipativa: teoria e pratiche – Volume 1 di La ricerca azione partecipativa. Teoria e pratiche. Napoli: Liguori Editore.