Appunti generali preliminari di valutazione della comunicazione pubblica

forumpaIl 24 Maggio 2017 ho partecipato a una tavola rotonda organizzata dal Formez presso il ForumPA. Il tema generale era La partecipazione nell’impiego dei fondi europei. L’esperienza del Formez PA. Io, in particolare, ho trattato il tema della valutazione della comunicazione, problema che sto affrontando operativamente presso la Regione Calabria. La mia relazione è stata abbastanza breve visti i tempi disponibili. Qui trovate una traccia piuttosto ampia e completa.

Incipit

Non sarà per caso se di “valutazione della comunicazione” si parla pochissimo e, specialmente, si pratica quasi nulla. Grazie a Internet è oggi facilissimo verificare quanto sto per asserire: la maggior parte dei documenti italiani, europei ed altri, anche (e soprattutto) di fonte istituzionale, che trattano di valutazione della comunicazione, o sono semplici premesse generali che non scendono al livello operativo (e quindi non servono a fare la valutazione) o scelgono scorciatoie metodologiche di scarsa utilità. La principale scorciatoia è confondere la valutazione con la customer satisfaction; vale a dire: chiedere il parere (sulla qualità comunicativa), chiamarla semmai “indice di gradimento” e sostenere che sia valutazione.

Non lo è. Manca la validità del dato, per una serie di ragioni di natura metodologica molte delle quali, comunque, risultano intuitive anche ai non esperti. Andare semplicemente a chiedere “Hai capito?”, “Hai gradito?”, non offre alcuna garanzia di certezza informativa e, anzi, rischia di produrre “distorsioni” del dato.

Problemi specifici della valutazione della comunicazione

IMG_0562Il problema di fondo, che abbiamo quando valutiamo la comunicazione diversamente da quando valutiamo, per esempio, la realizzazione di infrastrutture o di programmi di sviluppo, è dato dall’oggetto stesso: la comunicazione. Bisogna intrattenersi un momento sulle specificità di questo ambito di ricerca.

Prima di tutto una precisazione: anche se la chiamiamo valutazione della comunicazione, ci riferiamo solo ed esclusivamente alla comunicazione linguistica. È noto che sono due cose diverse; si può comunicare a segni, si comunica col comportamento, con le espressioni del viso. Come sostiene Watzlawick “non si può non comunicare”. Ma la comunicazione così intesa non è ciò che le pubbliche amministrazioni producono per informare i cittadini. Indipendentemente dall’ampio spettro del comunicare, tutti i processi intenzionali pubblici si basano sul linguaggio. Piani Operativi, progetti, delibere, bandi pubblici, informazioni, circolari, avvisi, ordini di servizio, sono linguaggio. E anche la valutazione (come tutta la ricerca, sociale e non): disegno della ricerca, tecniche, procedure, informazioni e dati sono linguaggio. È quindi di linguaggio, e di valutazione della comunicazione linguistica, ciò di cui parliamo.

Ebbene, questa comunicazione ha delle caratteristiche particolari e specifiche:

  1. è immateriale; la comunicazione (linguistica) non è il testo stampato, ma i concetti che veicola, le idee che sollecita, i comportamenti che induce;
  2. è negoziale; poiché necessita di comprensione, gli interlocutori hanno margini, più o meno elastici a seconda dei contesti, per trovare una migliore comprensione, che non è sempre perfetta al primo tentativo;
  3. il linguaggio ha poi delle proprietà specifiche fra le quali quella che i linguisti chiamano vaghezza; il linguaggio è per sua natura passibile di equivoci al di là dei chiarimenti di cui al punto 2;
  4. infine, e fondamentale: il linguaggio, oggetto di analisi, viene esplorato… col linguaggio! Poiché anche tutta la ricerca è solo e puro linguaggio, noi usiamo lo strumento linguistico per approfondire un problema linguistico. Questo corto circuito operativo appartiene solo a questo campo di indagine e produce interessanti problemi metodologici.

La questione dell’efficacia

Il principale problema riguarda la definizione di “efficacia” della comunicazione. È evidente che se non raggiungiamo il livello dell’efficacia la nostra comunicazione avrà avuto effetti ignoti. Non saranno certamente gli indicatori di realizzazione a salvarci.

Che cos’è dunque “efficacia”? Ci sono almeno tre livelli:

  1. la comunicazione pubblica ha realmente raggiunto il target previsto; non di meno (se abbiamo escluso qualcuno siamo chiaramente stati inefficaci) né di più (in questo caso saremo stati inefficienti);
  2. la comunicazione – arrivata al target previsto – è stata capita; non basta avere “avvertito” il target; è importante che il target abbia capito. Ciò riguarda la qualità intrinseca della comunicazione, il linguaggio adottato, il medium utilizzato e così via;
  3. la comunicazione – una volta capita – ha comportato un cambiamento nel comportamento del target.

IMG_0563Questo terzo punto è essenziale. L’unico scopo della comunicazione è il cambiamento del comportamento (in senso lato). Per fare un esempio: se comunichiamo opportunamente un bando, ci aspettiamo che parte del target vi partecipi; ma anche chi non partecipa, se è stato adeguatamente informato, ha considerato l’opportunità, l’ha confrontata con la propria situazione e ha preso una decisione. Questo è comunque un cambiamento positivo, reattivo alla comunicazione. In questo caso ipotetico avremmo ben comunicato, e vedremo partecipare al bando aziende pertinenti, informate, che hanno valutata la situazione.

I tre punti sopra elencati (target, comprensione, cambiamento) hanno difficoltà metodologiche crescenti; nessuno dei tre punti è risolvibile con indicatori di realizzazione e con una customer satisfaction.

Complessità della proposta Formez per la Regione Calabria

Alla luce di questi sommari elementi il Formez ha prodotto un disegno di ricerca valutativa abbastanza complesso e articolato che si basa su alcuni principi che provo a riassumere

  1. vista la peculiarità dell’oggetto valutato (il linguaggio) occorre evitare di aumentarne l’opacità operando sul mero piano sintattico; usare parole (equivocabili, forse gergali, immanenti e immateriali etc.) per indagare su un precedente linguaggio richiede un livello di penetrazione e comprensione che il livello sintattico non è in grado minimamente di offrire. Quindi la semplice formulazione-tipo “ha capito? ha gradito? …” può funzionare solo entro una cornice metodologica assai più ampia. No quindi alla customer satisfaction e suoi parenti (sondaggi, o altrimenti definiti, volti a raggiungere lo stesso obiettivo) fini a se stessi;
  2. il cuore del mandato valutativo riguarda l’efficacia della comunicazione che, per i motivi già accennati, non è definibile operativamente ex ante in maniera univoca. Se per il Grande Pubblico potremmo considerare “efficace” avere data una generica informazione, per i piccoli imprenditori ne serve una più specifica: per qualcuno che chiarisca gli aspetti burocratici, per altri che sottolinei i vincoli e gli obblighi da contrarre; per le amministrazioni locali l’efficacia comunicativa tracima nella partecipazione e nel coinvolgimento attivo; tutto questo con differenziazioni interne, ovviamente. L’obiettivo esplicito della comunicazione è certamente l’efficacia, ma oltre al concetto astratto e generico c’è una reale difficoltà a dimensionarlo in maniera chiara e inequivoca negli aspetti operativi (vale a dire in termini di indicatori e procedure di ricerca);
  3. resta poi l’annosa questione dell’efficacia netta. Una buona valutazione dovrebbe poter dire che l’efficacia registrata è dovuta (in parte almeno) al progetto – nel nostro caso al Piano di Comunicazione – e non ad agenti fortuiti. Se per esempio il Grande Pubblico si mostrasse mediamente informato, come potremmo dire che sia proprio merito del nostro Piano di Comunicazione e non, per esempio, di casuali servizi televisivi, piani formativi delle scuole e altri eventi indipendenti?

Le soluzioni della proposta Formez per superare il livello sintattico

Vediamo le nostre proposte a tutta questa mole di problemi. Prima a livello generale, poi con alcuni approfondimenti sulle soluzioni che giudichiamo più innovative.

La prima questione sopra menzionata è l’inadeguatezza del livello sintattico, livello al quale si ferma un gran numero di tecniche fra le quali segnalo il questionario (che sia utilizzato elettronicamente, telefonicamente o faccia a faccia) e i focus group tradizionali. Le valutazioni più attente vanno spesso oltre tale livello approcciando il livello semantico delle dichiarazioni del target valutativo. Per esempio la teoria chiamata “Logica del programma” (Program Theory) indaga sulle teorie del cambiamento e del programma che i principali attori rilevanti hanno, che naturalmente non sono mere dichiarazioni formali (livello sintattico) ma implicano valori, conoscenze tacite, comportamenti maturati in specifiche comunità di pratiche e così via. Questo è un notevolissimo passo avanti che implica, comunque, la condivisione d’intenti del target o, comunque, la possibile reciproca comprensione entro uno spazio semantico di una certa omogeneità. Ma, come abbiamo detto, nel nostro caso ci imbattiamo in un contesto frastagliato, dove il concetto di efficacia (comunicativa) potrebbe avere oggettivamente bisogno di declinazioni differenziate. L’approccio semantico è quindi premessa generale, ma di per sé inadeguato a condurci in porto.

Come è noto, il terzo livello di studio del linguaggio, dopo quelli sintattico e semantico, è il livello pragmatico, vale a dire inerente l’uso concreto che del linguaggio fanno gli attori. Non è questa la sede per fare lezioni linguistiche, quindi permetterete che sintetizzi:

  • il linguaggio costruisce la realtà, non si limita a descriverla; ciò che viene detto serve, in qualche modo, a trasformare il mondo, semmai poco, probabilmente in piccolissima parte, ma nulla di ciò che si dice cade nel vuoto;
  • il linguaggio è comunque parte di un sistema simbolico, e quindi si conforma a ciò che gli attori sociali, in uno specifico contesto, in una data situazione, elaborano come risposta situazionale;
  • ne consegue che la pragmatica del linguaggio implica una sorta di verità sulla situazione, sull’operato degli attori, sul contesto e – questo a noi interessa – sull’efficacia non come predefinita ex ante ma come agìta. Chiamiamo questa: “efficacia situazionale”.

In definitiva, se abbiamo le tecniche per “catturare” il livello pragmatico dell’elaborazione linguistica dei nostri interlocutori, possiamo considerare di raggiungere il cuore dell’efficacia; non già come definita ma come agìta, come esperita.

Questo impianto non può che essere raggiunto con un approccio multimetodi (Mixed Method) volto a “triangolare” tecniche differenti per una solida validità del dato finale. Ai fini di questa presentazione, necessariamente breve, ci concentreremo su una sola delle tecniche che impiegheremo, chiamata Scala di Distanza Valoriale.

La Scala di Distanza Valoriale

IMG_0564Si tratta di uno strumento che accompagnerà e completerà molteplici interviste. È una semplice scala ordinale (in realtà una piccola batteria di scale) basata su reali dichiarazioni, positive, neutre o negative, relative al POR e alla sua comunicazione. La Scala imporrà agli intervistati di ordinare le dichiarazioni secondo la loro visione dell’oggetto di valutazione (la comunicazione) in una maniera capace di evitare il razionalismo consapevole del livello sintattico e la concettualizzazione (pur sempre razionalizzatrice) di quello semantico. La Scala, somministrata al Partenariato, imprenditori, soggetti pubblici, verrà poi elaborata con una cluster analysis per verificare quali “profili” di valore (valore inteso in senso politico-programmatico, amministrativo, gestionale…) si daranno, quali distanze saranno date fra i vari cluster, quali componenti sociografiche li caratterizzano.

Senza entrare nello specifico metodo: la Scala rifletterà una parte rilevante della pragmatica da noi cercata: quella che ha a che fare con ciò che Neisser chiama “schema mentale”, vale a dire quel portato cognitivo che – in ciascuno di noi – elabora i concetti che operiamo nella nostra vita quotidiana, e professionale. Un portato cognitivo nato ed evolutosi in situazione, nell’interazione con altri,nella soluzione dei problemi. Quindi saremo all’interno della logica pragmatica nella quale si dà operativamente anche il concetto di “efficacia”, e quindi potremo illuminare – per così dire – quanto andremo indagando anche con dati provenienti da survey, da indicatori, da focus group e – anche questo ci sembra estremamente rilevante – da indagini Delphi.

Le soluzioni della proposta Formez per realizzare un approccio controfattuale

A questo punto apparirà meno improponibile anche l’approccio controfattuale della comunicazione, al fine di misurare l’efficacia netta. Fermo restando i problemi già detti, e l’ovvia difficoltà a stabilire indicatori quantitativi, abbiamo comunque individuato un solido disegno di ricerca che ci sosterrà adeguatamente.

In conclusione, come potete comprendere, per noi la valutazione non è mai una procedura standard basata su poche procedure rituali. La valutazione è sempre “tagliata su misura” del problema (Rossi e Freeman) e realizzata per essere utilizzabile (Patton). Non esiste solo il questionario “di gradimento”; non ci sono solo i focus. E non sempre è detto che questionari e focus siano utili. Il nostro Piano di valutazione contiene molto altro ma credo che questo basti a far comprendere che abbiamo cercato di riflettere attentamente sul problema al fine di trovare soluzione tecniche efficaci, valide, capaci di dare informazioni adeguate e utili ai comunicatori e alla programmazione regionale.

Annunci