Evaluation externe en établissements et services sociaux et médico-sociaux

Pour l’évaluation externe, notre référence est le Cahier des charges fixé par le décret 2007-975 du 15 mai 2007

Nous précisons que pour l’évaluation externe, l’utilisation d’un référentiel n’est pas prévue dans les textes.   Notamment pour trois raisons :

  • L’évaluation externe diffère des démarches d’audit, de qualité, d’évaluation interne ou de certification.
  • Les référentiels utilisés ne répondent pas ou ne répondent que partiellement aux exigences du décret 2007-975 du 15 mai 2007 fixant le cahier des charges de l’évaluation externe.
  • Les référentiels interrogent la conformité de pratiques et des structures à des normes alors que l’évaluation externe « doit viser à la production de connaissance et d'analyse. Cette évaluation doit permettre de porter une appréciation qui l'inscrit dans une logique d'intervention et d'aide à la décision. Elle a pour but de mieux connaître et comprendre les processus, d'apprécier les impacts produits au regard des objectifs tels que précisés ci-après, en référence aux finalités prioritairement définies pour l'action publique (Section 1 Annexe 3-10 CASF).

 

Notre méthodologie est fondée sur un questionnement évaluatif spécifique à chaque établissement,  élaboré en interne sur la base :

  • Naturellement de l’ensemble des thèmes repris au décret 2007-975 du 15 mai 2007,
  • De certains items de référentiels de type Angelique, Monique, Anique, ARS Dordogne ...
  • Des Recommandations de Bonnes Pratiques professionnelles de l’ANESM.
  • De l’analyse des pièces techniques et résultats de l’évaluation interne.

 

L’analyse des informations recueillies s’appuie sur le croisement d’outils méthodologiques de management :

  • Le modèle EFQM (Fondation Européenne pour le Management de la Qualité) : Selon ce modèle, la qualité c’est satisfaire les besoins des 4 parties prenantes. (usagers, personnel, organisation, collectivité).
  • L’analyse SWOT : Outil d’analyse interprétative qui comporte les opportunités et les menaces de l’environnement en externe, les forces et les faiblesses de l’organisation en interne.
  • La roue de Deming : Identification et analyse des phases d’un processus à répéter jusqu’à ce que le niveau attendu soit pas atteint.

La méthodologie de l’intervention détermine quatre étapes :

1 – LA PHASE PREPARATOIRE D’ECHANGES

Des échanges informels avec le commanditaire ou ses représentants des établissements permettent de faire connaissance et de définir, en commun, les grandes lignes du déroulement de l’évaluation externe (calendrier d’intervention, modalités pratiques, informations utiles au bon déroulement…).

L’analyse documentaire

L’analyse des pièces techniques a pour objectif de comprendre l’établissement, son histoire, sa culture, ses valeurs, son contexte, ses particularités et les problématiques liées à son activité.
Elle permet également de personnaliser le questionnaire évaluatif qui sera abordé lors des entretiens sur site.

Notre atout : Les évaluateurs SOLEVA disposent d’une expérience concrète des processus de conception et d’élaboration de l’ensemble des outils de la loi de rénovation du 2 janvier 2002.

L’élaboration du projet évaluatif

Le projet évaluatif est le document qui recense, outre la présentation de l’établissement, l’ensemble des questions évaluatives hiérarchisées et adaptées à la logique de l’établissement. Ce sont les questions que l’évaluateur doit aborder pour remettre des conclusions (rapport) répondant aux exigences de l’ANESM et du décret 2007-975.
Il précise le déroulement de l’évaluation sur site et répertorie :

  • Les questions qui seront abordées avec les parties prenantes (Dirigeants, personnel, usagers, partenaires) après avoir dressé la typologie des métiers de l’établissement
  • Le nombre des professionnels, usagers et familles retenus pour les entretiens
  • Les questions évaluatives inhérentes au type d’établissement et à sa mission
  • Les questions évaluatives issues de l’analyse documentaire des pièces techniques
  • Les outils permettant de comprendre les pratiques professionnelles et d’en mesurer l’impact
  • Les points à approfondir lors de l’analyse sur site
  • Un calendrier précis de l’intervention sur site avec le nom des interlocuteurs désignés par la Direction de l’établissement pour les entretiens individuels ou collectifs

La validation du projet évaluatif

Le projet évaluatif est construit en commun par le Directeur de chaque établissement et SOLEVA.

Il est, en effet, important que les demandes spécifiques de chaque établissement soient prises en compte et que les questions évaluatives répondent à ses préoccupations.

SOLEVA proposera une première version de projet évaluatif et apportera son aide au Directeur de chaque établissement pour formaliser chacun des points évoqués. Puis une navette entre l’établissement et SOLEVA permettra de composer le projet finalisé.
Ce projet évaluatif est obligatoirement validé par le Directeur de chaque établissement.

Le projet évaluatif comporte également une proposition de planning et plan d’intervention validé par l’établissement après apposition des noms des personnes prévues pour les entretiens individuels ou collectifs.

2 - L’INTERVENTION SUR SITE

L’intervention sur site est la mise en œuvre du projet évaluatif défini en commun. Elle comporte :

Une visite de l’établissement

Cette visite est effectuée avec la Direction ou une personne désignée.
Elle permet de comprendre les conditions matérielles de l’exercice de sa mission par l’établissement et d’aborder éventuellement toute problématique liée aux locaux.
L’analyse documentaire est complétée par l’examen des dossiers du personnel, dossiers des usagers, procédures, conventions et tous autres documents utiles. Elle est effectuée après la réunion d’ouverture, dans le cours de l’évaluation.

Une réunion d’ouverture

Les participants sont désignés par l’organisme gestionnaire

La réunion d’ouverture est une étape importante de l’évaluation externe elle a pour but de présenter :

  • Les participants désignés par la Direction de l’établissement
  • Le cabinet SOLEVA
  • Les objectifs et les grands principes de l’évaluation externe, sa finalité et les attentes auxquelles elle répond
  • La méthode d’évaluation et les outils d’analyse
  • Le déroulement tel qu’il est prévu par le projet évaluatif
  • Le calendrier retenu ainsi que les questions de logistique

Des entretiens individuels ou collectifs,

Les entretiens sont la mise en œuvre du projet évaluatif. Les participants ont désignés par le commanditaire et la Direction

  • Un entretien avec la direction de l’établissement et le cas échéant le comité de pilotage permet d’aborder la stratégie et le projet d’établissement, la démarche continue d’amélioration de la qualité, les résultats et l’efficience de l’organisation. C’est un moment où la dimension singulière de l’établissement pourra être appréhendée par les évaluateurs..
  • L’observation des pratiques individuelles ou collectives est l’occasion d’identifier les atouts ou les freins et permet de définir des leviers d’amélioration de la qualité du service.  Elle est effectuée avec la Direction ou une personne désignée
  • Des entretiens individuels ou semi-collectifs avec les professionnels des établissements afin d’identifier les méthodes de travail, les process de communication, la transversalité des activités, la prise en compte et le respect des droits des usagers..
  • Des entretiens individuels ou semi-collectifs avec les usagers et leurs proches
  • Des interviews de partenaires

Les informations recueillies sont validées par les personnes concernées.

Nos atouts :
Les travaux de Lina Lézeau-Labbé sur les représentations sociales garantissent une interprétation pondérée des contenus du discours.

Pour tous les échanges, nous privilégions l'adhésion des personnes rencontrées.

Communication de fin de journée

En fin de journée, l’évaluateur communique ses observations à la Direction aux fins de validation,

Une réunion de clôture

En présence des membres désignés, généralement ceux qui ont participé à la réunion d’ouverture, la réunion de clôture a pour objectif de communiquer un résumé des constatations ainsi que les premières pistes de réflexion.
C’est une restitution au gestionnaire des grandes lignes de l’évaluation externe et des prémices du pré rapport d’évaluation.

3 - L’ANALYSE DES DONNÉES ET L’ÉLABORATION DU PRE RAPPORT

Les données recueillies au cours de la visite sur site sont analysées et restituées en relation avec le cadre évaluatif qui a été défini.
Cette analyse intègre les observations et remarques formalisées lors de la réunion de clôture.

Elle fait apparaître :
  • Les points forts identifiés,
  • Les pistes d'amélioration proposées

LE PRE RAPPORT

Le pré rapport fait l’objet d’échanges préalables entre SOLEVA et la Direction de l’établissement

A ce stade, le Directeur de l’établissement ou son représentant, formule ses remarques de forme ou de fond ; erreurs matérielles ou expression d’un regard ou d’une analyse différents sur le contenu des observations et leur restitution

Chaque remarque est formalisée en complément du texte initial.

Les remarques étayées sont prises en compte.

A l’issue de cet échange, il est procédé à la remise du rapport d’évaluation externe.

4 - LE RAPPORT D’ÉVALUATION ET SA RESTITUTION  FINALE

L'évaluation externe a pour finalité la valorisation du travail réalisé par l’établissement dans une logique et d'aide à la décision.
           
Le rapport formulera des propositions et/ou des préconisations, tant au niveau stratégique qu’au niveau opérationnel.

Il est adressé au commanditaire. Celui-ci a la responsabilité de l’adresser aux Autorités compétentes (Article L 313-3 CASF ).

Notre atout : Les évaluateurs SOLEVA sont formés aux pratiques bienveillantes et systémiques d’évaluation

HAS - Haute Autorité de Santé AFNOR groupe Datadocké
Habilitée HAS H 2012-10-1031
Certifiée AFNOR N° 13169499
Votre interlocutrice :
Lina LEZEAU-LABBE, Directrice SOLEVA

4, Les Hauts de Grippière
97170 Petit-Bourg
Mail : soleva.evaluation@gmail.com
Téléphone : 0690 18 41 62