トップページへ  前のページへ戻る

  評価手法・項目について

(1)各分科会共通の検討・試行の枠組み

  各分科会は、以下のような共通の枠組みで、それぞれのサービスの特性を踏まえ、検討を実施した。

 

@  評価推進機構において、平成15年度から本格実施している評価手法・項目をベースとして、利用者のサービスに関する意向を把握する「利用者調査」(以下、「利用者調査」とする。)及び評価者がサービスの内容やマネジメントの力を把握する「事業評価」(以下、「事業評価」とする。)について、評価手法・項目の検討を行うこととした。

 

A  「利用者調査」については、利用者調査票の項目、手法(アンケート方式、聞き取り方式、コミュニケーション方式)、対象者(本人、保護者等)について、検討を行うこととした。

    検討に当たっては、先行して本格実施している類似サービスの項目、手法、対象者を参考とした。

    なお、利用者調査票の重要と思われる項目の抽出方法は、平成13年度の福祉サービス第三者評価システム検討会で実施したものを参考として用いた。

 

<参考:福祉サービス第三者評価システム検討会における手法>

  「福祉サービス第三者評価システム検討会報告書」より抜粋

【満足構造分析による方法】

  利用者調査では、現在そのサービスを利用している人がどのような点を重視しているかを理解するために、満足度構造分析を行った。

  満足構造分析で抽出された項目を検討して、利用者の選択にも役に立つと思われる項目をサービスごとに10から15項目あげ、重要と思われる項目抽出の参考とした。

  満足構造分析の実施手順は、次のとおりである。

@  総合満足度に対する大項目(利用プロセス)の影響の強さ、 大項目に対する小項目(サービスのポイント)の影響の強さをそれぞれ算出。

A  それぞれの項目の満足度への影響の強さと現状の評価とを組み合わせ、次の 4種類の性質をもつ項目を抽出。

(1) 問題項目(影響度高いが、評価低い)  重点的に改善の必要がある項目

(2) 促進項目(影響度高く、評価高い)    今後も維持、促進していく必要がある項目

(3) 注意項目(影響度低く、評価低い)   満足度が特に低い項目に関し、改善が必要

(4) 現状維持項目(影響度低く、評価高い) 現状を維持する項目

 

【回答率や回答の困難性、質問の性質等定性的な分析による方法】

  判断能力の程度に幅があり、コミュニケーションが困難な利用者が多いサービスで、回答数が少なく、定量的分析になじまないなどの場合、いくつかの判断基準を設け重要と思われる項目を選定した。この際の判断基準には、以下のようなものがあげられる。

@  利用者本人に確認が必要な項目

他の方法では判断ができず、利用者本人から直接聞かないとわからない項目、あるいは本人に聞いたほうがより効果的な項目

A  判断能力の程度に幅がある利用者に対する質問として成立しにくい項目

知的障害者入所施設などでは、抽象的な内容の質問は利用者が理解しにくい、時間や曜日に関わる内容では正確な回答が得られにくいなど、質問として成り立ちにくい要素を持つ項目は表現を修正するか重要項目から除く

B  回答率、回答の傾向

対象者の回答率が低い項目等については、その理由を分析したうえで、表現を修正するか重要項目から除く

 

B  「事業評価」については、「サービス分析シート」の項目及び「事業プロフィル」の項目の検討を行うこととした。

    なお、評価推進機構では、「無理なく全事業所が毎年度1回評価実施を可能とする必要がある」、「共通評価項目に関する評価結果を利用者の選択に資するという目的に耐えうるようにしていく必要がある」という2つの視点に基づき、平成15年度から評価手法・項目の改善に着手している。

    そのため、評価推進機構における下記の改善の内容を踏まえ、サブカテゴリー5「サービスの実施」を中心に、評価項目及び基準項目(標準項目及び促進項目)について、検討を行うこととした。

 

<参考:東京都福祉サービス評価推進機構における改善の内容>

  「平成16年度評価・研究委員会報告書」より抜粋

  評価の信頼性を保つために、より合理的な評点基準を作成する。

  従来の小評価項目を廃止し、標準項目を設定する。

標準項目のすべての項目を満たすとAとする。

  事業所の創意工夫・独自性を評価する。

  標準項目を超えた取り組みについては、Aで評価する。

  国の第三者評価等の動向に対応した評価システムを構築する。

  社会・援護局から示されている「福祉サービス第三者評価基準ガイドライン」等を取り込んだ評価項目を策定する。

 

C  1サービス当たり2事業所ずつ(1事業所のみのサービスは1事業所)、試行事業を実施し、評価手法・項目の妥当性を検証することとした。また、必要に応じ、事業者に対するアンケート等を実施し、「サービス分析シート」の基準項目(標準項目及び促進項目)の妥当性を検証することとした。

 

  試行事業後に開催した分科会においては、試行事業や事業者に対するアンケート等の結果とともに、評価推進機構が評価手法・項目の改善のために実施した試行事業及びそれに基づく評価手法・項目の改善の内容を踏まえ、以下のような検討を行うこととした。

 

@  評価推進機構における試行事業においては、訪問調査に要する時間が従前の手法で実施する場合と比べて2倍を超えることが確認された。そこで、無理なく全事業所が毎年度1回評価実施を可能とするという改善の目的に照らし、下記の基本的考え方に基づき、また、新たな評点基準において、「B」に該当する範囲が広くなり過ぎるのではないかという意見等を考慮し、1つの評価項目当たりの標準項目数3項目程度を目安に、標準項目を絞り込むこととした。そのため、分科会においても、単に文言の修正に止まらず、評価推進機構が示した基本的考え方を参考に、項目の絞込みを行うこととした。

 

<参考:標準項目を絞り込む際の基本的考え方>

  「平成16年度評価・研究委員会報告書」より抜粋

@  基本的に指導検査等で確認される検査項目やアンケートの結果でほとんどの事業所が実施しているような内容は除外する。

A  アンケートの結果でほとんどの事業所が実施しているような場合で、本来は除外される内容であっても、利用者保護に関する事項については、その重要性を考慮し、あえて除外せず残すこととする。

B  事業所の実施率のみで機械的に削減していくと、サービス提供の一連の流れの中では枝葉の部分のみが残ることとなり、サービス提供の根幹にかかる部分が除外される可能性がある。そのため、まず機械的に削減した後、根幹部分が漏れていればそれを是正すること。

 

A  評価推進機構の試行事業においては、Aを評価するための標準項目を超えた取組の内容について、事業所が何を記述してよいのかわかりにくいと困るとの配慮から、「促進項目」として、調査票の中に例示した。しかし、評価項目の趣旨に合致した「標準項目を超えた取組」を全て適切に例示することは困難であること、自己評価の際に例示にとらわれすぎて事業所が自由に表現しにくいとの意見があったこと等を踏まえ、例示は行わないこととなった。これに対して分科会においては、「促進項目」を検討し、試行事業まで実施していることを踏まえ、評価者養成研修用資料の説明等において、参考として活用できるよう、評価推進機構に対し、「促進項目」の案も含めて報告を行うこととした。