トップページへ  目次へ


評価・手法 項目編 1 

1 評価の手法について
2 これまでの検討経緯

3 各分科会共通の検討・試行の枠組み
 (1)利用者調査の評価項目
 (2)利用者調査の重要と思われる評価項目の抽出方法
 (3)事業評価の評価項目
 (4)事業評価の実施方法
 (5)事業評価の重要と思われる評価項目の抽出方法

1 評価手法について

○ 評価手法として採用した利用者調査と事業評価の概要は以下のとおりである。

○ 利用者調査は、第三者である評価者が、利用者へのアンケートや対面聞き取り調査等を実施し分析する等の方法により、現在の利用者のサービスに対する満足度を把握する手法である。この手法を用いることで、利用者の、より率直な意見や要望を把握することができる。

○ 事業評価は、第三者である評価者が、所定のプロセスに沿って事前調査及び訪問調査を実施し、利用者からは見えにくい事業のしくみやサービスの提供プロセスを、次の二つの視点から判断・分析すること等の方法により行う。

  • 現在提供されているサービスの質を評価するために、第三者がサービス提供のプロセスを評価する。
  • 安定的に良質なサービスが提供できるような体制にあるかどうかを評価するために、事業者の経営や組織のマネジメントを評価する。

2 これまでの検討経緯

○ 平成12年度、13年度に行った、評価手法の検討、調査票の作成、試行、検証作業は、以下のとおりである。

○ 12年度は、「東京都サービス評価制度検討委員会」において、高齢者福祉分野のサービスを、「地域福祉サービス評価システム検討会」において、保育・障害者福祉分野のサービスを対象にして、利用者調査の検討と試行を行った。具体的な対象サービスは、次のとおりである。

〈12年度の対象サービス〉

高齢者福祉分野
 特別養護老人ホーム、老人保健施設、訪問介護サービス、居宅介護支援サービス
保育分野
 認可保育所
障害者福祉分野
 通所授産施設、ホームヘルプサービス

○ また、13年度においては、「福祉サービス第三者評価システム検討会」の下に、高齢、保育、障害各分野別に分科会を設置し、検討対象サービスを拡大して、以下の目的で検討と試行を行った。

〈検討と試行の目的〉

・利用者調査の検討・改善と、事業評価の検討
 (12年度に利用者調査を行ったサービスは、利用者調査の改善と事業評価の検討)
 (13年度に新たに対象としたサービスについては、利用者調査と事業評価の検討)
・共通評価項目につながる、重要と思われる項目の抽出

○ 具体的な対象サービスは、以下のとおりである。

〈13年度の対象サービス〉

高齢者福祉分野
 特別養護老人ホーム、老人保健施設、訪問介護サービス、居宅介護支援サービス、
 痴呆性高齢者グループホーム
保育分野
 認可保育所、認証保育所
障害者福祉分野
 ホームヘルプサービス、生活寮、通所授産施設、小規模通所授産施設、
 知的障害者入所更生施設

3 各分科会共通の検討・試行の枠組み

○ 各分科会は、次のような共通の枠組みに沿って、それぞれのサービス特性を踏まえて、検討を行った。

(1)利用者調査の評価項目

○ 利用者調査の評価項目は、12年度に次のような手順で作成した。
 ・ 利用者がそのサービスを利用するプロセスを想定し、それに沿って大項目を設定。
 ・ 大項目ごとに、その中でサービスのポイントとなる事項をあげ、それを小項目として設定。
 ・ その上で、必要に応じ、プレ調査を行い、項目の追加・削除や表現を改善。

○ また、13年度には、次のような内容で、12年度に引き続き検討と試行を行った。

〈利用者調査の検討内容〉

  • 12年度に利用者調査の検討・試行を行ったサービスについて調査票の項目数を絞り込んでいくこと
  • 調査票の改善(回答方法、質問の表現などの改善)を行うこと
  • 13年度新たに検討対象となったサービスについて利用者調査票を作成すること。
  • 各サービスについて、施行後、共通評価項目につながる、重要と思われる評価項目を抽出 すること。
  • コミュニケーション能力が十分でなく、アンケートや聞き取り調査では意向を把握できない利用者に対する調査手法を検討すること。

(2)利用者調査の重要と思われる評価項目の抽出方法

○ それぞれのサービスの試行結果から、重要と思われる評価項目を抽出するにあたっては、次のような定量的な分析や定性的な分析などいくつかの方法を組み合わせて行った。

【満足度構造分析による方法】

  • 利用者調査では、現在そのサービスを利用している人がどのような点を重視しているかを理解するために、満足度構造分析を行った。
  • 満足度構造分析で抽出された項目を検討して、利用者の選択にも役に立つと思われる項目をサービスごとに10から15項目あげ、重要と思われる項目抽出の参考とした。
  • 満足度構造分析の実施手順は、次のとおりである。
1)総合満足度に対する大項目(利用プロセス)の影響の強さ、 大項目に対する小項目(サービスのポイント)の影響の強さをそれぞれ算出。

2)それぞれの項目の満足度への影響の強さと現状の評価とを組み合わせ、次の4種類の性質をもつ項目を抽出。

(1) 問題項目(影響度高いが、評価低い)重点的に改善の必要がある項目
(2) 促進項目(影響度高く、評価高い) 今後も維持、促進していく必要がある項目
(3) 注意項目(影響度低く、評価低い) 満足度が特に低い項目に関し、改善が必要
(4) 現状維持項目(影響度低く、評価高い) 現状を維持する項目

3)職員にも利用者と同じ調査票を用いて、利用者の気持ちになって回答するという調査を行った場合は、その評価差を、利用者と事業者の認識のギャップとし、ギャップの大きい項目をギャップ項目とする。
 ・ 重要と思われる項目は問題項目、促進項目、ギャップ項目を中心に選定した。

【回答率や回答の困難性、質問の性質等定性的な分析による方法】

  • 判断能力の程度に幅があり、コミュニケーションが困難な利用者が多いサービスで、回答数が少なく、定量的分析になじまないなどの場合、いくつかの判断基準を設け重要と思われる項目を選定した。この際の判断基準には、以下のようなものがあげられる。
1)利用者本人に確認が必要な項目
 他の方法では判断ができず、利用者本人から直接聞かないとわからない項目、あるいは本人に聞いたほうがより効果的な項目

2)判断能力の程度に幅がある利用者に対する質問として成立しにくい項目
 知的障害者入所施設などでは、抽象的な内容の質問は利用者が理解しにくい、時間や曜日に関わる内容では正確な回答が得られにくいなど、質問として成り立ちにくい要素を持つ項目は重要項目から除く

3)回答率、回答の傾向
 対象者の回答率が低い項目、あるいは対象者全員が「はい」と答えがちな項目は満足、不満足を把握する質問としての重要項目から除く

○ その他、利用者調査で検証した主な内容は、次のような項目である。

〈主な検証内容〉

  • 調査手法の検証
  • 質問項目、項目数の妥当性
  • 所要時間
  • 実施手順
  • 評価結果の事業者への報告のしかた

(3)事業評価の評価項目

○ 事業評価の評価項目は、次のように作成した。

  • 組織経営を全体的にみる8つのカテゴリーを作成し、各カテゴリーの下に、2〜4の大項目を設けた。大項目はカテゴリーをみるための切り口の一つである、一般企業の組織のマネジメントを評価するための手法を応用した。

  • その中で、カテゴリー6「サービス提供のプロセス」は、直接的に利用者に関わる部分であることから、8つの大項目とその下にチェック項目を設けた。また、各チェック項目の実施状況を評価するために、各チェック項目の下に3〜8程度の確認事項を設定した。

○ 事業評価を行うにあたっては、次のような3種類の調査票を作成した。

  • 事業プロフィール・・評価の前提となる、事業者の基礎的な情報を調査するための調査票。
    事業者が記載し、参考となるパンフレットなども添付。

  • 事業評価分析シート・・事業者の組織経営のしくみやマネジメントの状況を把握するための調査票。8つのカテゴリーの大項目の評価を記入する。

  • サービスチェックリスト・・カテゴリー6「サービス提供のプロセス」のチェック項目を確認するための調査票。

○ 事業評価分析シートの作成にあたっては、一般企業の組織のマネジメントを評価するための手法を応用したため、調査票を作成するにあたっては、次のような点に留意した。

〈事業評価分析シート作成上の留意点〉

  • カテゴリーの表現や、カテゴリーの中の大項目の数あるいは大項目の表現は、福祉サービスの現状に即したものに置き換えた。
  • 各大項目を5段階で評価することとしたが、評価をつけやすくするため、評価5と評価1のイメージを記述した。
  • 事業者の取り組みは必ずしも意識されて行われているとは限らず、聞き取り調査において評価者が質問をし、事業者が答えていくやりとりの中で明らかになる場合もある。そのため、評価の根拠を記載する欄を調査票に設けた
  • 評価の根拠は、良いと思う点、改善が必要と思われる点の両方を記載して、総合的にみて、大項目の評価をつけるようにした。
  • 初めてこの調査票を記入する場合、具体的に何を書けばよいのかがわかりにくいため、評価の根拠の例示も載せた。

(4)事業評価の実施方法

○ 事業評価の実施方法は、以下の通りである。

事業プロフィールを事業者が記入( 参考資料(事業概要、パンフレット、年次計画等)添付)
 事業評価分析シート、サービスチェックリストを事業者が記入 《事業者による自己評価》
第三者評価機関に送付
第三者評価機関は、送付された調査票を分析
第三者評価機関が事業所を訪問
  事業者への質問、現場調査等を実施
第三者評価機関が事業評価分析シート・サービスチェックリストを記入
第三者評価機関が評価結果をまとめる
第三者評価機関が事業者に評価結果報告

(5)事業評価の重要と思われる評価項目の抽出方法

○ 事業評価における重要と思われる項目の抽出は、以下のようないくつかの方法で行った。

【項目自体の重要度とその項目の評価のクロス分析による方法(自己評価による)】

  • 事業評価分析シート及びサービスチェックリストの各項目に、評価を記載する欄と項目そのものの重要度(3段階)を記載する欄を設ける。

  • 事業者の職員全員に自己評価を実施してもらい、評価とともに、各項目の重要度をつけてもらう。
(記載欄イメージ)
項 目 評 価 重要度
・□□□は・・・となっているか。
  • その項目の重要度と現状の評価とを組み合わせると、次の4種類の性質をもつ項目が抽出される。
(1) 重要度高いが、評価低い項目
(2) 重要度高く、評価高い
(3) 重要度低く、評価低い
(4) 重要度低く、評価高い
  • この中で(1)、(2)を中心として、重要と思われる項目として選定した。

【事業者アンケートによる方法】

  • 事業評価を受けた事業者に、アンケートを実施し、その結果から重要な項目を選定する。

  • 具体的にアンケートで聞いた内容は以下のとおりである
◇ カテゴリーのうち、事業(経営)やサービス改善にとって重要なもの
◇ カテゴリー6「サービス提供のプロセス」の大項目のうち、利用者にとって大事な項目
◇ カテゴリー6の大項目5「サービスの実施」のチェック項目のうち、利用者によいサービスを提供する上で大事な項目

【第三者評価の評点による方法】

  • 各カテゴリー内で、第三者評価の評点平均が比較的低い項目や、第三者評価の事業者間格差の大きい項目を重要と思われる項目にする。

○ その他、事業評価で検証した主な内容は、次のような項目である。

〈主な検証内容〉

  • 調査手法の検証
  • 質問項目、項目数の妥当性
  • 所要時間
  • 実施手順
  • 評価結果の事業者への報告のしかた