トップページへ  目次へ


評価・手法 項目編

4 高齢分科会の検討・試行の結果
 (1)高齢分科会のとりくみ

 (2)利用者調査
 (3)事業評価

4 高齢分科会の検討・試行の結果

(1)高齢分科会のとりくみ

○ 高齢分科会では、12年度に検討した特別養護老人ホーム(介護福祉施設サービス)、老人保健施設(介護保健施設サービス)、居宅介護支援、訪問介護に加え、本年度は痴呆性高齢者グループホーム(痴呆対応型共同生活介護)も検討対象サービスとした。

○ 特別養護老人ホーム、老人保健施設、居宅介護支援、訪問介護については、事業評価の調査票の作成及び試行を行った。痴呆性高齢者グループホームについては、利用者調査と事業評価の調査票の作成及び試行を行った。試行では、評価委託事業者を評価機関と位置づけた。

○ 12〜13年度の試行結果から、評価手法の有効性と、重要と思われる項目を導き出した。

※12年度は、特別養護老人ホーム、老人保健施設、居宅介護支援、訪問介護について、利用者調査の項目・手法の検討及び試行を実施した。試行では、特別養護老人ホーム、老人保健施設の利用者本人、利用者家族、施設関係者に対するアンケート調査及び利用者本人に対する面接調査、居宅介護支援、訪問介護の利用者(家族含む)、職員に対するアンケート調査を実施した。

(2)利用者調査

○ 利用している高齢者に対する直接のアンケート調査は困難性が高いと判断し、インタビュー形式による観察調査方法を検討した。

○ 痴呆性高齢者の意向を把握する調査方法や有効性については、慎重に議論を重ねる必要性があるため、補完調査として、利用者の家族に対するアンケート調査も同時に実施した。

<痴呆性高齢者グループホーム>
ア 調査票の作成

○ 利用者調査の調査票作成の留意点は次のとおりである。

  • 12年度の調査項目から、介護サービスを利用する上で全ての利用者が経験する事項について、12年度の施設サービス利用者調査の分析結果等により抽出した。
  • 抽出した項目について、痴呆性高齢者グループホームのサービス特性を考慮し、最終的に15項目に絞り込んだ。

○ 評価項目の体系
 利用者がサービスを利用するプロセスに沿って、大項目及び中項目を設定し、各中項目の下に具体的な設問として細項目を設定した。

【表1】
大 項 目 中 項 目 細 項 目(括弧内は項目数)
サービス利用前 情報の開示 1) サービス利用の際の情報入手(1)
利用説明 2) 利用照会・申込み時におけるサービス内容の説明(1)
サービス開始時 契約・計画 3) 契約内容の説明計画、4) 作成時の内容説明(2)
サービス内容 食事 5) 個人の嗜好や要望への対応、6) 買出しや料理への取組(2)
介護サービス 7) 入浴時の介助・入浴時間、8) 日常生活での介助(2)
安全・衛生 9) 設備・寝具・タオル類の清潔度、10) 緊急時対応(2)
態度・言葉遣い 11) 職員の対応、12) 規則や行動の制限(2)
自立支援 苦情・トラブル対応
自立支援
13) 苦情への対応(1)
14) 症状改善、在宅復帰に向けたサポート(1)
総合印象 交流・総合印象 15) 総合的な満足度(1)

○ 利用者本人に対する調査の場合

 〔評価項目〕

  • 痴呆性高齢者が調査に応じることができる時間を考慮し、回答可能と思われる事項を表1の体系から厳選した。
  • 具体的設問は、サービスの特徴を考慮し、「サービス内容」の「食事」における「買出しや料理への取組み」と「総合印象」における「全体的な印象」の2問とした。

 〔調査票の様式〕

  • 利用者と職員との会話の様子を観察する方法に対応した様式を作成した。
  • 評価項目に加え、実際に職員が質問することを考慮して複数の質問例を記載した。
  • 観察内容に基づく利用者意向の把握のため、調査員と職員との合議結果の記入欄を設けた。

○ 利用者家族に対する調査の場合

 〔評価項目〕

  • 表1の評価項目の体系により、設問数を細項目の15問とした。

 〔調査票の様式〕

  • 無記名のアンケート票を作成。
  • 各設問に対する回答の選択肢は、「満足している」「特に不満はない」「不満がある」の3段階評価及び「わからない」の四つとし、不満な点について説明する自由記述欄を設けた。
  • 満足している点、痴呆性高齢者グループホームに対する感想等を記述する欄を設けた。
  • 評価項目以外に、利用者本人に関する設問(年齢、性別、要介護度、利用期間、他施設利用経験、痴呆の程度)、利用者本人や痴呆性高齢者グループホームと家族との関わりに関する設問(訪問頻度、行事への参加、負担感)、回答者に関する設問(利用者本人との関係、サービス利用時に重視した項目)、調査票の有効性を検証するための設問(調査に対する評価、感想、記入時間)を設けた。

イ 試行の概要

○ 試行調査の対象は、事業評価を実施した5事業所の利用者とその家族である。

○ 利用者本人に対する調査
  事業評価における実地調査と同時に、インタビュー方式による観察調査を実施した。

 〔調査対象数〕

  • 1事業所につき2名ずつ、計10名の利用者に対して実施した。
    ※当初は3名ずつの予定であったが、事業評価の実地調査との時間配分、利用者の許容限度時間(1人あたり15分〜30分)、調査員人数との関係から2名が限度であった。

 〔対象者の抽出方法〕

  • インタビューが可能であるかなど、職員のアドバイスを参考に、調査当日調査員が抽出した。

 〔実施方法〕

  • 主に職員が対象者に質問し、その会話内容や表情等について調査員が観察する方式で実施した。
  • 利用者の状況により、個別インタビュー方式とグループインタビュー方式のいずれかを選択した。
  • 記録は、インタビュー終了後に利用者から見えない場所で行った。

 〔調査場所〕

  • 居室(個別インタビュー)、リビング(グループインタビュー)などで実施した。

 〔結果の判断〕

  • 調査終了後、観察内容の結果について、調査員と職員による合議を実施した。

○ 利用者家族に対する調査
  事業評価や利用者本人調査と同時期に、郵送によるアンケート調査票の配布・回収を実施した。

 〔配布数及び回収数【表2】〕
調査票配布数 回 収 数 回 収 率 参考:利用者定員計
50 35 70.0% 59
※家族のいない場合を除き、全ての利用者の家族に調査票を郵送。

 〔実施方法〕

  • 調査票は事業所から対象者に郵送で配布し、評価委託事業者が直接郵送で回収した。

ウ 実施手順

○ 試行における実施手順の概略は表3のとおりである。

【表3】
調査手順 内容・ポイント
1) 対象事業所・調査員の選考・協力依頼 ・事業評価とあわせて実施。
・対象事業所及び調査員の候補選出と協力依頼・決定
2) 対象事業所との事前調整 ・事業評価とあわせて実施。
・調査日程の調整及び事前送付資料の送付
3) 利用者本人に対する調査の実施 ・事業評価の実地調査の中で実施。
・利用者インタビューは午後に実施(平均所要時間50分)。
・調査員と職員の合議は、事業評価の聞き取り調査後に実施。
4) 利用者家族に対する説明 ・事業所から事前に連絡するとともに、調査票に東京都福祉局名の依頼文及び事業所管理者名の依頼文を同封。
5) 利用者家族に対する調査票配布・回収 ・事業所から郵送で配布(封筒は東京都のものを使用)し、評価委託事業者あて返信用封筒で回収。
6) 問い合わせ・苦情への対応 ・評価委託事業者で対応。
7) 個人情報取扱い ・選択肢に個人を特定できる内容を記載しないよう注意。

エ 調査結果及び調査手法・調査票について

○ 利用者本人に対する調査

 〔調査結果〕

【表4】
利用者本人の状況に関する印象 普段と変わらない印象を受けた:5件
緊張・興奮している印象を受けた:5件
ホームでの生活の満足度に関する印象 ホームでの生活に満足している印象を受けた:5件
その場では楽しそうにしている印象を受けた:3件
ホームでの生活になじんでいる印象を受けた:2件
ホームに対して不満や不安がある印象を受けた:0件
状況判断が難しかった事例(重複あり) 利用者の状態がいつもとは違うと職員が解説した事例:5件
利用者の状態が入所当時とは違ってきたと職員が解説した事例:3件
調査員の印象と職員の解説の差異が大きかった事例:1件
本人の言動と職員の解説の差異が大きかった事例:1件
帰宅願望があった事例:1件

【表5】(調査例)
主な質問 利用者の回答 観察から
気づいた点
合議結果
・料理は
・食事は自分で作れるの
・食べ物は何が好き
・今日何を食べた
・買い物は
・買い物はどこに
・毎日楽しい

・毎日楽しい
・毎日やっている
・作ってくれる
・何でも
・美味しいものを食べた
・どこにでも行くよ
・売りに来る
・楽しくない。
 楽しい人がいない
・こうやって楽しくしてる
 じゃない
・言葉数が多く、し
 っかりした感じ
・自分が嫌なことは
 表情にでる
・笑顔が多く、感情
 が豊か
・満足度が高い
・よくお料理を手伝 
 われるんですか

・お食事はどうですか。

・自分からは言わないの。頼
 まれたらやるだけ。見てら
 れないのよね。
・すごい美味しいのよ。だか
 ら残さずいつもきれいに食
 べるのよ。みなで食べると
 美味しいのよね。一膳ずつ
 じゃ美味しくない。
・(自分から)ここに来れて
 幸せ。1人ものだから気楽
 なの。ここはみんな良い人
 ばかりだからいいたい放題
 で気兼ねないのよね。本当
 に感謝しているのよ。

・じゃがいもの皮な
 どを剥いていて、
 世話好きな様子
 が見られた
・ホームへの肯定
 的な発言が随所
 に見られた
・質問に進んで回
 答していた

・スタッフ以上によ
 く働くが、そうな
 ったのは最近
・入所した時は部屋
 に閉じこもりがち
・よかったと答えて
 いるが、本心は
 半分で、分からな
 くなる不安がある
・第一印象と異なり
 団体行動が嫌い

・お食事はどうですか

・お買い物に行きますか。

・人気の食事メニューは 
 何ですか
・ここでの暮らしはどう 
 ですか。
 いっぱい人が
 いて楽しそうですね。
・自分では作っていない。待
 っていれば出てくる
・ときどき行く

・まだ美味しいのもには巡り
 合っていない
・そうですね。
・さっぱりした感じ
 で苦痛感はない
・他人のことにも関
 心が高い
・リーダーシップ性
 が高い
・自分を出し切って
 おり、やや興奮気
 味な印象
・食事は作っている
 が、作っていない
 と言う。
・強く生きており
 とても明るく、満
 足度が大きい。
・家族がいることが
 誇らしげ
※ 日常会話の中で調査を行ったため、上記の質問のほか、調査項目と関係のない質問も行っている。

 〔調査手法・調査票について〕

  • 次の点を踏まえ、インタビュー方式による観察調査については引き続き検討する必要がある。
  • 設備や生活のリズム等の条件が事業所により異なる
  • 利用者によっては、時間・場所・体調によって状態が変わる
  • 調査当日の結果のみで評価すべきか、あるいは一定期間継続した観察が必要であるか、今回の試行調査結果だけでは判断ができない
  • 利用者の状況把握は可能だが、利用者の満足度を的確に判断することはかなり困難である
  • 観察調査の実施方法に関し、検討が必要となる点は次のとおりである。
  • 観察調査を一般的な手法とするための、インタビュー方法のモデル化などの方策。
    … 痴呆性高齢者に対し調査目的を明確に伝えることは困難であり、協力職員や調査員が対話の流れをコントロールしなければならないため。
  • 調査員が評価結果を判断するために必要な、痴呆性高齢者やグループホームに対する知識や経験の程度。
  • 観察調査結果の公表について現段階で判断することは難しく、さらに議論が必要である。その間、補完としての家族調査が必須である。

○ 利用者家族に対する調査

 〔表1の評価項目(15問)における結果〕

  • ほとんどの設問で「満足している」「特に不満はない」の二つをあわせた回答数が4分の3以上。
  • 「15)総合的な満足度」に対し「満足している」とした回答数は23人(65.7%)であるが、1)〜14)までの各事項において「満足している」とした回答数は、それを下回る。
  • 「不満である」とした回答数は、すべての設問で3人(8.6%)以下である。
    3人:4)、2人:1)、6)、8)、14)
  • 3分の1の設問で「わからない」とした回答数が6人(17.1%)〜8人(22.9%)である。
    6人:10)、13)、7人:5)、8人:6)、14)、
  • 無回答数は、各設問とも1〜3人である。

 〔調査手法・調査票の有効性〕

  • 回収率70.0%は12年度に実施した施設サービス利用者調査の利用者家族の回収率と同程度。
  • 回収率、回答率ともに高いため、全体的な意向がかなり反映されていると考えられる。
  • 家族の訪問頻度で「月1回以上」とする回答が31人(88.6%)であること、また、行事への参加で「ほとんど毎回参加」「できる限り参加」とする回答があわせて19人(54.3%)であることから、現状を認識したうえでの回答であると考えられる。
  • 調査の目的・方法についての回答は表6のとおりである。

【表6】
設 問 はい いいえ 無回答
調査目的はよい 34
項目に尋ねてほしいことが盛り込まれている 20 10
質問はわかりやすい 33
回答しやすい 26
質問の量は適切である 30
配布・回収方法は適切である 30

  • 調査票の記入時間については、「30分以内」とした回答数が28人(80.0%)であった。
  • 質問項目数については肯定的な意見が多く、今回の試行(15問)と同程度がよいと考えられる。
  • 追加希望項目:「生活状況報告の有無」「費用負担」「利用者メンタル面」「健康管理」
  • 追加要望のあった「費用負担」について
    1)費用負担額は都が実施している情報開示項目のため「東京都介護サービス情報」などで知ることが可能。
    2)費用の負担感は評価に影響する要素ではあるが、回答結果公表については要検討。

オ 利用者調査の重要と思われる項目

○ 試行結果及び分科会での議論を踏まえ、痴呆性高齢者グループホームのサービス 特性にも配慮したうえで、下記の点に着目して、表1の評価項目の体系をもとに、現在サービスを利用している利用者にとって重要と思われる項目を表7にまとめた。

  • 分科会での議論をもとに、サービスの特性がより反映されるよう、項目の修正、追加を行った。
  • 利用者家族に対する調査で追加要望のあった項目のうち、サービスの質の評価に不可欠と思われる項目を追加した。
  • 運営基準の中で特にサービスの特性がよく表れていると思われる点について、項目の修正、追加を行った。
【表7】
大項目 中項目 細 項 目 備 考
サービス
利用前
情報の開示 1) サービス利用の際の情報入手  
利用説明 2) 利用照会・申込み時におけるサービス目的・利用方法・内容の説明 修正(分科会での議論)
サービス
開始時
契約・計画 3)契約内容の説明  
4)計画作成時の内容説明  
サービス
内容
食事 5)個人の嗜好や要望への対応  
6)買出しや料理への取組み  
介護サービス 7)入浴時の介助・入浴時間  
8)日常生活での介助  
安全・衛生 9)設備・寝具・タオル類の清潔度  
10)健康面への配慮 追加(試行結果・ 分科会での議論)
11)緊急時対応  
態度・言葉遣い 12)職員の対応  
13)規則や行動の制限  
苦情・トラブル
対応
14)苦情への対応  
生活支援 生活支援 15)個人の主体性を尊重した支援 表現の修正(分科会での議論・運営基準)
16)家族への生活状況の報告 追加(試行結果)
総合印象 交流・総合印象 17)ボランティアや地域との交流 追加(運営基準)
18)共同生活での個人の意思の尊重 追加(分科会での議論・運営基準)
  *参考設問:サービス全体の総合的な満足度
        →他の設問より満足度が高い傾向があり、公表の扱い等については要検討。

<特別養護老人ホーム、老人保健施設、居宅介護支援、訪問介護>

※特別養護老人ホーム、老人保健施設、居宅介護支援、訪問介護については、12年度に実施した利用者調査の試行結果を分析し、利用者調査の重要と思われる項目を選定した。

 利用者調査の重要と思われる項目
 ○ 痴呆性高齢者グループホームと同様に、次の手順で重要と思われる項目を選定した。

  • 12年度の調査項目から、介護サービスを利用する上ですべての利用者が経験する事項について、12年度の施設サービス利用者調査の分析結果により抽出した。
  • 抽出した項目について、各サービスの特性を考慮し、最終的な項目に絞り込んだ。
  • 評価項目の体系は、利用者がサービスを利用するプロセスに沿って、大項目及び中項目を設定し、各中項目の下に具体的な設問として細項目を設定した。

 【表8】
大項目 中項目 細 項 目 特養 老健 訪介 居宅
サービス
利用前
情報の開示 サービス利用の際の情報入手
利用説明 利用申込時のサービスの説明
サービス
開始時
契約・計画 契約内容の説明
計画作成時の内容説明
サービス
内容
食事 献立や味の満足度  
個人の嗜好や要望への対応    
介護サービス 入浴時の介助・入浴時間    
日常生活での介助  
施設関係者の連携      
ケアプラン作成      
ケアプラン見直し      
ケアプラン上のサービス      
安全・衛生 (施設・)タオル類等の清潔度  
健康面への配慮    
心身状況の説明      
緊急時対応    
態度・言葉遣い 職員の対応
(規則・)行動の制限  
苦情・トラブル対応 苦情への対応
生活支援 生活支援 個人の状態に応じた支援      
日常生活動作取組への配慮      
在宅復帰支援      
生活の質向上への支援配慮    
総合印象 交流・総合印象 ボランティアや地域との交流    
利用者の意思の尊重

<全サービス共通>

※12〜13年度に実施した利用者調査の試行結果から、高齢分科会における全サービス共通の課題について、下記にまとめた。

今後の課題(手法、調査票、項目について)

○ 介護サービスの利用者は、高齢のために自力のみでの回答が困難である場合や、痴呆のためにアンケート形式に対応できない場合も多く、調査手法の工夫が必要である。

具体的には、

  1. 意思の疎通が可能である場合
     家族、職員、調査員による質問の代読・回答の代筆・インタビュー形式の採用
     本人の状態により適切な方法を選択し、その方法を記録する
        *想定されるサービス:特養、老健、居宅介護支援、訪問介護
  2. 痴呆などにより意思の疎通が困難である場合
    日常接している職員などによるインタビュー状況を観察し、本人の意向を把握する(前述のグループホーム試行調査の例)
        *想定されるサービス:特養、老健、痴呆性高齢者グループホーム
  3. 本人調査の補完としての家族調査の実施
    本人の状況をよく把握している家族に対し、調査を実施する
      *想定されるサービス:特養、老健、痴呆性高齢者グループホーム
    (居宅介護支援、訪問介護)… @との重複を精査する必要

 ○ 質問の代読・回答の代筆・インタビュー形式の課題

  ・ 実施方法の決定における、家族や事業所の職員の関与方法

 ○ インタビュー形式による観察調査の課題

  • 対象人数の設定 … 調査時間がかかるため、次の点について検討が必要。
    評価機関:調査スケジュール(訪問可能時間数)、確保可能な調査員人数、費用への影響、利用者の状態等による調査不能時の代替措置
     事業所:受け入れにかかる負担、利用者への影響
  • 利用者に対し調査の雰囲気が与える影響を抑えるために必要な技術、手段の検討
    (例)痴呆性高齢者とのコミュニケーションスキル、テープ録音などの記録方法
  • 調査実施への協力にかかる事業所の負担
    (例)対象者の選出などの事前調整、質問担当の職員の確保、実施場所の確保
  • 観察や職員との合議により評価結果を判断する際における基準の検討
  • 痴呆性高齢者グループホーム以外のサービスで実施する場合の課題
    (例)対象者が寝たきりの場合、多床室での対応方法

 ○ 家族調査の課題

  • 設問表現の修正 … 痴呆性高齢者グループホームにおける調査票をもとに、表9にまとめた。

【表9】
三段階評価の選択肢 「満足している」「特に不満はない」の差がわかりにくい
「不満な点」の内容の記述欄 要望事項も記載可能な説明文とする
利用者本人の年齢 70歳以上についても5歳刻みとする
他施設の利用経験 具体的な施設種別(サービス名)から選択する方式に変更
回答者と利用者本人との関係 「子の配偶者」を追加
サービス利用時に重視した項目 「自宅や家族宅からの距離」を追加

  • 介護保険制度上の不満など、評価機関で対応できない自由記述欄の意見・要望の取り扱い
  • 調査対象の家族に対する、サービス評価の目的や趣旨の周知、評価結果の還元方法

 ○ その他(共通の課題)

  • 評価機関における個人情報の取り扱いについて、サービス評価事業の契約書に明示するなどの方策が必要である。
  • サービス利用前の生活歴等の違いにより、満足度も異なることに留意する必要がある。

(3)事業評価

ア 調査票(事業評価分析シート及びサービスチェックリスト)の作成

 ○ 事業評価分析シート及びサービスチェックリスト作成の留意点は次のとおりである。
  (調査票は〈参考資料集〉1(3)「検討会、分野別分科会で作成、試行した調査票」に記載)

  • 設問は、可能な限り介護サービスに適した表現になるよう配慮した。
  • 事業評価分析シートは各サービス共通のものとし、サービスチェックリストにおいて、各サービスの特性が反映できるよう配慮した。
  • 各評価基準の示す内容が事業者に理解しやすいよう、評点5と評点1のイメージ及び評点5のポイントを提示した。
  • 可能な限り、曖昧な表現は避けるよう配慮した。

 ○ 評価項目の体系

  • 事業評価分析シート(各サービス共通)

【表10】
カテゴリー 大項目数
1.経営責任者のリーダーシップ・意思決定

2.経営における社会的責任
3.利用者ニーズ・社会環境・市場の理解と対応
4.経営の課題の設定と取組
5.職員と組織の能力向上
6.サービス提供プロセス
7.情報の共有化と活用
8.1〜7に関する活動成果

  • サービスチェックリスト(サービス別)

【表11】
大項目 チェック項目数
特養 老健 訪介 居宅 GH
1) 情報公開・提供
2) 入所時の対応
3) 事業所としての標準的サービス水準の確保
4) 個別対応の重視
5) サービスの実施
6) 安全管理
7) 要望・苦情・トラブルへの適切な対応
8) 地域との交流・連携

イ 試行の概要

○ 試行は、特別養護老人ホーム、老人保健施設、痴呆性高齢者グループホームについては、各5事業所、居宅介護支援、訪問介護については各10事業所の計35事業所を対象に実施した。

○ 対象事業者の選定にあたっては、調査結果を比較するために、同じサービスのなかで事業主体、規模、地域性を考慮した。

○ 実地調査の調査員については、調査の専門家である評価委託事業者に加え、福祉と経営の専門家として社会福祉士と中小企業診断士の資格を持つ外部調査員を選定した。

○ 外部調査員に対しては、調査の趣旨や調査票の設計内容に関する説明会を開催した。説明会後、1事業所につき2〜3人の組合せで実地調査を行った。

○ 実地調査終了後、対象事業所と外部調査員に対し、試行調査の内容・手法についてヒアリングとアンケート調査を実施した。

ウ 実施手順

○ 実地調査全体の流れは表12のとおりである。

【表12】
調 査 手 順 内容・ポイント 日 数
1) 対象事業者・調査員の選考・協力依頼 ・東京都より対象事業者・外部調査員の候補選出及び協力依頼・決定 約4週間
2) 対象事業者との事前調整 ・評価委託事業者より調査日程の調整及び事前送付資料の送付 約1週間
3) 実地調査当日までの準備 ・事業プロフィルの記入・送付
・自己評価の実施
・調査当日の確認
2〜3
週間
4) 訪問調査の実施 ・聞き取り調査の実施
・事業所ヒアリング実施
(・外部調査員アンケートの実施→後日回収)
1事業所
につき
1日
5) 調査結果の整理 ・調査結果の集計・分析
・事業所ヒアリングの集計
・外部調査員アンケートの集計
約4週間

○ 実際には、協力可能の回答を得た事業所及び外部調査員から順次調査を実施したため、2)〜4)の手順を同時並行的に行っている。また、同じ日に複数事業者の実地調査を実施した例がある。

○ 同一事業所あるいは併設事業所で異なるサービスを提供する場合、同一日に実地調査を行った。
   (例)特別養護老人ホームと居宅介護支援、居宅介護支援と訪問介護

○ 実地調査当日の流れは表13のとおりである。

【表13】
調 査 手 順 内容・ポイント
1) ガイダンス ・調査関係資料の受領
・事業評価の目的と調査の流れの説明
・事業所の概要説明(事業プロフィルの補足)
2) 事業評価の実施 ・事業分析シートに沿った調査
・多くの場合、途中で昼食となる
3) スタッフインタビュー ・サービスチェック項目に沿って、日常業務での定着状況を確認
4) 調査資料の整理 ・調査員間の意見調整
5) 評価結果の還元と意見聴取 ・(暫定)評価結果の還元及び改善すべき点の報告
・試行調査に関する意見聴取

○ サービスにより、それぞれの手順に要する時間が異なった。

エ 調査結果及び調査手法・調査票について

○ 試行調査における評価結果は表14のとおりである。

【表14】
  自己評価の平均 第三者評価の平均
特別養護老人ホーム 3.8 4.2
老人保健施設 3.7 4.2
訪問介護 3.6 4.0
居宅介護支援 3.7 4.1
痴呆性高齢者グループホーム 3.8 3.8
全   体 3.7 4.0

 全体的に、自己評価より第三者評価が高い結果となった。その理由として考えられるのは次のとおりである。

  • 自己評価より低い評点とする理由を明確にするためには、調査員にそれぞれのサービス内容や事業者の経営内容等に対する高い分析・調査能力が要求される。

○ 事業プロフィルについて

  • 収支の捉え方、同一事業所の範囲、利用者のデータなど、事業所が記入しにくい箇所があり、実地調査当日に調査員が記入内容の確認に要する時間が長くなる場合がある。
  • 同一事業所で複数のサービスを提供している場合、サービスごとの作成が難しい場合があるので、サービス別の様式・表現の作成を検討する必要がある。
  • 事業所が作成した案内・パンフレット等を添付すると、調査員側の事前把握が容易になる。また、事前に記入内容を分析し、実地調査の手順を決めておくことで、調査当日の作業の効率化につながる。

○ 事業評価分析シートについて

  • 大項目の範囲が広くてとらえにくい、言葉の定義や表現が抽象的・不明確である、設問の文章が長く何を聞いているかわかりにくい等の理由により記入しにく   いという事業所が多かった。
  • 調査員からは、主観的判断が許容される構成のため、調査員により評価結果が変わる可能性があるという意見があった。
  • 利用者ニーズの把握・活用や情報の活用、小規模な事業所におけるイメージについては、調査員側にも事例の収集が必要だという意見があった。

○ チェックリストについて

  • 事業評価分析シートよりも設問数が多いが、記入は比較的容易であったという意見が多かった。
  • 設置基準・指定基準に該当する項目は確認事項から外してよいのではないかという意見があった。
  • チェックリストの位置づけが不明確であるという意見があった。

○ 評価基準について

  • 評価5と1のイメージを提示したことに対して、中間点の判断が難しいという意見が多かった。
  • 自己評価を評価5のイメージを基準とした減点方式で行った場合、自己評価が厳しい評価となるという意見があった。
  • 結果のみを評価すると、各事業所のハード面等の条件が異なるため、事業所の取組み方や努力を評価する基準の作成が必要である。

 ○ 調査員について

  • 暫定評価で調査員が評価の理由や改善点を説明したことがよかったという事業所があった。
  • 調査員からは、調査員に対する事前説明の時間が不十分だという意見が多かった。
  • 自己評価結果の資料は不可欠だが、その内容に引きずられない評価は難しいという意見があった。
  • 調査員からのヒアリング結果に基づき、数人の例について表15に整理した。

【表15】
所有資格 経  歴 特徴など
中小企業診断士 経営コンサルタント
一部上場企業勤務経験
・経営、プロセスの理解は容易
・福祉サービスに関する知識が不十分
・一定の基準に基づく客観的な評価を行う能力は高い
社会福祉士 福祉関係事務所経営
福祉事務所勤務経験
・福祉サービスの知識があり、事業所の必要な情報の収集可能
・経営に関する知識は不十分で、評価手順、基準の支援が必要
社会福祉士 施設勤務経験
福祉関係大学院生
・チェックリストの対応は十分可能

  • 調査員の実地調査結果をもとに評価機関が最終評価の決定を行う過程については、今回の試行では実施できなかった。
  • 調査員の要件として、高い分析・調査能力や介護サービス及び組織経営の経験、知識が必要であるという意見があった。
  • 評価の仕組みの理解やシミュレーションによる評価基準の標準化・共有化などの研修が必要であるという意見があった。

○ 実地調査当日の所要時間、調査全体の所要時間(期間)について

  • 実地調査の予定時間(約6時間)を超過する事業所があり、特に施設は時間がかかる傾向が強い。
  • 実地調査で職員が1日拘束される場合、日常業務の事前調整が必要である事業所が多かった。
  • 事業所により対応可能な時期や時間帯が異なるため、評価機関と事業所の綿密な事前打ち合わせが必要である。
  • 在宅系の事業所では、平日の調査には日常業務との兼ね合いから難色を示すところが多く、土日に調査を実施したところが多かった。また、月初、月末は避け   てほしいという意見があった。
  • 事業所側の担当者が、交代制勤務などにより常時連絡をとることが難しい場合も多く、事前調整にはある程度時間(期間)の余裕をとることが必要である。

○ その他

  • 試行のスケジュール上、サービスが提供される現場での詳細なチェックが不可能であったため、主に事業所の口頭説明をもとに評価を行なったが、調査員側が明確な評価基準を持っていない場合、事業所の説明状況により評価が異なる可能性があるという意見があった。
  • 開設直後の事業所は、事業運営の体制が完全に整っていないため、他の事業所と同じ条件で評価を行うことが可能かどうか検討が必要である。
  • 今回の試行により、業務を見直すきっかけとなりよかったという意見が寄せられた。
  • コンサルティング機能の付加など、評価のメリットを明確にしてほしいという意見が寄せられた。
  • 調査員から、再評価を受ける事業所に対する前回の評価結果をどう扱うのかという問題があるという意見があった。

オ 事業評価の重要と思われる項目

○ 根拠

   試行調査の結果及び分科会での議論を踏まえ、下記の点に着目して、事業評価において重点的に評価すべき項目をまとめた。

○ 事業評価分析シートの大項目について

  1. カテゴリーごとに項目間の評価結果を比較し、第三者評価の評点平均が比較的低い項目を重点的に評価すべき項目とする。
  2. カテゴリー内で第三者評価の事業者間格差が大きい項目を重点的に評価すべき項目とする。
  3. 事業者の自己評価の記述内容の区別がつきにくく、評価結果に差のない項目を統合する。
  4. カテゴリー6の各項目は、サービス提供の各プロセスに対応する項目なので、全項目を重点的に評価すべき項目とする。
  5. カテゴリー8の各項目は、カテゴリー1〜7を踏まえた成果を問う項目なので、全項目を重点的に評価すべき項目とする。

【表16】
カテゴリー 大項目 備考
1.経営責任者のリーダーシップ・意思決定 組織目標・計画の策定
組織のビジョンや目標達成、計画実行へ向けた取組
2.経営の社会的責任 組織の公正性・透明性
3.利用者ニーズ・社会
環境・市場の理解と対応
利用者満足度の把握、経営改善への活用
4.経営の課題の設定と
取組み
重点課題の設定、周知と柔軟な体制による取組
各業務プロセスにおける目標の設定と改善への取組
5.職員と組織の能力向上 職員の個別的・計画的な能力開発
柔軟な組織編成、業務分担
職員満足の要因把握
6.サービス提供プロセス 情報公開・提供
入所時の対応
事業所としての標準的サービス水準の確保
個別対応の重視
サービスの実施
安全管理
要望・苦情・トラブルへの適切な対応
地域との交流・連携
7.情報の共有・活用 情報の有効活用
8.1〜7に関する活動成果 「経営責任者のリーダーシップ・意思決定」「経営の社会的責任」の成果
「職員の能力開発」「職員満足向上」の成果
サービスの質向上の成果
財務諸表やその他経営全体を表す経営指標の成果
「利用者満足度の向上」「要望や苦情への対応」の成果

○ サービスチェックリストのチェック項目について

  • サービスチェックリストは、サービス提供の各プロセスに対応しており、チェック項目はそれを具体化したものであることから、基本的には全ての項目を評価することが望ましい。
  • 下記の方法により選定した比較的重要性が高いと思われる項目を参考として提示する。
    1) 各サービスの特性を踏まえた上で、利用者調査の重要と思われる項目と対応する項目を中心に重点的に評価すべき項目とする。
    2) 1)以外でもサービスの質確保の上で不可欠と思われる項目を重点的に評価すべき項目とする。

【表17】(参考)
大項目 チェック項目数 特養 老健 訪介 居宅 GH
1) 情報公開・提供 利用者関心情報の公開・提供
利用照会時の説明        
2) 入所時の対応 分かりやすい説明
合意事項の書面化
退所時の対応        
退居の明文化・明確化と支援        
3) 事業所としての標準的サービス水準の確保 マニュアルの作成
マニュアルの定期的見直し
4) 個別対応の重視 利用者の個別事情・要望の把握  
計画の作成(・生活支援策への利用)  
計画の適宜見直し
担当者交代時の対応        
マニュアル遵守と適切な対応  
個人の尊重と共同生活への配慮        
5) サービスの実施 食事      
入浴、排泄、服薬、衣類、居室      
機能回復訓練        
利用者側の立場に立ったサービス      
楽しさ、快適性、自主性、    
本人意思を反映させた生活支援        
状態に応じた日常生活支援        
状態に合わせた介護・家事代行        
生活の工夫        
プライバシー保護、人権擁護
効果的な居宅サービス計画の調整        
家族等との関係        
6) 安全管理 医療対策(・感染症予防・健康管理)  
災害対策    
衛生管理対策        
利用者の行動に対する安全策        
7) 要望・苦情・トラブルへの適切な対応 苦情等を言いやすい体制
苦情等への適切・迅速な対応
8) 地域との交流・連携 地域交流(社会資源等との交流)    
他事業者・医療機関との連携        
事業者に関する情報収集・提供        
保険外サービスに関する助言        

カ 今後の課題(手法、調査票、項目について)

○ 効率的な評価の実施

  • 効率的に実地調査を行い、事業所の負担を軽減するためには、評価機関側の周到な事前準備が必要である。また、サービスの特性や事業所の規模にも配慮して適切に調査日程を設定する必要