エフェクトカテゴリ
MUSEは各分析結果を5つの直感的なカテゴリに分類し、ユーザーが介入によって実際に何が生じたかを素早く把握できるようにしています。エビデンスカードの閲覧時やロジックモデルの構築時に、各エビデンスはいずれかのカテゴリでタグ付けされます。これにより、介入が有効だったか、誰に対して有効だったか、意図しない結果をもたらしたかどうかを一目で確認できます。
クイックリファレンス
| アイコンの色 | カテゴリ | ID | 意味 |
|---|---|---|---|
| 緑 | 正の効果 | + | 期待された効果が確認された |
| 赤 | 効果なし | - | 期待された効果が観察されなかった |
| グレー | 混合効果 | +- | 条件によって結果が異なる |
| オレンジ | 副次的効果 | ! | 意図しない効果が観察された |
| グレー | 不明 | N/A | 分類するにはエビデンスが不十分 |
カテゴリの説明
正の効果
アイコン: 緑色の背景にプラス記号（+）
期待された効果が確認されたことを示します。多くの場合、統計的に有意であり、相当な大きさの実践的に意義のある効果が観察されたことを示します。
該当する条件:
- 研究において、対象アウトカムに期待された変化が検出された。
- 結果が統計的に有意である（すなわち、偶然によるものである可能性が低い）。
- 効果の大きさが実践的に意味を持つほど十分であり、単に検出可能なだけの些細な差異ではない。
例: 就労スキル研修プログラムが、修了から6か月後の就業率で評価される。参加者は、マッチングされた対照群と比較して統計的に有意な就業率の向上を示し、その差の大きさはプログラムのコストを正当化するほど十分に大きい。
効果なし
アイコン: 赤色の背景にマイナス記号（-）
期待された効果が観察されなかったことを示します。多くの場合、標本サイズは十分であったにもかかわらず、統計的に有意な効果が認められなかったことを示します。標本サイズが非常に大きい場合、統計的には有意であっても実践的には意味のない極めて小さな効果にとどまることがあり、その場合もこのカテゴリに分類されます。
該当する条件:
- 研究は十分な統計的検出力を持っていたが、対象アウトカムに意味のある変化が検出されなかった。
- または、非常に大きな標本において、実践的価値のない些細な統計的有意差が検出された。
例: 大規模な行政データセットを用いて家計金融リテラシーワークショップが評価される。参加者は貯蓄額において小さいながらも統計的に有意な増加を示しているが、その金額は非常にわずかであり、受益者の経済的安定を実質的に改善するものではない。この結果は効果なしに分類される。
混合効果
アイコン: グレー色の背景にブレンドアイコン
介入の効果は多くの場合、不均一性を示します。たとえば男性には効果があったが女性にはなかった、若者には効果があったが高齢者にはなかったというように、条件によってアウトカムが異なる場合、結果は混合効果に分類されます。
該当する条件:
- サブグループ分析により、介入が一部の集団には利益をもたらす一方で、他の集団には利益をもたらさない（または悪影響を与える）ことが明らかになった。
- 全体的な平均効果は統計的にゼロに近いが、特定のセグメントには意味のある正の効果が存在する。
- 効果の方向や大きさが、文脈、地域、または実施の忠実度によって変化する。
例: ある識字介入では、都市部の学校の生徒において読解スコアに大きな改善が見られたが、学級規模や教員研修が異なる農村部の学校の生徒には測定可能な改善が見られなかった。このエビデンスは混合効果としてタグ付けされる。
副次的効果
アイコン: オレンジ色の背景に警告三角形（!）
介入の意図された成果以外の、意図しない効果が観察されたことを示します。多くの場合、統計的に有意であり、相当な大きさの実践的に望ましくない効果を示します。
該当する条件:
- 介入が、元のセオリー・オブ・チェンジには含まれていなかったアウトカムを生じさせた。
- これらの意図しないアウトカムは有害なものである。つまり、何らかの側面において害や悪化を示す。
- 意図しない効果が実践的に意味を持つほど十分に大きく、単に統計的に検出可能なノイズではない。
例: 条件付き現金給付プログラムが学校への就学率を正常に向上させる（主要指標における正の効果）一方で、家族が見込み給付を担保に借金をすることで世帯債務の増加とも相関する。この債務増加は、別のエビデンスカードに副次的効果として記録される。
不明
アイコン: グレー色の背景にクエスチョンマーク
標本サイズが不十分であったり、分析手法が信頼できる結論を導き出すには不適切であったりする場合に不明に分類されます。不明と判断された介入は、自信を持って実施に移す前に追加的な検証が必要です。
該当する条件:
- 研究の検出力が不足している。すなわち、真の効果が存在するとしても、それを検出するには参加者数が少なすぎる。
- 方法論的な限界（不適切な比較群、交絡、選択バイアス）により、推定値の信頼性が低い。
- エビデンスの蓄積が乏しく、いずれの方向にも明確な結論を支持するには不十分である。
例: パイロット段階のコミュニティ健康アウトリーチプログラムで、参加者はわずか30名だった。フォローアップ調査では健康行動に関する自己申告に控えめな改善が見られたが、信頼区間が非常に広く、結果は偶然のばらつきを反映している可能性が十分にある。このエビデンスは、より大規模な再現研究が行われるまで不明としてタグ付けされる。
これらのカテゴリが重要な理由
エビデンスを効果の種類で分類することは、ロジックモデル構築者やプログラム評価者がより迅速に、より適切な判断を行うのに役立ちます。
- 正の効果のエビデンスはロジックモデルの因果リンクを強化します。
- 効果なしのエビデンスは、特定のアクティビティが本当に期待されるアウトカムをもたらすかどうかをチームが再考するきっかけとなります。
- 混合効果のエビデンスは公平性に関する考慮事項を浮き彫りにします。誰が恩恵を受け、誰が受けないかという問いかけです。
- 副次的効果のエビデンスは、プログラム設計において軽減が必要なリスクに注意を促します。
- 不明のエビデンスは、将来の研究投資が最も必要とされる領域を示します。
これら5つのカテゴリが合わさることで、MUSEのキャンバスはエビデンスの質に関する共通言語を提供します。この言語は専門家でない人にもアクセスしやすく、研究者にとっても十分に厳密なものです。