2011年04月02日

[Episode4]複数の指標を用いて総合評価するには

マネージャーのMさんが悩んでいる。

猫 「この間リリースしたプロジェクトなんだけど、前回の開発の時よりも、品質は向上しているのだけど、生産性は低下している」
猫 「このような場合、前回よりも改善出来たと言って良いのだろうか?」


犬 「それぞれのデータを使って総合評価をすれば良いのではないですか?」

猫 「総合評価って簡単に言うけど、生産性と品質の指標であるバグ密度の値は単位も違うし、単純に足し算なんて出来ないだろ?」

犬 「偏差値って覚えてます?あれを使えばいいんですよ」

猫 「偏差値?もちろん覚えているよ。あの忌々しいやつだろ。でも、テストの点数じゃあるまいし、偏差値なんて使えるのか?」


さて、実際のデータを見てみよう

犬 「Episode1でやった通り、データ分析の第1歩として、まずは、生産性、バグ密度のヒストグラムを作成します。」

犬 「統計解析ソフトを用いて作成しました。特徴としては、正規分布のラインが引かれています。」

SeisanseiHistogram.jpgBugMitsudoHistogram.jpg

 
猫 「正規分布だって?何だか難しそうなのが出てきたな。」

犬 「まあ、正規分布については、また機会を見て詳しく解説しますので、ここでは、生産性、バグ密度が正規分布っぽくなっているということだけ分かってくれれば良いです。」

猫 「確かに。多少の凸凹はあるが、概ねラインに沿っていると考えてよいかな。」


犬 「ちなみに偏差値って、そもそも何のために有るかご存知ですか?」


猫 「そりゃ、成績の優劣を評価するためだろ。ただ、私は好かんな。こうした学歴偏重の社会が最近の若者をダメにしているのだから。」

犬 「まあ、仰ることは分かりますが、それは偏差値自体が悪い訳ではなく、運用方法の問題ですよね。」
犬 「難易度の異なる試験において、得点を正規化するために偏差値が用いられます。」

犬 「例えば、平均点が70点の試験で80点を取ったのと、平均点が50点の試験で80点を取ったのとでは、同じ80点でも価値が違いますよね。」

猫 「そりゃそうだ。」

犬 「更に言えば、同じ平均点が50点の試験でも、点数が0〜100点まで広く分布している試験で80点を取ったのと、30〜70点で団子状態の試験で80点を取ったのとでは、同じ80点でも価値が違いますよね。」

猫 「う〜ん、さっきよりもちょっと分かりづらいが、まあ、団子状態から抜け出しているという意味で後者の方が良いだろうね。」

犬 「図にすれば、すぐ分かりますよ。」

80of_Avg70.jpg

80of_0-100.jpg

80of_30-70.jpg
 
犬 「要するに、評価する際には、実際の得点よりも、全体の中での位置が重要だということです。つまり評価というのは基本的に相対的なものなんです。」

猫 「要は得点よりも順位ということか?まあ、当然と言えば当然だな。」

犬 「ええ、そのような考え方で数値そのものではなく順位で解析する統計手法も有ります。ですが、たまたま順位が1位しか違わなくても、得点差はかなり有るという場合も有りますよね。という意味で得点も無視は出来ないんです。」

犬 「では、その相対的な位置をどうやって表現するかです。先ほどの話から評価には平均値と分布のばらつき具合が関連することは理解してもらえますね。」

犬 「そこで、このように考えます。得点が平均点だったら評価はイーブン、つまり0とします。平均よりも高ければプラス、低ければマイナス。」
犬 「で、問題はそのプラス、マイナスの度合いをどうやって測るかです。上の図のBとCを比べます。Cの方が団子状態=ばらつきが小さいので、Cで80点を取った方が評価が高いです。つまり、平均点との差をばらつきで割ってあげれば、団子状態からどれだけ抜きん出ているかを示すことが出来ます。」
犬 「ばらつきを表す指標は、標準偏差ですね。」
犬 「つまり、平均点との差を標準偏差で割ってあげれば、分布の中において中央付近のありふれた位置にいるのか、端っこの珍しい位置にいるのかが数値で表現されることになります。プラス方向、マイナス方向ともに絶対値が大きい方が、良い意味でも悪い意味でも珍しいということになります。」

犬 「品質管理の世界で3σ(シグマ)とか6σという表現を聞くと思います。σというのは標準偏差のことです。これは、分布の中心から標準偏差の3倍、6倍離れているという意味合いになります。これはとても珍しいことで、大雑把に言えば不良が少ないという意味で使われます。」
犬 「平たく言えば、あるデータが分布の中心から何σ分離れているかを計算しているだけのことです。このような操作を、正規化(標準化、規準化とも)する、と言います。こうしたデータを正規化データ、Zスコアと言ったりもします。式で書くと以下です。簡単ですよね。」


正規化データ = (該当データ − その分布の平均値) / その分布の標準偏差


犬 「分母と分子で単位が相殺されます。なので、どんな指標の間でも比較が出来るようになる訳です。」


猫 「で、偏差値との関係は?」

犬 「ああ、そうでした。本質的には正規化データと偏差値は同じものと考えて良いです。変換後のデータが0とかマイナスになるのは、試験の得点として直感的に分かりづらいので、正規化データを試験の得点っぽく見えるように更に変換したものです。式で言えば以下です。つまり、平均が50点で標準偏差が10点の試験における相対位置に変換した形になります。」

偏差値 = 50 + 正規化データ × 10

犬「例えば、上の図のA、B、Cにおいて、得点は全て80点ですが、正規化すると、1.0、1.5、3.0となり、偏差値で言えば 60点 < 65点 <80点です。」

猫「なるほどね、これで分かったぞ。じゃあ生産性のデータとバグ密度のデータを偏差値に換算して、足し合わせれば総合評価になるのだな。どんな指標にも使えて便利な考え方だな。」


犬 「実際に計算をしてみましょう。簡単なのですぐに出来ますよ。」

生データ、正規化データ、偏差値の比較

生産性バグ密度生産性正規化バグ密度正規化生産性偏差値バグ密度偏差値総合点
前回Project10431.960.140.405154105
今回Project9771.01-0.011.145061111

犬 「偏差値で出した総合点で見ると、前のプロジェクトは105点、今回は111点なので、確実に改善していますよ!」


猫 「そうか、生産性は確かに低下はしているが、ともに平均並で誤差範囲というところだな。それに比べてバグ密度は7点もアップしているな。偏差値が61点なんて私も学生時代に取ったことが無いかもしれん・・・」

 
おしまい

 
こちらが、今回の活用例のファイルです。→ Episode4.xls(160KB)

この章の参考書籍の紹介
[BookReview2]評価と数量化のはなし




posted by koike0125 at 15:02| Comment(0) | TrackBack(0) | 1変数の分析 | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:

認証コード: [必須入力]


※画像の中の文字を半角で入力してください。

この記事へのトラックバック
×

この広告は180日以上新しい記事の投稿がないブログに表示されております。