同じ部品の傷を見て、ある人は合格、別の人は不合格と判定する。こうした状況では、先に「誰の判断が正しいか」を決めるより、同じ条件・同じ試料で判定がどう分かれるかを記録します。

限度見本や観察条件、反復判定の準備は検査治具・外観検査の設計が入口です。この記事では、その記録から何を分子・分母にして一致率を数えるかを、一組の8判定の例で比較します。寸法値のばらつきを評価するGage R&Rの測定計画とは異なり、合格・不合格などの分類結果を扱います。

三つの比較を混ぜない

Minitabの属性一致性分析の説明は、判定者内、判定者間、基準に対する一致を分けています。現場の記録も、この違いが分かる形にします。

比較の仕方 確かめたいこと 一致しても分からないこと
同じ人が同じ試料を判定し直す(判定者内) 判断を繰り返せるか その判断が基準に合っているか
別の人が同じ試料を判定する(判定者間) 人が変わっても判定がそろうか 全員で同じ誤判定をしていないか
判定結果と承認済みの基準を比べる(基準との一致) 基準に対して正しく分類できるか 別製品・別欠陥・別環境でも同じ結果か

「全員の意見が一致したから、その試料は正しい限度見本」と決めると、正しさを調べる基準まで試験結果から作ることになります。基準判定は、図面・顧客要求・承認された限度見本など、採用する根拠に対応させて品質担当が確定します。

根拠が決まらない試料は「基準判定未決」とします。人同士の一致は観察できても、その試料について正誤を確定した集計はできません。多数決で未決欄を埋めないことが要点です。

試料と観察条件を固定する

試料には、明らかな合格・不合格だけでなく、判断の境界に近いものも含めます。評価したい実際の欠陥や状態の範囲を代表できるように選びます。試料選定、人数、反復数、評価の採否条件は品質担当と決めます。後掲の8判定の例は記録の説明用で、必要試料数の提案ではありません。

次は試験前の確認表の例です。

項目 決めて残す内容
対象 製品・工程・欠陥種、適用する要求と版
基準判定 各試料の合否、根拠、承認者、未決の有無
試料ID 傷の位置を含め同じ試料を追える識別。正解を示す印は見せない
観察条件 照明、距離、角度、観察時間、拡大鏡等の使用条件
試料の保持 清掃・取扱い・保管方法、傷や変色が変わっていないかの確認
判定者 通常その検査を行う人を代表する選び方
実施計画 反復数、提示順、記録者、途中で条件が変わった場合の扱い

写真を使う場合は、実物と同じ評価だとみなさず、撮影・表示・倍率の条件を決めます。反射や触感が判断に必要な欠陥では、写真への置換で確認範囲が変わります。

試験前の教育で判定手順をそろえた後は、試験中に個別の助言や判定者同士の相談があった場合、試験前の教育と区別して記録します。判断の揺れを調べている途中で答えを教えると、独立した判定結果として比較できなくなるためです。

提示順を変え、1回の判定を1行に残す

同じ順番・同じ番号を見せ続けると、試料の特徴ではなく前回の答えを覚えて判定するおそれがあります。Minitabの試験順序の設定例では、判定者ごとの反復内で試料順をランダム化する方法などが示されています。

実施する順序を事前に保存し、判定者には基準判定と前回の回答を見せずに結果を残します。紙の記録でも構いません。表計算ソフトを使う場合は、並べ替えた表示順と元の試料IDの対応を崩さないようにします。

以下は架空の試料2個・判定者2人・各2回という、8判定の説明例です。実施済みの検査や、正式な評価に十分なデータではありません。

試料ID 判定者 反復 判定 別管理の基準判定
P01 A 1 合格 不合格
P01 A 2 合格 不合格
P01 B 1 合格 不合格
P01 B 2 合格 不合格
P02 A 1 合格 合格
P02 A 2 不合格 合格
P02 B 1 合格 合格
P02 B 2 合格 合格

表は照合しやすい順に並べ直した集計用の表示です。実施時の提示順とは区別し、提示順・時刻・観察条件は元の記録へ残します。「別管理の基準判定」は照合時に結合する欄で、判定中の回答用紙に正解を示すための列ではありません。

一致率だけでなく、どこで判定が変わったかを見る

P01では全員の判定が毎回そろっていますが、基準判定は不合格なので、4回とも見逃しです。P02ではAの判定が反復で変わり、2回目に合格品を不合格とする過剰判定が生じています。

この例の8判定を「1回の判定」を単位に数えると、基準に合った判定は3回、見逃しは4回、過剰判定は1回です。一方、「全反復で基準と一致した試料数」を数える方式では分母も結果も変わります。一致率と書く前に、1判定と1試料のどちらを集計単位とするか、どの判定者・反復の一致を求めるかを定義してください。分析ソフトの出力を使うときも、その表の定義に合わせます。

次の表は、同じ8判定を異なる問いで数えた結果です。「全反復で一致」は、2回のうち1回でも異なれば、その試料を一致数に含めない数え方です。

集計する問い この例の内訳 分子/分母 この例の割合
Aは同じ試料で判断を繰り返せるか P01は2回とも合格。P02は判定が変わる 1試料/2試料 50%
Bは同じ試料で判断を繰り返せるか P01、P02とも2回の判定がそろう 2試料/2試料 100%
Aは全反復で基準に合うか P01は2回とも基準と異なり、P02も1回異なる 0試料/2試料 0%
Bは全反復で基準に合うか P02の2回だけが基準と一致する 1試料/2試料 50%
全員の全反復がそろうか P01の4判定は同じ。P02は一つ異なる 1試料/2試料 50%
全員の全反復が基準に合うか どちらの試料にも基準と異なる判定がある 0試料/2試料 0%
1回ずつ数えた判定は基準に合うか P02のAの1回目、Bの1回目と2回目 3判定/8判定 37.5%

最後の37.5%は、本例で1判定ずつ数えた割合です。上の試料単位の一致率を置き換える値ではありません。報告書には「一致率37.5%」だけでなく、「基準と一致した判定3件/全8判定」と単位を付けます。基準未決の試料がある場合はその件数を別掲し、正誤の分母へ黙って混ぜたり、不正解に置き換えたりしません。

正式な評価では、代表性、試料数、判定回数、偶然の一致や推定の不確かさも考慮します。試料数個から得た一致率や一律の目標値だけで検査工程を承認しません。対象・判定方式に適した分析と採否基準を品質担当へ確認します。

不一致の理由を確かめてから、対策を再評価する

試験後は、試料IDを使って不一致の箇所へ戻ります。判定者を責めるための順位表にせず、基準・見本・観察方法のどこが曖昧だったかを調べます。

観測したこと 次に確かめること
同じ人の判定が変わる 境界の説明、観察条件、試料の変化、順序や疲労などの影響
人同士では一致するが基準と違う 教育内容と基準の対応、見本の取り違え、共通の見落とし
特定の試料だけ判定が割れる 欠陥の位置・種類、基準がその状態を扱っているか
基準判定自体が疑わしい 根拠と版を品質担当へ戻し、正誤の集計を保留

原因はこの表だけで確定しません。条件を改めた場合は、変更点と対象範囲を記録して再評価します。教育で使用した試料だけを覚えた結果にならないよう、再評価用試料の選び方も品質担当と決めます。

最後に渡すものは、試験計画、全判定記録、基準と根拠、条件変更、不一致試料の一覧です。試験で見逃しがなかった場合も、今後の見逃しがゼロだという意味ではありません。不良ゼロの抜取結果を読むときの注意と同様に、観察した範囲と判断できる範囲を分けて報告します。