pytoolkit.evaluations package

Submodules

pytoolkit.evaluations.classification module

分類の評価。

pytoolkit.evaluations.classification.print_classification(y_true, proba_pred, average='macro', print_fn=None)[ソース]

分類の指標色々を表示する。

パラメータ
  • y_true (numpy.ndarray) --

  • proba_pred (numpy.ndarray) --

  • average (str) --

  • print_fn (Optional[Callable[[str], None]]) --

戻り値の型

Dict[str, Any]

pytoolkit.evaluations.classification.evaluate_classification(y_true, proba_pred, average='macro')[ソース]

分類の評価。

パラメータ
  • y_true (numpy.ndarray) --

  • proba_pred (numpy.ndarray) --

  • average (str) --

戻り値の型

Dict[str, Any]

pytoolkit.evaluations.core module

評価。

指標名と値(float or ndarray)のdictを基本としてそれを扱うヘルパーなどをここで提供する。

pytoolkit.evaluations.core.to_str(evals, multiline=False, precision=3)[ソース]

文字列化。

パラメータ

evals (Dict[str, Any]) --

戻り値の型

str

pytoolkit.evaluations.core.add_prefix(evals, prefix)[ソース]

metric名にprefixを付ける。

パラメータ
  • evals (Dict[str, Any]) --

  • prefix (str) --

戻り値の型

Dict[str, Any]

pytoolkit.evaluations.core.mean(evals_list, weights=None)[ソース]

複数のevalsの要素ごとの平均を取る。キーは一致している前提。

パラメータ
  • evals_list (Sequence[Dict[str, Any]]) --

  • weights (Optional[Sequence[float]]) --

戻り値の型

Dict[str, Any]

pytoolkit.evaluations.od module

物体検出の評価。

pytoolkit.evaluations.od.print_od(y_true, y_pred, print_fn=None)[ソース]

物体検出の各種metricsを算出してprintする。

パラメータ
戻り値

各種metrics

戻り値の型

Dict[str, Any]

pytoolkit.evaluations.od.evaluate_od(y_true, y_pred, detail=False, conf_threshold=0.5, iou_threshold=0.5)[ソース]

物体検出の各種metricsを算出してdictで返す。

パラメータ
  • y_true (Sequence[pytoolkit.od.ObjectsAnnotation]) -- ラベル

  • y_pred (Sequence[pytoolkit.od.ObjectsPrediction]) -- 推論結果

  • detail (bool) -- 全情報を返すならTrue。(既定値では一部の指標のみ返す)

  • conf_threshold (float) -- 確信度の閾値 (accなどに影響)

  • iou_threshold (float) -- 一致扱いする最低IoU (accなどに影響)

戻り値

各種metrics

  • "iou_score": IoUスコア (塩コンペのスコア)

  • "dice": ダイス係数

  • "fg_iou": 答えが空でないときのIoUの平均

  • "bg_acc": 答えが空の場合の正解率

  • "acc": Pixel Accuracy

戻り値の型

Dict[str, Any]

ChainerCVを利用。 https://chainercv.readthedocs.io/en/stable/reference/evaluations.html?highlight=eval_detection_coco#chainercv.evaluations.eval_detection_coco https://chainercv.readthedocs.io/en/stable/reference/evaluations.html?highlight=eval_detection_coco#eval-detection-voc

戻り値

0.95/area=all/max_dets=100" - "map/iou=0.50/area=all/max_dets=100" - "map/iou=0.75/area=all/max_dets=100" - …などなどcoco関連 - "voc_ap" - "voc_map" - "voc07_ap" - "voc07_map"

戻り値の型

  • "map/iou=0.50

パラメータ

pytoolkit.evaluations.regression module

回帰の評価。

pytoolkit.evaluations.regression.print_regression(y_true, y_pred, print_fn=None)[ソース]

回帰の指標色々を表示する。

パラメータ
  • y_true (numpy.ndarray) --

  • y_pred (numpy.ndarray) --

  • print_fn (Optional[Callable[[str], None]]) --

戻り値の型

Dict[str, Any]

pytoolkit.evaluations.regression.evaluate_regression(y_true, y_pred)[ソース]

回帰の指標色々を算出してdictで返す。

パラメータ
  • y_true (numpy.ndarray) --

  • y_pred (numpy.ndarray) --

戻り値の型

Dict[str, Any]

pytoolkit.evaluations.ss module

セマンティックセグメンテーションの評価。

pytoolkit.evaluations.ss.print_ss(y_true, y_pred, threshold=0.5, print_fn=None)[ソース]

semantic segmentationの各種metricsを算出してprintする。

パラメータ
  • y_true (Iterable[numpy.ndarray]) -- ラベル (shape=(N, H, W) or (N, H, W, C))

  • y_pred (Iterable[numpy.ndarray]) -- 推論結果 (shape=(N, H, W) or (N, H, W, C))

  • threshold (float) --

  • print_fn (Optional[Callable[[str], None]]) --

戻り値

各種metrics

戻り値の型

Dict[str, Any]

pytoolkit.evaluations.ss.evaluate_ss(y_true, y_pred, threshold=0.5, multilabel=False)[ソース]

semantic segmentationの各種metricsを算出してdictで返す。

y_true, y_predはgeneratorも可。(メモリ不足にならないように)

パラメータ
  • y_true (Iterable[numpy.ndarray]) -- ラベル (shape=(N, H, W) or (N, H, W, C))

  • y_pred (Iterable[numpy.ndarray]) -- 推論結果 (shape=(N, H, W) or (N, H, W, C))

  • threshold (float) -- 閾値 (ラベルと推論結果と両方に適用)

  • multilabel (bool) -- マルチラベルならTrue、多クラスならFalse。

戻り値

各種metrics

戻り値の型

Dict[str, Any]

pytoolkit.evaluations.ss.evaluate_ss_single(yt, yp, threshold=0.5, multilabel=False)[ソース]

1件分の評価のための処理。

パラメータ
  • yt (numpy.ndarray) -- 1件のラベル (shape=(H, W) or (H, W, C))

  • yp (numpy.ndarray) -- 1件の推論結果 (shape=(H, W) or (H, W, C))

  • threshold (float) -- 閾値 (ラベルと推論結果と両方に適用)

  • multilabel (bool) -- マルチラベルならTrue、多クラスならFalse。

戻り値

評価の途中結果

戻り値の型

tuple

pytoolkit.evaluations.ss.gather_ss_evaluations(evaluations)[ソース]

evaluate_ss_singleの結果のリストから評価結果を作成して返す。

パラメータ

evaluations (Iterable[tuple]) -- evaluate_ss_singleの結果のリスト

戻り値

各種metrics

  • "iou": クラスごとのIoU

  • "miou": クラスごとのIoUのマクロ平均

  • "iou_score": IoUスコア (塩コンペのスコア)

  • "dice": ダイス係数

  • "fg_iou": 答えが空でないときのIoUの平均

  • "bg_acc": 答えが空の場合の正解率

  • "acc": Pixel Accuracy

戻り値の型

Dict[str, Any]

参照

Module contents

結果の評価関連。