目標檢測中的樣本不平衡處理方法 OHEM, Focal Loss, GHM, PISA

樣本不均衡-focal loss，ghm

1樓：張三**

工作中處理二分類問慎晌題，資料大多是長尾分佈，即正樣本遠小於負樣本。一般來說，通過調整閾值（置信度），就可以滿足上線需求。但總是有一些正樣本，得分較低，希望找到一些辦法，提高這些得分很低的正例分數，且負樣本得分不被拉高太多。

模型通過梯度更新進行訓練，實際應用中，大部分的樣本是容易區分的，而這些樣本貢獻了主要的loss，模型偏向於這些樣本，在部分難區分的樣本上效果不好。

所以，為提高模型效果，要解決兩個問題：

主要應用在目標檢測，實際應用範圍很廣。

分類問題中，常見的loss是cross-entropy：

為了解決正負樣本不均衡，乘以權重：

一般根據老孝前各類別資料佔比，對進行取值，即當class_1佔比為30%時，。

我們希望模型能更關注容易錯分的資料，反向思考，就是讓侍清模型別那麼關注容易分類的樣本。因此，focal loss的思路就是，把高置信度的樣本損失降低

多分類樣本：

不同取值情況如下圖：

模型是如何通過控制損失的衰減的呢？

當樣本被誤分類時，p很小，很大，loss不怎麼受影響。當樣本被正確分類，p很大，變小，loss衰減。

比如：當為1，p為時，，這個容易分類的樣本，損失和cross-entropy相比，衰減了100倍。

focal loss對容易分類的樣本進行了損失衰減，讓模型更關注難分樣本，並通過和進行調參。

ghm提到：

ghm認為，類別不均衡可總結為難易分類樣本的不均衡，而這種難分樣本的不均衡又可視為梯度密度分佈的不均衡。假設乙個正樣本被正確分類，它就是正易樣本，損失不大，模型不能從中獲益。而乙個錯誤分類的樣本，更能促進模型迭代。

實際應用中，大量的樣本都是屬於容易分類的型別，這種樣本乙個起不了太大作用，但量級過大，在模型進行梯度更新時，起主要作用，使得模型朝這類資料更新。

簡而言之：focal loss是從置信度p來調整loss，ghm通過一定範圍置信度p的樣本數來調整loss。

梯度模長:原文中用表示真實標籤，這裡統一符號，用y表示：推理：則：

梯度模長分佈不均，引入梯度密度：

在n個樣本中，梯度模長分佈在範圍的個數：

區間長度：梯度密度協調引數：

上式分母，可視為對附近樣本進行歸一化。如果梯度分佈均勻，則，如果密度過高，則意味著要降級處理。

目標檢測中的樣本不均衡問題詳述

2樓：張三**

1.正樣本：目標影象塊。

2.負樣本：影象背景區域。

3.易分正樣本。

4.易分負樣本：實際情況中該類佔的比重非常高。

5.難分正樣本：這部分樣本在訓練過程中單個樣本的損失函式較高，但是該類佔總體樣本的比例較小。

6.難分負樣本。

loss:專注難樣本，改善了分類過程中的交叉熵函式，提出了可以動態調整權重的損失函式。

損失函式梯度均衡化機制，從樣本的梯度盯御範數出發，根據梯度範數所佔比例進行動態加權。

通過實驗分析對比來說明正負樣本分配的重要性，設計了一種mean iou的方法。

設計了一種利用注意力來軟加權的訓練策略，減少了對背景資訊的錨點關注。

將標籤對齊看作一種連續問題，沒有真正意義上的正負樣本之分，每個特徵圖上都有正樣本和負樣本屬性。只是權重不同而已。

將目標檢測任務視為乙個影象到集合的問題，使用凱枝巖hungarian algorithm來實現**值與真值實現最大的匹配，並且是一一對應。

1.上取樣和下采樣的方法，增加少類別數目或者降低密集類別數量。搭念。