Reflection: Deep Learning with R-Ch5.4.3–5.5

ch5.4.3-ch5.5

#### 5.4.3. Visualizing heatmaps of class activation

• class activation map（CAM）可視化，包括在輸入圖像上生成類激活的熱圖。 類激活熱圖是與特定輸出類相關的分數的2D網格，是針對任何輸入圖像中的每個位置計算的，指示每個位置相對於所考慮類的重要性。 例如，給定圖像進入貓與貓的捲積關係，CAM歸一化允許為“貓”類生成熱圖，以指示圖像的不同部分的貓樣程度，並為“狗”類生成熱圖。 指示圖像的狗狀部分如何。
• 通過“每個channel對類別的重要性”來權衡“輸入圖像如何激活類別的強度”的空間圖，從而得出“輸入圖像對類別的激活強度”的空間圖。
• 以 pretrained VGG16 network 為例

• 兩隻非洲象的圖當作示範圖

• 為了使圖像的哪些部分最像非洲大象，我們可以設置GradCAM演算法。

• 1. 預測向量中的“非洲象”entry
  2. Block5_conv3層（VGG16中的最後一個卷積層）的輸出特徵圖
  3. 關於block5_conv3的輸出特徵圖的“非洲象”類的梯度
  4. 向量（512），其中每個entry都是特定特徵圖channel上漸變的平均強度
  5. 定義的數量的值：pooled_grads和block5_conv3的輸出特徵圖（給定示例圖像）
  6. 給定兩隻大象的樣本圖像，得出這兩個數量的值
  7. 對於“ elephant”類，將特徵映射數組中的每個channel乘以“此channel的重要性”
  8. 生成的特徵圖的通道平均值是類激活的熱圖。
• 出於可視化目的，會將熱圖標準化至0和1之間。

• 透過 magick 套件疊起來

• 這種可視化技術回答了兩個重要問題：
  網絡為何認為該圖像包含非洲象？
  圖片中的非洲象在哪裡？

### 5.5. SUMMARY

• 卷積網絡是解決視覺分類問題的最佳工具。
• 卷積網絡通過學習代表視覺世界的模塊化模式和概念的層次結構來作業
• 學習的表示很容易檢查-卷積與黑盒子相反！
• 可以從頭開始訓練自己的捲積網，以解決圖像分類問題。
• 了解如何使用視覺數據增強來對抗過度擬合。
• 知道如何使用預訓練的捲積網絡進行特徵提取和微調。
• 可以生成可視化的捲積網絡過濾器以及類活動的熱圖。