Video Summarization (4)

Werner - Bailer 's frame work

1) Loại junk frames

2) Chạy SBD (Shot Boundary Detection) để chia video thành các parts, in general (assumption của tác giả) là các part sẽ chứa 1 hoặc nhiều takes - trong trường hợp lý tưởng là mỗi part chứa 1 take

3) Dùng pair-wise similarity để tính ra các đoạn con giống nhau trong các part --> lưu là take candidates (vì thông thường mỗi take được quay nhiều lần --> do đó trong các parts khác nhau sẽ có các đoạn giống nhau)

4) Chạy linkage-hierarchical clustering các take candidates

5) Sampling để lấy ra các frame đại diện dùng làm summary clip

Để tính similarity giữa 2 parts p1 vaf p2

(1) Extract feature cho part1 và part2

(2) Vì trong 1 part có nhiều frame nên sampling các frames --> sau đó extract feature cho các frame này (sử dụng khá nhiều các feature khác nhau biểu diễn cho một keyframe: color moment, edge orientation)
 - Feature của 1 part = concatenate Feature của các keyframes (sampling từ part)
 - Feature của 1 keyframe = concatenate các features khác nhau

Similarity giữa 2 parts: S(p1, p2)  = 1 - Normalize{LCSS(p1, p2)}    (còn phần chuẩn hóa loằng ngoằng nữa, nhưng bản chất là như vậy)

Tại sao LCSS: vì mỗi part có thể coi là một chuỗi các keyframe --> dùng LCSS để alignment 2 chuỗi với nhau tìm ra các đoạn giống nhau

Độ đo similarity giữa 2 keyframe đơn giản là L2 (Khoảng cách Euclide giữa 2 feature tương ứng với 2 keyframes)