VBD 
Phát hiện và đối sánh đặc trưng của ảnh (Feature detection and matching) là một nhiệm vụ quan trọng trong nhiều ứng dụng thị giác máy tính, chẳng hạn như truy xuất hình ảnh, phát hiện đối tượng, v.v. Bài viết dưới đây sẽ mang đến cái nhìn toàn diện và cơ bản nhất về phát hiện và đối sánh đặc trưng: từ khái niệm đến thuật toán và ứng dụng.
Phát hiện và đối sánh đặc trưng của ảnh được ứng dụng như thế nào?
- Tự động theo dõi đối tượng
- Đối sánh điểm cho sự chênh lệch tính toán
- Stereo calibration (Ước tính ma trận cơ bản)
- Phân đoạn dựa trên chuyển động
- Nhận dạng đối tượng
- Tái tạo đối tượng 3D
- Robot điều hướng
- Truy xuất hình ảnh và lập chỉ mục
Đặc trưng (feature)
Đặc trưng là một phần thông tin có liên quan để giải quyết công việc tính toán liên quan đến một ứng dụng nhất định. Các đặc trưng có thể là các cấu trúc cụ thể trong ảnh như các điểm, các cạnh hoặc các đối tượng. Đặc trưng cũng có thể là kết quả của hoạt động vùng lân cận hoặc phát hiện đặc trưng thực hiện trên hình ảnh. Có 2 loại đặc trưng chính như sau:
- Các đặc trưng nằm ở vị trí cụ thể trong hình ảnh, chẳng hạn như đỉnh núi, góc tòa nhà, ô cửa hoặc các mảng tuyết có hình dạng thú vị. Các đặc trưng được khoanh vùng này thường được gọi là các đặc trưng chính (keypoint features hoặc corners) và thường được mô tả bằng sự xuất hiện của các mảng pixel xung quanh vị trí điểm.
- Các đặc trưng có thể được đối sánh dựa trên hướng và diện mạo cục bộ của chúng (biên dạng cạnh – edge profiles) được gọi là edges và chúng cũng có thể là chỉ báo tốt về ranh giới đối tượng và các sự kiện khớp trong chuỗi hình ảnh.
Thành phần chính của phát hiện và đối sánh đặc trưng
- Phát hiện: Xác định Điểm quan tâm (Interest Point)
- Mô tả: Hình thức cục bộ xung quanh mỗi điểm đặc trưng được mô tả theo một cách nào đó (lý tưởng là) bất biến dưới những thay đổi về độ chiếu sáng, dịch chuyển, tỷ lệ và độ xoay trong mặt phẳng. Ta thường kết thúc bằng một vectơ mô tả cho mỗi điểm đặc trưng.
- Đối sánh: Các bộ mô tả được so sánh trên các hình ảnh để xác định các đặc điểm tương tự. Đối với hai hình ảnh,ta có thể nhận được một tập hợp các cặp (Xi, Yi) ↔ (Xi`, Yi`), trong đó (Xi, Yi) là một đặc trưng trong một ảnh và (Xi`, Yi`) đặc trưng của nó trong ảnh kia hình ảnh.
Điểm quan tâm
Điểm quan tâm hoặc Điểm đặc trưng là điểm được thể hiện trong kết cấu. Điểm quan tâm là điểm mà hướng của đường biên của đối tượng thay đổi đột ngột hoặc là giao điểm giữa hai hoặc nhiều đoạn cạnh.
Thuộc tính của điểm quan tâm:
- Nó có một vị trí được xác định rõ trong không gian hình ảnh hoặc được khoanh vùng tốt.
- Nó ổn định dưới các nhiễu cục bộ và toàn bộ trong miền hình ảnh như các biến thể về độ sáng / góc sáng, do đó các điểm quan tâm có thể được tính toán một cách đáng tin cậy với mức độ lặp lại cao.
- Điểm quan tâm nên cung cấp khả năng phát hiện hiệu quả.
Các phương pháp có thể sử dụng để xác định điểm quan tâm:
- Dựa trên độ sáng của một hình ảnh (Thường là bằng dẫn xuất hình ảnh).
- Dựa trên trích xuất theo ranh giới (Thường bằng phát hiện cạnh và phân tích độ cong).
Các thuật toán nhận dạng
- Harris Corner
- SIFT(Scale Invariant Feature Transform)
- SURF(Speeded Up Robust Feature)
- FAST(Features from Accelerated Segment Test)
- ORB(Oriented FAST and Rotated BRIEF)
Bộ mô tả đặc trưng
Bộ mô tả đặc trưng là một thuật toán lấy một hình ảnh và xuất ra các bộ mô tả đặc trưng/ vectơ đặc trưng. Bộ mô tả đặc trưng thường mã hóa thông tin thành một chuỗi số và hoạt động như một loại “dấu vân tay” số có thể được sử dụng để phân biệt đặc trưng này với đặc trưng khác.
Lý tưởng nhất là thông tin này sẽ bất biến khi chuyển đổi hình ảnh, vì vậy ta có thể tìm lại đặc trưng ngay cả khi hình ảnh bị biến đổi theo một cách nào đó. Sau khi phát hiện điểm quan tâm, ta tiếp tục tính toán bộ mô tả cho mỗi điểm quan tâm. Các bộ mô tả có thể được phân loại thành hai lớp:
- Bộ mô tả cục bộ: Nó là một đại diện nhỏ gọn cho vùng lân cận của một điểm. Các bộ mô tả cục bộ giống với hình dạng và diện mạo chỉ trong một vùng lân cận xung quanh một điểm và do đó rất thích hợp để biểu diễn nó dưới dạng đối sánh.
- Bộ mô tả toàn bộ: Hạn chế của bộ mô tả toàn bộ là ở chỗ nó dễ dàng bị tác động và làm sai lệch kết quả khi có sự thay đổi một phần của hình ảnh.
Các thuật toán
- SIFT(Scale Invariant Feature Transform)
- SURF(Speeded Up Robust Feature)
- BRISK (Binary Robust Invariant Scalable Keypoints)
- BRIEF (Binary Robust Independent Elementary Features)
- ORB(Oriented FAST and Rotated BRIEF)
Đối sánh đặc trưng
Đối sánh đặc trưng hay nói rộng ra là đối sánh hình ảnh được ứng dụng phổ biến trong thị giác máy tính như đăng ký hình ảnh, hiệu chỉnh camera và nhận dạng đối tượng. Đây à nhiệm vụ thiết lập sự tương ứng giữa hai hình ảnh của cùng một cảnh / đối tượng. Cách tiếp cận phổ biến để đối sánh hình ảnh bao gồm việc phát hiện một tập hợp các điểm quan tâm, mỗi điểm được kết hợp với các bộ mô tả hình ảnh từ dữ liệu hình ảnh. Sau khi các đặc trưng và bộ mô tả của chúng đã được trích xuất từ hai hoặc nhiều hình ảnh, bước tiếp theo là thiết lập một số đối sánh đặc trưng sơ bộ giữa các hình ảnh này.
Nói chung, hiệu suất của các phương pháp đối sánh dựa trên điểm quan tâm phụ thuộc vào cả thuộc tính của điểm quan tâm cơ bản và sự lựa chọn của các bộ mô tả hình ảnh liên quan. Do đó, các bộ phát hiện và bộ mô tả phù hợp với nội dung hình ảnh sẽ được sử dụng trong các ứng dụng. Ví dụ, nếu một hình ảnh có chứa các tế bào vi khuẩn, nên sử dụng máy dò đốm màu thay vì máy dò góc. Tuy nhiên, nếu hình ảnh là hình ảnh một thành phố từ trên không, máy dò góc thích hợp để tìm các cấu trúc nhân tạo. Hơn nữa, việc lựa chọn một bộ dò và một bộ mô tả để giải quyết hình ảnh chất lượng thấp là rất quan trọng.
Thuật toán:
- Brute-Force Matcher
- FLANN(Fast Library for Approximate Nearest Neighbors) Matcher
Thuật toán để phát hiện và đối sánh đặc trưng
- Tìm một tập hợp các điểm chính đặc biệt
- Xác định một khu vực xung quanh mỗi điểm chính
- Trích xuất và chuẩn hóa nội dung khu vực
- Tính toán bộ mô tả cục bộ từ vùng chuẩn hóa
- Khớp các bộ mô tả cục bộ
