Bài giảng Xử lý ảnh số - Chương 8: Phục hồi ảnh - Ngô Quốc Việt

Nội dung text: Bài giảng Xử lý ảnh số - Chương 8: Phục hồi ảnh - Ngô Quốc Việt

1. PDF của nhiễu Exponential xác định bởi p(z) ae az for z 0 p(z) a 0 for z 0 Mean và variance là 1 1  và  2 a a2 Tạo nhiễu lũy thừa, MxN là kích thước ảnh (default a =1) k = -1/a R = k*log(1 - rand(M,N)); z Chú ý: đây là trường hợp đặc biệt của Erlang PDF với b=1. Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 11
2. PDF của nhiễu Uniform xác định bởi 1 p(z) if a z b p(z) b a 0 otherwise 1 Mean và variance là b a a b (b a)2  và  2 2 12 Tạo nhiễu uniform, với a là mean, b là độ lệch chuẩn, MxN là kích thước ảnh (default a=0, b= 1) a b z R = a + (b-a)*rand(M,N); Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 12
3. PDF của nhiễu impulse (bipolar) xác định bởi p(z) Pa for z a p(z) Pb for z b P 0 otherwise b Tạo nhiễu salt-pepper, MxN là P kích thước ảnh. a+b a & X <= u); a b R(c) = 1; Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 13
4. Tạo mảng MxN các số ngẫu nhiên phân bố đều trong khoảng (0,1). Suy ra, a*(M*N) có giá trị a và a & X <= u); R(c) = 1; %salt Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 14
5. Tính PDF của ảnh . Từ đặc tả của cảm biến . Chụp nhiều ảnh thử nghiệm. Lấy vùng ảnh (patch) cố định từ các ảnh thử nghiệm và ước lượng PDF của chúng xác định phần nào nguyên nhân nhiễu. . Trong mọi trường hợp xác định được mean và variance. Nhiễu chu kỳ: ước lượng thông qua power spectrum của ảnh. Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 15
6. Minh họa ảnh gốc được thêm nhiễu với các mô hình khác nhau Ảnh gốc Histogram Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 16
7. Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 17
8. Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 18
9. Sử dụng bộ lọc không gian để khử nhiễu thông qua các bộ lọc arithmetic mean có dạng 1 fˆ(x, y) g(s,t) mn  (s,t) Sxy Các bộ lọc làm trơn ảnh có thể để khử nhiễu Ngoài arithmetic mean, có nhiều loại mean filters, tạo ra kết quả khử nhiễu khác biệt 1 1 1 . Geometric Mean /9 /9 /9 1 1 1 . Harmonic Mean /9 /9 /9 . Contraharmonic Mean 1 1 1 Smooth filter /9 /9 /9 Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 19
10. Tính giá trị trung bình của ảnh nhiễu g(x,y) trong vùng xác định bởi Sx,y. Sxy biểu diễn tập các tọa độ trong subimage kích thước mxn (chính là mặt nạ). Giá trị của điểm ảnh cần phục hồi tại (x,y) xác định bởi 1 fˆ(x, y) g(s,t)  mn (s,t) S xy Chú ý: dùng mặt nạ chập trong đó mọi hệ số có giá trị 1/mn. Nhiễu sẽ giảm tương tự hiệu ứng blurring w = fspecial('average',[m n]); f = imfilter(g,w,'replicate'); Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 20
11. Geometric Mean 1 mn ˆ f (x, y)  g(s,t) (s,t) Sxy Kết quả tương tự như theo smoothing arithmetic mean, nhưng làm mất ít chi tiết ảnh hơn. f = exp(imfilter(log(g),ones(m,n),'replicate'))^(1/(m*n)); Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 21
12. Harmonic mean filter xác định bởi biểu thức mn fˆ(x, y)  1 (s,t) Sxy g(s,t) f = m * n ./ imfilter(1./(g + eps),ones(m,n),'replicate'); Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 22
13. The contra-harmonic mean filter xác định bởi biểu thức g(s,t)Q 1  fˆ(x, y) (s,t) Sxy g(s,t)Q  (s,t) Sxy Với Q là bậc của filter. Filter này phù hợp với việc giảm hay loại bỏ nhiễu salt-and-pepper. f = imfilter(g.^(q+1),ones(m,n),'replicate'); f = f ./(imfilter(g.^q,ones(m,n),'replicate') + eps); Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 23
14. Thực hiện chập với kích thước Sxy là 3x3 cho các filter geometric, harmonic, contraharmonic Original Image x Filtered Image x 54 52 57 55 56 52 51 50 49 51 50 52 53 58 51 204 52 52 0 57 60 48 50 51 49 53 59 63 49 51 52 55 58 64 67 148 154 157 160 163 167 170 151 155 159 162 165 169 172 y y Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 24
15. Các bộ lọc Order-Statictics là bộ lọc không gian đã trình bày trong chương “làm mờ”, trong đó cách thực hiện dựa trên sắp xếp thứ tự giá trị cường độ các pixel trong vùng nhân chập. Các bộ lọc phổ biến . Median filter . Max and Min filter . Midpoint filter . Alpha-trimmed mean filter Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 25
16. Giá trị của pixel tâm nhân chập được thay thế bởi mức sáng trung bình của các pixel trong vùng Sxy đang xét: fˆ(x, y) median g(s,t) (s,t) Sxy f = medfilt2(g,[m n],'symmetric'); Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 26
17. Sử dụng giá trị cao nhất trong vùng ảnh (gọi là 100%, hay là max filter) fˆ(x, y) max g(s,t) (s,t) Sxy Bộ lọc này hiệu quả để tìm các pixel sáng nhất trong ảnh. Vì nhiễu tiêu (tối) có giá trị rất thấp. Nhiễu tiêu sẽ giảm đáng kể khi sử dụng max filter trong Sxy. Ngược lại chọn giá trị nhỏ nhất (0th percentile filter, hay min filter) ứng với min filter: fˆ(x, y) min g(s,t) (s,t) Sxy Bộ lọc này hiệu quả để tìm các pixel tối nhất trong ảnh. Nhiễu muối (sáng) sẽ giảm đáng kể khi sử dụng min filter trong Sxy. f = ordfilt2(g,m*n,ones(m,n),'symmetric'); 27
18. Bộ lọc midpoint có được bằng cách tính trung bình của các giá trị maximum và minimum trong Sxy: 1 f (x, y) max g(s,t) min g(s,t) 2 (s,t) Sxy (s,t) Sxy Chú ý: bộ lọc này hiệu quả cho loại nhiễu ngẫu nhiên, như nhiễu Gaussian hay uniform. f1 = ordfilt2(g,1,ones(m,n),'symmetric'); f2 = ordfilt2(g,m*n,ones(m,n),'symmetric'); f = imlincomb(0.5,f1,0.5,f2); Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 28
19. Giả sử xóa d/2 giá trị thấp nhất và d/2 giá trị xám cao nhất của g(s,t) trong Sxy. Đặt gr(s,t) là mn-d pixels còn lại trong Sxy. Và giá trị trung bình của những pixel còn lại này được xác định bởi: 1 ˆ f (x, y)  gr (s,t) mn d (s,t) Sxy Với giá trị d từ zero đến mn-1. Khi d=0, chính là arithmetic mean filter và d=(mn-1)/2 là median filter. Bộ lọc dạng này thường dùng để khử nhiễu kết hợp (nhiều dạng nhiễu có trong ảnh) như kết hợp của nhiễu muối tiêu và Gaussian. Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 29
20. f = ordfilt2(g,1,ones(m,n),'symmetric'); for k = 1:d/2 f = imsubstract(f,ordfilt2(g,k,ones(m,n),'symmetric')); end for k = (m*n - (d/2) + 1):m*n f = imsubstract(f,ordfilt2(g,k,ones(m,n),'symmetric')); end f = f/(m*n - d); Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 30
21. Ảnh bị nhiễu Kết quả lọc muối tiêu một lầnvới 3*3 Median Filter Kết quả lọc Kết quả lọc hai lầnvới ba lầnvới 3*3 Median 3*3 Median Filter Filter Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 31
22. Ảnh bị Ảnh bị nhiệu nhiễu Muối tiêu Uniform Lọc với Lọc với 5*5 Arithmetic 5*5 Geometric Mean Filter Mean Filter Lọc với Lọc với 5*5 Median 5*5 Alpha-Trimmed Filter Mean Filter Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 32
23. Thực hiện chập với kích thước Sxy là 3x3 cho các filter median, min-max, midpoint và Alpha trimed mean. Original Image x Filtered Image x 54 52 57 55 56 52 51 50 49 51 50 52 53 58 51 204 52 52 0 57 60 48 50 51 49 53 59 63 49 51 52 55 58 64 67 50 54 57 60 63 67 70 51 55 59 62 65 69 72 y Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 33
24. Phát sinh do electrical hoặc electromagnetic Tạo nên các nhiễu dạng patterns trong ảnh Kỹ thuật miền tần số trong miền Fourier thích hợp để khử nhiễu dạng này (periodic noise) Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 34
25. Khử periodic noise có thể tương đương việc xóa một miền tần số nhất định Band reject filters có thể được sử dụng Dạng ideal band reject filter được xác định bởi W 1 if D(u,v) D 0 2 W W H(u,v) 0 if D0 D(u,v) D0 2 2 W 1 if D(u,v) D0 2 Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 35
26. Ideal band reject filter có dạng như sau, cùng với Butterworth và Gaussian Ideal Band Butterworth Gaussian Reject Filter Band Reject Band Reject Filter (bậc 1) Filter Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 36
27. Ảnh nhiễu do Fourier spectrum của sinusoidal ảnh nhiễu Butterworth band Filtered image reject filter Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 37
28. Notch filter khử các tần số trong các lân cận xác định quanh tần số tâm: Ideal notch filter, Butter notch filter, Gaussian notch filter Dạng cặp đối xứng qua tâm vì biến đổi Fourier của ảnh là đối xứng Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 38
29. 0 if D1(u,v) D0 or D2 (u,v) D0 H(u,v) 1 otherwise 2 2 1/ 2 D1(u,v)  u M / 2 u0 v N / 2 v0  2 2 1/ 2 D2 (u,v)  u M / 2 u0 v N / 2 v0  Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 39
30. 1 H(u,v) 2 2n D0 1 D1(u,v)D2 (u,v) n=2 Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 40
31. 1 D (u,v)D (u,v) 1 2 2 2 H(u,v) 1 e D0 Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 41
32. Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 42
33. • Hai kiểu degradation . Do bị nhiễu: Xử lý trong miền không gian . Ảnh mờ: Xử lý trong miền tần số • Mô hình degradation theo hàm h(x,y), và (x,y), như sau: ( , ) = 푕( , ) ∗ ( , ) + ( , ) . ( , ) là ảnh gốc không bị giảm chất lượng . ( , ) là ảnh bị giảm chất lượng, * là toán tử chập . Mục tiêu là tiệm cận với ( , ) tùy theo nguyên nhân gây ra h và . Trong miền tần số: ( , 푣) = ( , 푣)퐹( , 푣) + ( , 푣). Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 43
34. Ảnh bị degradation và có nhiễu được mô hình bởi +∞ +∞ , = 훼, 훽 푕 − 훼, − 훽 훼 훽 + 휂( , ) −∞ −∞ ( , ) = 푕( , ) ∗ ( , ) + ( , ) , 푣 = , 푣 퐹 , 푣 + , 푣 (miền tần số) Thành phần 푕 − 훼, − 훽 là Point spread function (PSF) hoặc impulse response: biểu diễn đáp ứng của thiết bị chụp trên nguồn sáng điểm. Mức độ spread (hoặc blur) thể hiện chất lượng của thiết bị chụp. Image restoration: phục hồi lại f(x,y) dựa trên g(x,y) (ảnh bị lỗi), tri thức về PSF, và yếu tố nhiễu. Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 44
35. Ảnh degradation: , = ( , ) + 휂( , ) Trường hợp không bị nhiễu . H là tuyến tính nếu 1 , + 2 , = 1 , + 2 , . H là bất biến vị trí nếu , = , ⇒ − 훼, − 훽 = ( − 훼, − 훽) Trường hợp có nhiễu ( , ) = 푕( , ) ∗ ( , ) + ( , ) ( , 푣) = ( , 푣)퐹( , 푣) + ( , 푣) (trong miền tần số) Ảnh disorted/observed g(x, y) có thể mô hình như tích chập của hàm mục tiêu h(x,y) và cộng thêm nhiễu. Nguyên nhân degradation có thể xấp xỉ về dạng linear, position-invariant (chỉ phụ thuộc vào giá trị điểm ảnh). Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 45
36. Hệ thống PSF là giá trị cố định hoặc xác định bởi phần cứng vật lý (hình dạng ống kính máy ảnh, camer Anger của thiết bị y khoa) của thiết bị chụp Nguồn: Chris Solomon, Toby Breckon Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 46
37. Atmospheric turbulence model: 2 2 5/6 , 푣 = 푒− +푣 High turbulence k=0.0025 Negligible turbulence Low Mid turbulence turbulence k=0.00025 k=0.001 Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 47
38. Blurring by linear motion (mô phỏng di chuyển camera) , = − 0 푡 , − 0 푡 푡 0 , 푣 = 퐹( , 푣) 푒−푖2 0 푡 +푣 0 푡 푡 0 ⇒ , 푣 = 푒−푖2 0 푡 +푣 0 푡 푡 0 Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 48
39. Blurring by linear motion (tt) 푡 푡 Nếu 푡 = , 푡 = ⇒ 0 0 , 푣 = sin ( ( + 푣 ))푒−푖 ( +푣 ) ( + 푣 ) Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 49
40. Thực nghiệm để xác định impulse response của degradation thông qua chụp imaging an impulse (dùng nguồn sáng điểm). Pp.154-157 tài liệu Fundamentals of Digital of Image Processing- A practical approach with examples in Matlab Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 50
41. Xét , 푣 = , 푣 퐹 , 푣 + , 푣 ,푣 Nếu bỏ qua yếu tố nhiễu thì: 퐹 , 푣 = ⇒ ,푣 1 , = 퐹−1 ( , 푣) . , 푣 là system optical ,푣 transfer function (OTF) và được gọi là inverse filter. 1 푌( , 푣) = có thể tiến tới . Vì vậy : 푌( , 푣) = ( ,푣) 1 , 푣 ≥ 훼 ( ,푣) 0 , 푣 < 훼 Nếu có nhiễu: thì , 푣 , 푣 , 푣 퐹 , 푣 = + = 퐹 , 푣 + , 푣 , 푣 , 푣 Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 51
42. Khảo sát MATLAB code về OTF và inverse filter của ảnh Gaussianpsf_inversefilter.m Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 52
43. Kết hợp khử nhiễu và khử thành phần lỗi của ảnh. Mục tiêu là cực tiểu lỗi giữa ảnh lý tưởng và ảnh lỗi 2 min arg − Tính chất bộ lọc Wiener . Tại những tần số có thành phần nhiễu ( , 푣) nhỏ hơn nhiều thành phần ảnh ( , 푣) bộ lặp Wiener xấp xỉ inverse filter. 푌( , 푣) = 1/ ( , 푣) nếu ( , 푣) ≪ ( . 푣) . Tại những tần số có thành phần nhiễu ( , 푣) lớn hơn nhiều thành phần ảnh ( , 푣) bộ lặp Wiener xấp xỉ zero. 푌( , 푣) ≈ 0 nếu ( , 푣) ≫ ( , 푣). . Nếu không 2 tr/hợp trên, Wiener dung hòa giữa inverse filter và khử hoàn toàn. Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 53
44. Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 54
45. ∗ , 푣 푆 , 푣 퐹( , 푣) = 2 , 푣 푆 , 푣 , 푣 + 푆휂 , 푣 ∗ , 푣 = 2 , 푣 , 푣 + 푆휂 , 푣 푆 , 푣 1 ( , 푣) 2 = 2 ( , 푣) , 푣 , 푣 + 푆휂 , 푣 푆 , 푣 , 푣 : ảnh lỗi 2 푆휂 , 푣 = ( , 푣) : power spectrum của nhiễu 2 푆 , 푣 = 퐹( , 푣) : power spectrum của ảnh gốc(không có) ∗ , 푣 : conjugate phức của , 푣 . Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 55
46. 1 ∗ , 푣 퐹 , 푣 = 2 ( , 푣) , 푣 , 푣 + 푆휂 , 푣 푆 , 푣 Hằng Không biết 1 ,푣 2 ∗ ,푣 hoặc : là ,푣 ,푣 2+ 푆푅( ,푣) ,푣 2+ 푆푅( ,푣) Wiener-Helstrom filter. 푆푅 , 푣 = 푆휂 , 푣 푆 , 푣 : là noise/signal ratio power. Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 56
47. NSR nhỏ: ảnh có tín hiễu và nhiễu ngang nhau khó phân biệt ảnh hưởng đến chất lượng phục hồi ảnh NSR lớn: ảnh ít bị nhiễu (dễ phân biệt giữa nhiễu và ảnh) Nhận xét: Wiener-Helstrom filter xấp xỉ inverse filter khi NSR lớn (thành phần nhiễu không đáng kể) Khảo sát MATLAB code về OTF và Wiener filter trên ảnh: MotionBlurpsf_wienerfilter.m Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 57
48. Cần phải biết trước NSR phải biết trước input spectrum (thực tế không biết trước giá trị này) Wiener được xây dựng để đạt tiêu chuẩn cực tiểu tổng lỗi bình phương (MMSE) trên toàn bộ ảnh, đôi khi không đem lại kết quả phục hồi ảnh thích hợp. Một số biến thể của Wiener filter được phát triển/bổ sung (Pp.151-156 tài liệu Fundamentals of Digital of Image Processing- A practical approach with examples in Matlab) Xem: regularizedfilter.m Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 58
49. Bài giảng đã trình bày “phục hồi ảnh” cho mục tiêu khử nhiễu và ảnh giảm chất lượng. Các kỹ thuật miền không gian có thể dùng để khử nhiễu ngẫu nhiên Kỹ thuật miền tần số thích hợp để khử nhiễu tuần hoàn Sử dụng inverse filter để khử lỗi trong trường hợp không có nhiễu Sử dụng Wiener filter để khử ảnh có nhiễu và lỗi. Bài giảng Xử lý ảnh - TS. Ngô Quốc Việt 59