prof. dr hab. inż. Andrzej Kasiński
Politechnika Poznańska, Wydział Elektryczny		
Instytut Automatyki i Inżynierii Informatycznej

Poznań, 15 październik 2021 r.
	
Recenzja rozprawy doktorskiej
 dla Rady Dyscypliny
 Automatyka, elektronika i elektrotechnika, Zachodniopomorski Uniwersytet Technologiczny w Szczecinie

Tytuł rozprawy:	Wizyjna ocena jakości wydruków 3D
Autor rozprawy:    mgr inż. Jarosław Fastowicz

1.	Obszar problemowy rozprawy
Przedmiotem rozprawy są wyniki badań jakości warstw wydruku wytwarzanych w technologii addytywnej, znanej pod nazwą druk 3D. Badania jakości warstwy wydruku są przeprowadzane metodą automatycznej analizy obrazów kolejnych warstw wydruku, realizowanej przez autorski algorytm Kandydata. Algorytm dokonuje gradacji jakości warstwy, co pozwala podjąć decyzję o przerwaniu lub kontynuacji procesu wydruku. Zaproponowane rozwiązanie umożliwia kontrolę procesu wydruku w czasie rzeczywistym, co podnosi jego praktyczne znaczenie. Docelowo, uzyskane wyniki mają posłużyć projektowi drukarki 3D generującej wydruki o akceptowalnej jakości pomimo określonych zakłóceń warunków procesu. Tak więc uwzględniając specyfikę analizowanego procesu wytwarzania wyrobów problematyka rozprawy dotyczy komputerowych metod analizy obrazu oraz zagadnień techniki wizyjnej. Tym samym przynależy do dyscypliny naukowej 
automatyka, elektronika i elektrotechnika, w szczególności sytuuje się w kategorii metod automatyzacji procesów wytwórczych. 
Teza rozprawy została sformułowania w następujący sposób:
„Zastosowanie sprzężenia wizyjnego, z wykorzystaniem algorytmów przetwarzania obrazów i oceny podobieństwa tekstur, umożliwia detekcję błędów na powierzchni drukowanego przedmiotu oraz wiarygodną ocenę jakości wydruków według przyjętej skali.” 
Teza ma jasny sens, wymaga jednak doprecyzowania, gdyż detekcja błędów na powierzchni wytwarzanego przedmiotu jest możliwa jedynie, gdy błędy występują na brzegach warstwy wydruku (efekty powierzchniowe), gdy tymczasem metoda wizyjna pozwala wykryć błędy również wewnątrz nanoszonych pól danej warstwy druku (błędy wewnętrzne).
 Charakter tezy wskazuje, że jej potwierdzenie wymaga przedstawienia wyników doświadczalnych potwierdzających jej prawdziwość. W tezie zasygnalizowano również, że skala oceny jakości warstwy ma charakter subiektywny.
Technologia druku 3D jest znana i stosowana w systemach szybkiego prototypowania oraz w procesach wytwórczych od 20 lat. Od samego początku (1998) dostrzegano problem kontroli jakości addytywnych procesów wytwarzania
i wskazywano na metody wizyjne jako narzędzie. Tym niemniej wybór  problematyki rozprawy należy uznać za trafny i nadal aktualny, gdyż metody te wymagają ciągłego doskonalenia.

2.	Ocena merytoryczna rozprawy.
W tym punkcie dokonam oceny następujących elementów rozprawy:
-	oceny przedmiotowego stanu badań dokonanej przez Autora,
-	przyjętej metodologii badań,
-	przyjętych założeń zaproponowanej metody, w szczególności proponowanych sposobów detekcji zakłóceń obrazu warstwy,
-	stopnia realizacji celów pracy,
-	uproszczeń metody w  związku z dążeniem do jej implementacji w systemie czasu rzeczywistego.
Rozprawę przedstawiono w formie monotematycznego cyklu 13 recenzowanych artykułów opublikowanych w języku angielskim w latach 2016-2020. Odwołując się do nich w recenzji będę stosował odnośniki stosowane przez Autora tj. [A1], [A2}, …, [A13].
Artykuły w Entropy oraz Pattern Analysis and Applications  należy wyróżnić  jako tematycznie osadzone w spektrum tematycznym tych uznanych czasopism, a fakt ich opublikowania stanowi potwierdzenie  wysokiej jakości co najmniej części uzyskanych  rezultatów w skali międzynarodowej. Rangę naukową Autora rozprawy potwierdzają wskaźniki bibliometryczne: h=7, liczba cytowań wg. bazy Web od Science wynosząca 92 (52 bez autocytowań) na dzień  4.06.2021 r. co  jest relatywnie dobrym wynikiem biorąc pod uwagę, że pierwsza publikacja ukazała się
w sierpniu 2016 r.
Przyjęta koncepcja rozprawy nie ułatwia pracy recenzentowi, zwłaszcza w kwestii oceny orientacji Autora w aktualnym stanie badań. Informacja o stanie badań jest rozproszona i odnosi się do poszczególnych aspektów badań poruszanych
w artykułach stanowiących rozprawę. Zawarta jest w punktach stanowiących wprowadzenie do  danego artykułu. Spisy literatury do poszczególnych artykułów są aktualne, występują w nich istotne publikacje dotyczące problematyki rozprawy i są zróżnicowane pod względem obszerności (co wynika najprawdopodobniej
z narzuconych przez wydawców ograniczeń ilościowych). Cytowania tych prac
w obrębie poszczególnych artykułów  są prawidłowe.
Autor rozprawy opracował krótki przewodnik po swoich publikacjach omówionych według klucza chronologicznego. Został on podzielony na 6 części: wstęp, omówienie wyników badań metod opartych o podobieństwo tekstur i wskaźniki jakości obrazu jako podstawa oceny produktu,  omówienie wyników badań  metod odwołujących się do entropii jako miary jakości, charakterystykę innych metod wykorzystanych w badaniach, opis bazy stanowiącej podstawę skali ocen subiektywnych oraz omówienie wyników zaproponowanej przez siebie tzw. metody hybrydowej w powiązaniu z opracowanymi ocenami subiektywnymi.
Takie pogrupowanie nieco ułatwia analizę poszczególnych pozycji cyklu stanowiącego rozprawę oraz ocenę naukowego wkładu Autora.
Wstęp stanowi skrótowy opis źródeł błędów wydruku związanych z  technologią addytywną, w szczególności FDM oraz ultrakrótki przegląd prac nad zastosowaniem metod kontroli jakości tego typu  procesów poprzez wizyjną kontrolę wyrobu.
W opinii recenzenta przegląd  ten jest daleki od wyczerpującego.
Kwestii wykorzystania analizy tekstur i wskaźników jakości samych obrazów poświęcone są pozycje [A1], [A2], [A3], [A4]. Obszerny artykuł [A9] stanowi podsumowanie wyników badań nad wizyjną oceną jakości wydruków z drukarki 3D na podstawie wskaźników jakości obrazów. Oparto się tu na klasycznej teorii tekstur obrazowych Haralicka. Dla zminimalizowania wpływu zakłóceń oświetlenia analizie poddano obrazy zarejestrowane przy użyciu skanera płaskiego CIS. Zweryfikowano możliwości tzw. bezreferencyjnego algorytmu oceny jakości próbek w oparciu
o 4 wybrane cechy Haralicka na wstępie oceniając, że takie podejście jest zbyt kosztowne obliczeniowo biorąc pod uwagę implementację metody w układzie pracującym w trybie czasu rzeczywistego. Stwierdzono, że najlepszym dyskryminatorem w rozważanej aplikacji jest cecha jednorodności. Przedstawiono również wstępne wyniki zastosowania korelacji jako cechy dyskryminacyjnej [A6].
W obliczeniach wykorzystano Image Processing Toolbox systemu Matlab.
 Kontynuację prac  stanowiły  badania nad wskaźnikami podobieństwa cech,
a konkretnie nad Riesz-transform based Feature SIMilarity  metrix (RFSIM) i Feature SIMilarity index (FSIM). W celu porównania obrazy barwne poddawano konwersji do obrazów tonalnych szarych. Zbadano wpływ 4 metod konwersji na rezultaty. Wskazano FSIM jako odpowiedniejszy wskaźnik podobieństwa. Przeprowadzone badania na próbie 124 obrazów warstw wykazały 4 błędne wyniki klasyfikacji, co skłoniło Autora do zbadania efektywności metod oceny jakości wydruku opartych
o wyznaczanie entropii obrazów.
Wstępne wyniki opisano w [A5]. Wykorzystano tu przesłankę, że obrazy zdefektowanych warstw wydruku powinny się charakteryzować wyższą entropią, zwłaszcza lokalnie w obszarach w których występują defekty wydruku. Wadą metody opartej o obliczoną entropię jest jej bezpośrednia nieprzydatność do analizy próbek o różnej barwie (konieczność konwersji obrazów lub ingerencji w parametry systemu wizyjnego). Cechą tej metody są również fluktuacje wartości wskaźnika przy podziale obrazu próbki na bloki.
Udoskonalona (pozbawiona wyżej wspomnianych wad) metoda klasyfikacji próbek w oparciu o podejście entropowe została opublikowana w pracy [A7]. Zaproponowano przetwarzanie skanowanych obrazów warstw i obliczanie bardziej rozbudowanego wskaźnika łączącego entropię całego obrazu z wariancją jej entropii lokalnej (blokowej). Wskaźniki wyznaczano oddzielnie  dla kanałów RGB i niezależnie dla składowej Hue w przestrzeni barw HSV. Przy takim podejściu uzyskano niezależność od koloru użytego filamentu. Pozytywne wyniki klasyfikacji uzyskano dla podziału obiektów na dwie klasy (warstwy wysokiej jakości – warstwy
z defektami). Rozwinięcie tej metody do schematu czteroklasowego (kwantyzacja wg stopnia uszkodzenia) i jej weryfikacja praktyczna na większej liczbie próbek wykonanych z dwóch rodzajów materiałów ujawniły wady podejścia (utratę inwariancji ze względu na barwę obiektu) [A11]. Zaproponowana nieliniowa korekcja funkcji jasności obrazu [A8] pozwoliła usunąć tę wadę. Ocenę wyników automatycznej klasyfikacji na cztery klasy wyrobów skonfrontowano z oceną ekspercką zbioru próbek z  pozytywnym rezultatem. Podjęto próbę zastosowania miary entropowej w przypadku nieplanarnych (walcowych)  powierzchni próbek. Uzyskane wstępne wyniki  są  obiecujące i tym samym wskazują potencjalny kierunek dalszych badań.
Weryfikacja metody na zbiorze precyzyjnie zeskanowanych próbek w systemie stereo-litograficznym, po podziale obrazu 3D (mapy głębi) na 64 podobrazy doprowadziła do zdefiniowania zintegrowanego, skalarnego wskaźnika jakości Q opartego o entropię globalną obrazu i entropie lokalne jego 64 bloków [A8]. Wyniki klasyfikacji przy tym wskaźniku jako dyskryminatorze porównano ze standardowymi wskaźnikami odnoszącymi się do wyników klasyfikacji wieloklasowej  takimi jak F-measure, specificity, sensitivity, accuracy  z pozytywnym rezultatem. Obok dwóch zasadniczych podejść opisanych powyżej wstępnie zbadano ah hoc inne możliwości np. wykorzystanie do detekcji błędów i oceny jakości transformaty Hougha [A10], czy histogramów kierunkowych gradientów [B6]. Oba podejścia wymagają dopracowania.   
Istotną część rozprawy stanowi opis prac nad stworzeniem bazy ocen subiektywnych. Wiązało się to z zamierzeniem sporządzenia gradacyjnej skali oceny jakości próbek wydruku. W tym celu dla stosunkowo licznego zbioru próbek (107) zebrano wyniki skwantowanej oceny jakości dokonanej przez zespół 92 oceniających, których trudno uznać za ekspertów. Próbki sporządzono z tworzywa ABS i wykonano na trzech różnych typach drukarek. Ograniczono się do oceny dwóch typów błędów wydruku. Wyniki takiej masowej oceny zestawiono z wynikami oceny eksperckiej stwierdzając ich zbieżność. Ilościową metodę oceny zastosowano do badania  korelacji między wynikami estetycznej (subiektywnej) oceny wydruków, a wypracowanymi metodami automatycznej klasyfikacji przy użyciu systemu wizyjnego,  w szczególności do ewaluacji algorytmów detekcji.  Z porównania wynikła idea tzw. algorytmów hybrydowych łączących omówione wyżej podejścia, Oceny subiektywne wykorzystano również do weryfikacji skuteczności algorytmów opartych o metryki podobieństw strukturalnych (prace [A13] i [A12]). Metody hybrydowe badano na obrazach próbek pochodzących z kamery. Obliczano wyniki
3 współczynników korelacji (PLCC, SROCC, KROCC) wyników uzyskanych automatycznie przy łącznym zastosowaniu 2 do 4 metryk, z wartościami średnimi wyników oceny subiektywnej. Sporządzono wykresy skateringowe dla czterech kombinacji metod opartych o określoną pojedynczą metrykę połączonych w metodę hybrydową.
W wyniku łączenia kilku podejść omówionych we wcześniejszych pracach współautorstwa Kandydata uzyskano stosunkowo wysokie wartości współczynnika PLCC ze średnimi ocenami subiektywnymi. 
Wykorzystanie z pozytywnym skutkiem kamery do przechwytywania obrazów stworzyło perspektywę wdrożenia in situ  proponowanych metod.  Powolność procesu druku 3D powoduje, że implementacja proponowanej metody hybrydowej może  pracować w trybie czasu rzeczywistego pomimo znacznego nakładu przeprowadzanych według niej obliczeń.
Przyjęta w badaniach będących przedmiotem rozprawy metodologia jest poprawna. Założenia proponowanych metod detekcji są uzasadnione i uwzględniają realia samego procesu. Zaproponowane metody detekcji oparte są o klasyczne, znane metody przetwarzania obrazów, właściwie dobrane do postawionego zadania.
W świetle przedstawionych wyników eksperymentów można uznać, że cele rozprawy zostały osiągnięte, a jej teza jest potwierdzona. Nie oznacza to,  że nie istnieje pole do dalszego doskonalenia zaprezentowanych metod.
 
Zbiorcza bibliografia zawiera 26 pozycji co wydaje się liczbą skromną biorąc pod uwagę rozwój i znaczenie problematyki będącej przedmiotem rozprawy. Cytowane publikacje w dużej części mają charakter przeglądowy (co tłumaczy w jakimś sensie wyjątkową zwartość autorskiej bibliografii zbiorczej). Bibliografia jest jednak zaktualizowana i skupiona na problematyce rozprawy. 
 
3.	Ocena formalna.
Rozprawę stanowi cykl 13 monotematycznych współautorskich artykułów w czasopismach naukowych i referatów w recenzowanych materiałach konferencji naukowych. Recenzowanie pod względem formalnych usterek  już zrecenzowanych
i opublikowanych prac nie wydaje się celowe. Pozostaje jedynie ocena udziału Autora.  W oświadczeniach współautorzy deklarują równy, proporcjonalny udział wahający się od 25% (w przypadku publikacji 4 współautorów) do 50% (dwóch współautorów), za wyjątkiem najnowszej i najobszerniejszej publikacji w Applied Science, w której Kandydat ma zdecydowanie większościowy udział pośród 3 pozostałych współautorów (55%).
We wszystkich stanowiących rozprawę publikacjach jednym ze współautorów był promotor doktoranta  (co jest dość powszechną praktyką). Pozostali współautorzy
(6 osób) to pozostali członkowie zespołu badawczego,  którzy występują  co najwyżej  w 1-2  pozycjach każdy (a więc poniekąd epizodycznie). W przypadku 7 z cyklu publikacji J. Fastowicz jest pierwszym autorem (a nie stosowano porządku alfabetycznego).
Szkoda, że deklaracje udziału w publikacjach współautorskich nie zawierają charakterystyki roli jaką pełnił doktorant  w przypadku każdej ze wspólnych publikacji opisującej uzyskane wyniki badań. A przecież w istocie to wyniki naukowe uzyskane przez doktoranta są przedmiotem oceny zawartej w recenzji.
Wnioskując pośrednio z powyższej analizy można jednak dojść do wniosku, że Kandydat był wiodącym wykonawcą prac badawczych i autorem większości wyników opisanych w publikacjach przedstawionych jako rozprawa doktorska. 
4.	Konkluzja:
Rozprawa ma zdecydowanie techniczny charakter. Wpisuje się w aktualny nurt prac nad rozwojem addytywnych  technologii wytwarzania. Dotyczy ważnych zagadnień  praktycznych. Potwierdza kompetencje naukowe i techniczne Autora. 
Tezy rozprawy zostały potwierdzone eksperymentalnie zarówno w aspekcie  poprawy skuteczności wizyjnej detekcji defektów druku  jak i w aspekcie przydatności proponowanej metody do realizacji systemów wizyjnego nadzoru czasu rzeczywistego. Tym samym cele pracy, które Autor sformułował na wstępie zostały w osiągnięte. Rozprawa stanowi cenny przyczynek do rozwoju automatyzacji procesów nadzoru w nowoczesnych technologiach wytwarzania. Wobec powyższego uważam, że opiniowana dysertacja Pana mgr inż. Jarosława Fastowicza w pełni spełnia wymogi stawiane rozprawom doktorskim przez Ustawę o stopniach i tytule naukowym, gdyż przedstawia właściwą koncepcję rozwiązania istotnego problemu technicznego i jej zaawansowaną (choć wstępną) realizację. Uzyskane wyniki świadczą o dobrym przygotowaniu kandydata do pracy naukowej. Wnioskuję zatem o dopuszczenie p. mgr inż. Jarosława Fastowicza do publicznej obrony.

(prof. dr hab., inż. Andrzej Kasiński)