Cảm ơn bạn đã ghé thăm Nature.com.Bạn đang sử dụng phiên bản trình duyệt có hỗ trợ CSS hạn chế.Để có trải nghiệm tốt nhất, chúng tôi khuyên bạn nên sử dụng trình duyệt đã cập nhật (hoặc tắt Chế độ tương thích trong Internet Explorer).Ngoài ra, để đảm bảo được hỗ trợ liên tục, chúng tôi hiển thị trang web không có kiểu và JavaScript.
Thanh trượt hiển thị ba bài viết trên mỗi slide.Sử dụng các nút quay lại và tiếp theo để di chuyển qua các trang chiếu hoặc các nút điều khiển trang chiếu ở cuối để di chuyển qua từng trang chiếu.
Chụp cắt lớp mạch lạc quang học (OCTA) là một phương pháp mới để hiển thị hình ảnh không xâm lấn của mạch võng mạc.Mặc dù OCTA có nhiều ứng dụng lâm sàng đầy hứa hẹn nhưng việc xác định chất lượng hình ảnh vẫn là một thách thức.Chúng tôi đã phát triển một hệ thống dựa trên deep learning bằng cách sử dụng bộ phân loại mạng thần kinh ResNet152 được huấn luyện trước với ImageNet để phân loại hình ảnh đám rối mao mạch bề ngoài từ 347 lần quét của 134 bệnh nhân.Các hình ảnh cũng được hai người đánh giá độc lập đánh giá theo cách thủ công là đúng sự thật đối với mô hình học tập có giám sát.Do yêu cầu về chất lượng hình ảnh có thể khác nhau tùy thuộc vào cơ sở nghiên cứu hoặc lâm sàng nên hai mô hình đã được đào tạo, một mô hình nhận dạng hình ảnh chất lượng cao và mô hình còn lại nhận dạng hình ảnh chất lượng thấp.Mô hình mạng thần kinh của chúng tôi cho thấy vùng dưới đường cong (AUC) tuyệt vời, 95% CI 0,96-0,99, \(\kappa\) = 0,81), tốt hơn đáng kể so với mức tín hiệu do máy báo cáo (AUC = 0,82, 95 %CI).0,77–0,86, \(\kappa\) = 0,52 và AUC = 0,78, KTC 95% 0,73–0,83, \(\kappa\) = 0,27, tương ứng).Nghiên cứu của chúng tôi chứng minh rằng các phương pháp học máy có thể được sử dụng để phát triển các phương pháp kiểm soát chất lượng linh hoạt và mạnh mẽ cho hình ảnh OCTA.
Chụp cắt lớp mạch lạc quang học (OCTA) là một kỹ thuật tương đối mới dựa trên chụp cắt lớp mạch lạc quang học (OCT) có thể được sử dụng để hình dung không xâm lấn vi mạch võng mạc.OCTA đo lường sự khác biệt trong kiểu phản xạ từ các xung ánh sáng lặp đi lặp lại trong cùng một khu vực của võng mạc và sau đó có thể tính toán việc tái tạo để phát hiện các mạch máu mà không cần sử dụng thuốc nhuộm hoặc chất tương phản khác để xâm lấn.OCTA cũng cho phép chụp ảnh mạch máu có độ phân giải sâu, cho phép các bác sĩ lâm sàng kiểm tra riêng biệt các lớp mạch nông và sâu, giúp phân biệt giữa bệnh màng đệm võng mạc.
Mặc dù kỹ thuật này đầy hứa hẹn nhưng sự thay đổi chất lượng hình ảnh vẫn là thách thức lớn đối với việc phân tích hình ảnh đáng tin cậy, khiến việc giải thích hình ảnh trở nên khó khăn và ngăn cản việc áp dụng rộng rãi trên lâm sàng.Vì OCTA sử dụng nhiều lần quét OCT liên tiếp nên nó nhạy hơn với các hiện tượng giả hình ảnh so với OCT tiêu chuẩn.Hầu hết các nền tảng OCTA thương mại đều cung cấp thước đo chất lượng hình ảnh của riêng họ được gọi là Cường độ tín hiệu (SS) hoặc đôi khi là Chỉ số cường độ tín hiệu (SSI).Tuy nhiên, hình ảnh có giá trị SS hoặc SSI cao không đảm bảo không có ảnh giả, điều này có thể ảnh hưởng đến mọi phân tích hình ảnh tiếp theo và dẫn đến quyết định lâm sàng không chính xác.Các tạo tác hình ảnh phổ biến có thể xảy ra trong hình ảnh OCTA bao gồm các tạo tác chuyển động, tạo tác phân đoạn, tạo tác độ mờ phương tiện và tạo tác chiếu1,2,3.
Vì các biện pháp có nguồn gốc từ OCTA như mật độ mạch máu đang ngày càng được sử dụng nhiều trong nghiên cứu tịnh tiến, thử nghiệm lâm sàng và thực hành lâm sàng, nên cần phải phát triển các quy trình kiểm soát chất lượng hình ảnh mạnh mẽ và đáng tin cậy để loại bỏ các giả mạo hình ảnh4.Bỏ qua kết nối, còn được gọi là kết nối dư, là các phép chiếu trong kiến ​​trúc mạng thần kinh cho phép thông tin bỏ qua các lớp chập trong khi lưu trữ thông tin ở các tỷ lệ hoặc độ phân giải khác nhau5.Bởi vì các tạo tác hình ảnh có thể ảnh hưởng đến hiệu suất hình ảnh ở quy mô nhỏ và quy mô lớn nói chung, mạng thần kinh bỏ qua kết nối rất phù hợp để tự động hóa nhiệm vụ kiểm soát chất lượng này5.Công trình được xuất bản gần đây đã cho thấy một số hứa hẹn về mạng lưới thần kinh tích chập sâu được đào tạo bằng cách sử dụng dữ liệu chất lượng cao từ các công cụ ước tính của con người6.
Trong nghiên cứu này, chúng tôi huấn luyện một mạng nơ ron tích chập bỏ qua kết nối để tự động xác định chất lượng của hình ảnh OCTA.Chúng tôi dựa trên công việc trước đó bằng cách phát triển các mô hình riêng biệt để xác định hình ảnh chất lượng cao và hình ảnh chất lượng thấp, vì các yêu cầu về chất lượng hình ảnh có thể khác nhau đối với các tình huống nghiên cứu hoặc lâm sàng cụ thể.Chúng tôi so sánh kết quả của các mạng này với các mạng thần kinh tích chập mà không thiếu kết nối để đánh giá giá trị của việc bao gồm các tính năng ở nhiều cấp độ chi tiết trong học sâu.Sau đó, chúng tôi so sánh kết quả của mình với cường độ tín hiệu, thước đo chất lượng hình ảnh được chấp nhận rộng rãi do nhà sản xuất cung cấp.
Nghiên cứu của chúng tôi bao gồm những bệnh nhân mắc bệnh tiểu đường đã đến khám tại Trung tâm Mắt Yale trong khoảng thời gian từ ngày 11 tháng 8 năm 2017 đến ngày 11 tháng 4 năm 2019. Những bệnh nhân mắc bất kỳ bệnh màng đệm võng mạc không do tiểu đường nào đều bị loại trừ.Không có tiêu chí bao gồm hoặc loại trừ dựa trên độ tuổi, giới tính, chủng tộc, chất lượng hình ảnh hoặc bất kỳ yếu tố nào khác.
Hình ảnh OCTA được thu được bằng nền tảng AngioPlex trên Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Dublin, CA) dưới các giao thức hình ảnh 8\(\times\)8 mm và 6\(\times\)6 mm.Sự đồng ý tham gia vào nghiên cứu đã được lấy từ mỗi người tham gia nghiên cứu và Hội đồng Đánh giá Thể chế của Đại học Yale (IRB) đã phê duyệt việc sử dụng sự đồng ý có hiểu biết với chụp ảnh toàn cầu cho tất cả những bệnh nhân này.Tuân theo các nguyên tắc của Tuyên bố Helsinki.Nghiên cứu đã được phê duyệt bởi IRB của Đại học Yale.
Hình ảnh tấm bề ​​mặt được đánh giá dựa trên Điểm tạo tác chuyển động (MAS) được mô tả trước đó, Điểm tạo tác phân đoạn (SAS) được mô tả trước đó, trung tâm của da, sự hiện diện của độ mờ của phương tiện và khả năng hiển thị tốt của các mao mạch nhỏ được xác định bởi người đánh giá hình ảnh.Các hình ảnh được phân tích bởi hai nhà đánh giá độc lập (RD và JW).Một hình ảnh có điểm được xếp loại là 2 (đủ điều kiện) nếu đáp ứng tất cả các tiêu chí sau: hình ảnh được đặt ở giữa hố mắt (cách tâm hình ảnh dưới 100 pixel), MAS là 1 hoặc 2, SAS là 1 và độ mờ của phương tiện truyền thông nhỏ hơn 1. Xuất hiện trên các hình ảnh có kích thước / 16 và các mao mạch nhỏ được nhìn thấy trong các hình ảnh lớn hơn 15/16.Một hình ảnh được xếp hạng 0 (không có xếp hạng) nếu đáp ứng bất kỳ tiêu chí nào sau đây: hình ảnh lệch tâm, nếu MAS là 4, nếu SAS là 2 hoặc độ mờ trung bình lớn hơn 1/4 hình ảnh và các mao mạch nhỏ không thể điều chỉnh quá 1 hình/4 để phân biệt.Tất cả các hình ảnh khác không đáp ứng tiêu chí chấm điểm 0 hoặc 2 sẽ được tính điểm là 1 (cắt).
Trên hình.1 hiển thị các hình ảnh mẫu cho từng ước tính được chia tỷ lệ và các tạo phẩm hình ảnh.Độ tin cậy giữa các điểm của từng người được đánh giá bằng trọng số kappa của Cohen8.Điểm riêng của từng người xếp hạng được tổng hợp để có được điểm tổng thể cho từng hình ảnh, từ 0 đến 4. Hình ảnh có tổng điểm là 4 được coi là tốt.Hình ảnh có tổng điểm 0 hoặc 1 được coi là chất lượng thấp.
Mạng thần kinh tích chập kiến ​​trúc ResNet152 (Hình 3A.i) được đào tạo trước trên các hình ảnh từ cơ sở dữ liệu ImageNet đã được tạo bằng fast.ai và khung PyTorch5, 9, 10, 11. Mạng thần kinh tích chập là mạng sử dụng kiến ​​thức đã học bộ lọc để quét các mảnh hình ảnh để nghiên cứu các đặc điểm không gian và cục bộ.ResNet được đào tạo của chúng tôi là mạng thần kinh 152 lớp được đặc trưng bởi các khoảng trống hoặc “kết nối dư” truyền đồng thời thông tin với nhiều độ phân giải.Bằng cách chiếu thông tin ở các độ phân giải khác nhau qua mạng, nền tảng có thể tìm hiểu các đặc điểm của hình ảnh chất lượng thấp ở nhiều cấp độ chi tiết.Ngoài mô hình ResNet, chúng tôi cũng đào tạo AlexNet, một kiến ​​trúc mạng thần kinh được nghiên cứu kỹ lưỡng, không thiếu kết nối để so sánh (Hình 3A.ii)12.Nếu không bị thiếu kết nối, mạng này sẽ không thể nắm bắt được các tính năng ở mức độ chi tiết cao hơn.
Bộ ảnh 8\(\times\)8mm OCTA13 gốc đã được cải tiến bằng kỹ thuật phản chiếu ngang và dọc.Sau đó, tập dữ liệu đầy đủ được phân chia ngẫu nhiên ở cấp độ hình ảnh thành tập dữ liệu huấn luyện (51,2%), kiểm tra (12,8%), điều chỉnh siêu tham số (16%) và xác thực (20%) bằng cách sử dụng hộp công cụ scikit-learn python14.Hai trường hợp đã được xem xét, một trường hợp dựa trên việc chỉ phát hiện những hình ảnh có chất lượng cao nhất (điểm tổng thể là 4) và trường hợp còn lại dựa trên việc chỉ phát hiện những hình ảnh có chất lượng thấp nhất (điểm tổng thể là 0 hoặc 1).Đối với mỗi trường hợp sử dụng chất lượng cao và chất lượng thấp, mạng thần kinh sẽ được đào tạo lại một lần trên dữ liệu hình ảnh của chúng tôi.Trong mỗi trường hợp sử dụng, mạng nơ-ron được huấn luyện trong 10 kỷ nguyên, tất cả ngoại trừ trọng số lớp cao nhất đều bị cố định và trọng số của tất cả các tham số bên trong được học trong 40 kỷ nguyên bằng phương pháp tốc độ học phân biệt với hàm mất entropy chéo 15, 16..Hàm mất entropy chéo là thước đo thang logarit của sự khác biệt giữa nhãn mạng được dự đoán và dữ liệu thực.Trong quá trình huấn luyện, việc giảm độ dốc được thực hiện trên các tham số bên trong của mạng lưới thần kinh để giảm thiểu tổn thất.Tốc độ học, tỷ lệ bỏ học và siêu tham số giảm trọng lượng được điều chỉnh bằng cách sử dụng tối ưu hóa Bayes với 2 điểm bắt đầu ngẫu nhiên và 10 lần lặp, đồng thời AUC trên tập dữ liệu được điều chỉnh bằng cách sử dụng siêu tham số làm mục tiêu là 17.
Ví dụ đại diện cho hình ảnh OCTA 8 × 8 mm của đám rối mao mạch bề ngoài được ghi điểm 2 (A, B), 1 (C, D) và 0 (E, F).Các tạo phẩm hình ảnh được hiển thị bao gồm các đường nhấp nháy (mũi tên), các tạo tác phân đoạn (dấu hoa thị) và độ mờ của phương tiện (mũi tên).Hình ảnh (E) cũng bị lệch tâm.
Sau đó, các đường cong đặc tính vận hành máy thu (ROC) được tạo cho tất cả các mô hình mạng thần kinh và báo cáo cường độ tín hiệu động cơ được tạo cho từng trường hợp sử dụng chất lượng thấp và chất lượng cao.Diện tích dưới đường cong (AUC) được tính toán bằng gói pROC R và khoảng tin cậy 95% cũng như giá trị p được tính toán bằng phương pháp DeLong18,19.Điểm tích lũy của người đánh giá được sử dụng làm cơ sở cho tất cả các phép tính ROC.Đối với cường độ tín hiệu mà máy báo cáo, AUC được tính toán hai lần: một lần cho điểm cắt Điểm Khả năng mở rộng chất lượng cao và một lần cho điểm cắt Điểm Khả năng mở rộng chất lượng thấp.Mạng lưới thần kinh được so sánh với cường độ tín hiệu AUC phản ánh các điều kiện đánh giá và đào tạo của chính nó.
Để kiểm tra thêm mô hình deep learning đã được đào tạo trên một tập dữ liệu riêng biệt, các mô hình chất lượng cao và chất lượng thấp đã được áp dụng trực tiếp để đánh giá hiệu suất của 32 hình ảnh phiến bề mặt 6 mm toàn mặt 6\(\times\) được thu thập từ Đại học Yale.Khối lượng mắt được căn giữa cùng lúc với hình ảnh 8 \(\times \) 8 mm.Hình ảnh 6\(\×\) 6 mm được đánh giá thủ công bởi cùng một người đánh giá (RD và JW) theo cách tương tự như hình ảnh 8\(\×\) 8 mm, AUC đã được tính toán cũng như độ chính xác và kappa của Cohen .như nhau .
Tỷ lệ mất cân bằng lớp là 158:189 (\(\rho = 1.19\)) đối với mô hình chất lượng thấp và 80:267 (\(\rho = 3.3\)) đối với mô hình chất lượng cao.Vì tỷ lệ mất cân bằng lớp nhỏ hơn 1:4 nên không có thay đổi kiến ​​trúc cụ thể nào được thực hiện để điều chỉnh sự mất cân bằng lớp20,21.
Để hình dung rõ hơn quá trình học tập, bản đồ kích hoạt lớp đã được tạo cho cả bốn mô hình học sâu được đào tạo: mô hình ResNet152 chất lượng cao, mô hình ResNet152 chất lượng thấp, mô hình AlexNet chất lượng cao và mô hình AlexNet chất lượng thấp.Bản đồ kích hoạt lớp được tạo từ các lớp chập đầu vào của bốn mô hình này và bản đồ nhiệt được tạo bằng cách xếp chồng các bản đồ kích hoạt với hình ảnh nguồn từ các bộ xác thực 8 × 8 mm và 6 × 6 mm22, 23.
Phiên bản R 4.0.3 đã được sử dụng cho tất cả các tính toán thống kê và trực quan hóa được tạo bằng thư viện công cụ đồ họa ggplot2.
Chúng tôi đã thu thập 347 hình ảnh phía trước của đám rối mao mạch nông có kích thước 8 \(\times \)8 mm từ 134 người.Máy báo cáo cường độ tín hiệu theo thang điểm từ 0 đến 10 cho tất cả hình ảnh (trung bình = 6,99 ± 2,29).Trong số 347 hình ảnh thu được, độ tuổi trung bình khi khám là 58,7 ± 14,6 tuổi và 39,2% là bệnh nhân nam.Trong tất cả các hình ảnh, 30,8% là người da trắng, 32,6% là người da đen, 30,8% là người gốc Tây Ban Nha, 4% là người châu Á và 1,7% là người thuộc các chủng tộc khác (Bảng 1).).Sự phân bố độ tuổi của bệnh nhân mắc OCTA khác nhau đáng kể tùy thuộc vào chất lượng hình ảnh (p < 0,001).Tỷ lệ hình ảnh chất lượng cao ở bệnh nhân trẻ tuổi từ 18-45 là 33,8% so với 12,2% hình ảnh chất lượng thấp (Bảng 1).Sự phân bố tình trạng bệnh võng mạc đái tháo đường cũng thay đổi đáng kể về chất lượng hình ảnh (p<0,017).Trong số tất cả các hình ảnh chất lượng cao, tỷ lệ bệnh nhân mắc PDR là 18,8% so với 38,8% của tất cả các hình ảnh chất lượng thấp (Bảng 1).
Xếp hạng riêng lẻ của tất cả các hình ảnh cho thấy độ tin cậy giữa các xếp hạng từ trung bình đến mạnh giữa những người đọc hình ảnh (kappa có trọng số của Cohen = 0,79, KTC 95%: 0,76-0,82) và không có điểm hình ảnh nào mà người xếp hạng khác nhau nhiều hơn 1 (Hình 2). 2A)..Cường độ tín hiệu tương quan đáng kể với việc tính điểm thủ công (tương quan mô men sản phẩm Pearson = 0,58, KTC 95% 0,51–0,65, p<0,001), nhưng nhiều hình ảnh được xác định là có cường độ tín hiệu cao nhưng tính điểm thủ công thấp (Hình .2B).
Trong quá trình đào tạo kiến ​​trúc ResNet152 và AlexNet, tổn thất entropy chéo khi xác thực và đào tạo rơi vào hơn 50 kỷ nguyên (Hình 3B, C).Độ chính xác xác thực trong kỷ nguyên đào tạo cuối cùng là hơn 90% cho cả trường hợp sử dụng chất lượng cao và chất lượng thấp.
Đường cong hiệu suất của máy thu cho thấy mô hình ResNet152 vượt trội hơn đáng kể so với công suất tín hiệu được máy báo cáo trong cả trường hợp sử dụng chất lượng thấp và chất lượng cao (p < 0,001).Mô hình ResNet152 cũng hoạt động tốt hơn đáng kể so với kiến ​​trúc AlexNet (p = 0,005 và p = 0,014 tương ứng với các trường hợp chất lượng thấp và chất lượng cao).Các mô hình kết quả cho từng tác vụ này có thể đạt được giá trị AUC lần lượt là 0,99 và 0,97, tốt hơn đáng kể so với các giá trị AUC tương ứng là 0,82 và 0,78 đối với chỉ số cường độ tín hiệu máy hoặc 0,97 và 0,94 đối với AlexNet. ..(Hình 3).Sự khác biệt giữa ResNet và AUC về cường độ tín hiệu cao hơn khi nhận dạng hình ảnh chất lượng cao, cho thấy lợi ích bổ sung của việc sử dụng ResNet cho tác vụ này.
Các biểu đồ hiển thị khả năng ghi điểm và so sánh của từng người đánh giá độc lập với cường độ tín hiệu do máy báo cáo.(A) Tổng số điểm cần đánh giá được sử dụng để tạo ra tổng số điểm cần đánh giá.Hình ảnh có điểm khả năng mở rộng tổng thể là 4 được coi là chất lượng cao, trong khi hình ảnh có điểm khả năng mở rộng tổng thể từ 1 trở xuống được coi là chất lượng thấp.(B) Cường độ tín hiệu tương quan với ước tính thủ công nhưng hình ảnh có cường độ tín hiệu cao có thể có chất lượng kém hơn.Đường chấm màu đỏ biểu thị ngưỡng chất lượng khuyến nghị của nhà sản xuất dựa trên cường độ tín hiệu (cường độ tín hiệu \(\ge\)6).
Học chuyển giao ResNet cung cấp một cải tiến đáng kể trong việc nhận dạng chất lượng hình ảnh cho cả trường hợp sử dụng chất lượng thấp và chất lượng cao so với mức tín hiệu do máy báo cáo.(A) Sơ đồ kiến ​​trúc đơn giản hóa của kiến ​​trúc được đào tạo trước (i) ResNet152 và (ii) AlexNet.(B) Lịch sử đào tạo và đường cong hiệu suất máy thu cho ResNet152 so với cường độ tín hiệu được máy báo cáo và tiêu chí chất lượng thấp của AlexNet.(C) Lịch sử đào tạo máy thu ResNet152 và đường cong hiệu suất so với cường độ tín hiệu được máy báo cáo và tiêu chí chất lượng cao của AlexNet.
Sau khi điều chỉnh ngưỡng ranh giới quyết định, độ chính xác dự đoán tối đa của mô hình ResNet152 là 95,3% đối với trường hợp chất lượng thấp và 93,5% đối với trường hợp chất lượng cao (Bảng 2).Độ chính xác dự đoán tối đa của mô hình AlexNet là 91,0% đối với trường hợp chất lượng thấp và 90,1% đối với trường hợp chất lượng cao (Bảng 2).Độ chính xác dự đoán cường độ tín hiệu tối đa là 76,1% đối với trường hợp sử dụng chất lượng thấp và 77,8% đối với trường hợp sử dụng chất lượng cao.Theo Cohen's kappa (\(\kappa\)), sự phù hợp giữa mô hình ResNet152 và các công cụ ước tính là 0,90 đối với trường hợp chất lượng thấp và 0,81 đối với trường hợp chất lượng cao.AlexNet kappa của Cohen lần lượt là 0,82 và 0,71 cho các trường hợp sử dụng chất lượng thấp và chất lượng cao.Cường độ tín hiệu kappa của Cohen lần lượt là 0,52 và 0,27 cho các trường hợp sử dụng chất lượng thấp và chất lượng cao.
Việc xác thực các mô hình nhận dạng chất lượng cao và chất lượng thấp trên hình ảnh 6\(\x\) của tấm phẳng 6 mm cho thấy khả năng của mô hình được đào tạo để xác định chất lượng hình ảnh trên các thông số hình ảnh khác nhau.Khi sử dụng tấm nông 6\(\x\) 6 mm để có chất lượng hình ảnh, mô hình chất lượng thấp có AUC là 0,83 (KTC 95%: 0,69–0,98) và mô hình chất lượng cao có AUC là 0,85.(KTC 95%: 0,55–1,00) (Bảng 2).
Kiểm tra trực quan các bản đồ kích hoạt lớp lớp đầu vào cho thấy tất cả các mạng thần kinh được đào tạo đều sử dụng các tính năng hình ảnh trong quá trình phân loại hình ảnh (Hình 4A, B).Đối với 8 hình ảnh \(\times \) 8 mm và 6 \(\times \) 6 mm, hình ảnh kích hoạt ResNet bám sát mạch máu võng mạc.Bản đồ kích hoạt AlexNet cũng theo dõi các mạch võng mạc, nhưng với độ phân giải thô hơn.
Bản đồ kích hoạt lớp cho các mô hình ResNet152 và AlexNet nêu bật các tính năng liên quan đến chất lượng hình ảnh.(A) Bản đồ kích hoạt lớp hiển thị kích hoạt mạch lạc sau mạch máu võng mạc bề ngoài trên hình ảnh xác thực 8 \(\times \) 8 mm và phạm vi (B) trên hình ảnh xác thực 6 \(\times \) 6 mm nhỏ hơn.Mô hình LQ huấn luyện theo tiêu chí chất lượng thấp, mô hình HQ huấn luyện theo tiêu chí chất lượng cao.
Trước đây người ta đã chứng minh rằng chất lượng hình ảnh có thể ảnh hưởng lớn đến bất kỳ việc định lượng hình ảnh OCTA nào.Ngoài ra, sự hiện diện của bệnh võng mạc làm tăng tỷ lệ tạo ảnh giả7,26.Trên thực tế, trong dữ liệu của chúng tôi, nhất quán với các nghiên cứu trước đây, chúng tôi đã tìm thấy mối liên quan đáng kể giữa tuổi ngày càng tăng và mức độ nghiêm trọng của bệnh võng mạc với sự suy giảm chất lượng hình ảnh (p < 0,001, p = 0,017 tương ứng với tuổi và tình trạng DR; Bảng 1) 27 Do đó, điều quan trọng là phải đánh giá chất lượng hình ảnh trước khi thực hiện bất kỳ phân tích định lượng nào về hình ảnh OCTA.Hầu hết các nghiên cứu phân tích hình ảnh OCTA đều sử dụng ngưỡng cường độ tín hiệu do máy báo cáo để loại trừ hình ảnh chất lượng thấp.Mặc dù cường độ tín hiệu đã được chứng minh là ảnh hưởng đến việc định lượng các thông số OCTA, nhưng chỉ riêng cường độ tín hiệu cao có thể không đủ để loại trừ các hình ảnh có hiện tượng giả hình2,3,28,29.Vì vậy, cần phải phát triển một phương pháp kiểm soát chất lượng hình ảnh đáng tin cậy hơn.Để đạt được mục đích này, chúng tôi đánh giá hiệu suất của các phương pháp học sâu có giám sát dựa trên cường độ tín hiệu do máy báo cáo.
Chúng tôi đã phát triển một số mô hình để đánh giá chất lượng hình ảnh vì các trường hợp sử dụng OCTA khác nhau có thể có các yêu cầu về chất lượng hình ảnh khác nhau.Ví dụ: hình ảnh phải có chất lượng cao hơn.Ngoài ra, các thông số định lượng cụ thể được quan tâm cũng rất quan trọng.Ví dụ, diện tích của vùng vô mạch của da không phụ thuộc vào độ đục của môi trường không phải trung tâm mà ảnh hưởng đến mật độ của mạch máu.Mặc dù nghiên cứu của chúng tôi tiếp tục tập trung vào cách tiếp cận chung về chất lượng hình ảnh, không gắn với yêu cầu của bất kỳ thử nghiệm cụ thể nào mà nhằm thay thế trực tiếp cường độ tín hiệu do máy báo cáo, chúng tôi hy vọng mang đến cho người dùng mức độ kiểm soát cao hơn để họ có thể kiểm soát tốt hơn. có thể chọn số liệu cụ thể mà người dùng quan tâm.chọn một mô hình tương ứng với mức độ giả tạo hình ảnh tối đa được coi là có thể chấp nhận được.
Đối với các cảnh chất lượng thấp và chất lượng cao, chúng tôi cho thấy hiệu suất tuyệt vời của các mạng thần kinh tích chập sâu thiếu kết nối, với AUC lần lượt là 0,97 và 0,99 và các mô hình chất lượng thấp.Chúng tôi cũng chứng minh hiệu suất vượt trội của phương pháp học sâu khi so sánh với mức tín hiệu chỉ được máy móc báo cáo.Bỏ qua kết nối cho phép mạng thần kinh tìm hiểu các tính năng ở nhiều cấp độ chi tiết, nắm bắt các khía cạnh tốt hơn của hình ảnh (ví dụ: độ tương phản) cũng như các tính năng chung (ví dụ: căn giữa hình ảnh30,31).Vì các tạo tác hình ảnh ảnh hưởng đến chất lượng hình ảnh có thể được xác định tốt nhất trên phạm vi rộng, nên kiến ​​trúc mạng thần kinh thiếu kết nối có thể thể hiện hiệu suất tốt hơn so với các kiến ​​trúc không có nhiệm vụ xác định chất lượng hình ảnh.
Khi thử nghiệm mô hình của chúng tôi trên hình ảnh OCTA 6\(\×6mm), chúng tôi nhận thấy hiệu suất phân loại giảm đối với cả mô hình chất lượng cao và chất lượng thấp (Hình 2), trái ngược với kích thước của mô hình được đào tạo để phân loại.So với mô hình ResNet, mô hình AlexNet có mức suy giảm lớn hơn.Hiệu suất tương đối tốt hơn của ResNet có thể là do khả năng truyền thông tin ở nhiều tỷ lệ của các kết nối còn lại, giúp mô hình trở nên mạnh mẽ hơn trong việc phân loại hình ảnh được chụp ở các tỷ lệ và/hoặc độ phóng đại khác nhau.
Một số khác biệt giữa 8 hình ảnh \(\×\) 8 mm và 6 hình ảnh \(\×\) 6 mm có thể dẫn đến phân loại kém, bao gồm tỷ lệ hình ảnh tương đối cao chứa các vùng vô mạch ở da, những thay đổi về khả năng hiển thị, các vòng cung mạch máu và không có dây thần kinh thị giác trên hình ảnh 6×6 mm.Mặc dù vậy, mô hình ResNet chất lượng cao của chúng tôi có thể đạt được AUC là 85% cho hình ảnh 6 \(\x\) 6 mm, một cấu hình mà mô hình chưa được đào tạo, cho thấy rằng thông tin chất lượng hình ảnh được mã hóa trong mạng thần kinh là phù hợp.đối với một kích thước hình ảnh hoặc cấu hình máy ngoài quá trình đào tạo của nó (Bảng 2).Thật đáng yên tâm, các bản đồ kích hoạt giống như ResNet và AlexNet gồm 8 hình ảnh \(\times \) 8 mm và 6 \(\times \) 6 mm có thể làm nổi bật các mạch võng mạc trong cả hai trường hợp, cho thấy rằng mô hình có thông tin quan trọng.có thể áp dụng để phân loại cả hai loại hình ảnh OCTA (Hình 4).
Lauerman và cộng sự.Đánh giá chất lượng hình ảnh trên hình ảnh OCTA được thực hiện tương tự bằng cách sử dụng kiến ​​trúc Inception, một mạng thần kinh tích chập bỏ qua kết nối khác sử dụng kỹ thuật học sâu.Họ cũng giới hạn nghiên cứu ở các hình ảnh của đám rối mao mạch bề ngoài, nhưng chỉ sử dụng các hình ảnh 3×3 mm nhỏ hơn từ Optovue AngioVue, mặc dù các bệnh nhân mắc nhiều bệnh màng đệm võng mạc khác nhau cũng được đưa vào nghiên cứu.Công việc của chúng tôi được xây dựng trên nền tảng của họ, bao gồm nhiều mô hình để giải quyết các ngưỡng chất lượng hình ảnh khác nhau và xác thực kết quả cho các hình ảnh có kích thước khác nhau.Chúng tôi cũng báo cáo số liệu AUC của các mô hình học máy và tăng độ chính xác vốn đã rất ấn tượng của chúng (90%)6 cho cả mô hình chất lượng thấp (96%) và chất lượng cao (95,7%)6.
Việc đào tạo này có một số hạn chế.Đầu tiên, hình ảnh được thu được chỉ bằng một máy OCTA, chỉ bao gồm hình ảnh của đám rối mao mạch nông ở 8\(\times\)8 mm và 6\(\times\)6 mm.Lý do loại trừ hình ảnh khỏi các lớp sâu hơn là do các tạo phẩm chiếu có thể khiến việc đánh giá hình ảnh theo cách thủ công trở nên khó khăn hơn và có thể kém nhất quán hơn.Hơn nữa, hình ảnh chỉ được thu thập ở bệnh nhân tiểu đường, đối tượng mà OCTA đang nổi lên như một công cụ chẩn đoán và tiên lượng quan trọng33,34.Mặc dù chúng tôi có thể kiểm tra mô hình của mình trên các hình ảnh có kích thước khác nhau để đảm bảo kết quả chắc chắn, nhưng chúng tôi không thể xác định được bộ dữ liệu phù hợp từ các trung tâm khác nhau, điều này đã hạn chế đánh giá của chúng tôi về khả năng khái quát của mô hình.Mặc dù hình ảnh chỉ được lấy từ một trung tâm, nhưng chúng được lấy từ các bệnh nhân thuộc các chủng tộc và dân tộc khác nhau, đây là điểm mạnh duy nhất trong nghiên cứu của chúng tôi.Bằng cách đưa tính đa dạng vào quá trình đào tạo của mình, chúng tôi hy vọng rằng kết quả của chúng tôi sẽ được khái quát hóa theo nghĩa rộng hơn và chúng tôi sẽ tránh mã hóa thành kiến ​​​​chủng tộc trong các mô hình mà chúng tôi đào tạo.
Nghiên cứu của chúng tôi cho thấy mạng thần kinh bỏ qua kết nối có thể được đào tạo để đạt được hiệu suất cao trong việc xác định chất lượng hình ảnh OCTA.Chúng tôi cung cấp những mô hình này làm công cụ để nghiên cứu sâu hơn.Vì các số liệu khác nhau có thể có các yêu cầu về chất lượng hình ảnh khác nhau nên có thể phát triển một mô hình kiểm soát chất lượng riêng cho từng số liệu bằng cách sử dụng cấu trúc được thiết lập ở đây.
Nghiên cứu trong tương lai nên bao gồm các hình ảnh có kích thước khác nhau từ các độ sâu khác nhau và các máy OCTA khác nhau để có được quy trình đánh giá chất lượng hình ảnh deep learning có thể khái quát cho các nền tảng OCTA và giao thức hình ảnh.Nghiên cứu hiện tại cũng dựa trên các phương pháp học sâu có giám sát, đòi hỏi sự đánh giá của con người và đánh giá hình ảnh, có thể tốn nhiều công sức và thời gian đối với các tập dữ liệu lớn.Vẫn còn phải xem liệu các phương pháp học sâu không giám sát có thể phân biệt đầy đủ giữa hình ảnh chất lượng thấp và hình ảnh chất lượng cao hay không.
Khi công nghệ OCTA tiếp tục phát triển và tốc độ quét tăng lên, tỷ lệ ảnh giả và hình ảnh kém chất lượng có thể giảm.Những cải tiến trong phần mềm, chẳng hạn như tính năng loại bỏ tạo tác trình chiếu được giới thiệu gần đây, cũng có thể giảm bớt những hạn chế này.Tuy nhiên, vẫn còn nhiều vấn đề do hình ảnh của bệnh nhân có khả năng cố định kém hoặc môi trường bị đục đáng kể luôn dẫn đến hình ảnh giả.Khi OCTA được sử dụng rộng rãi hơn trong các thử nghiệm lâm sàng, cần phải xem xét cẩn thận để thiết lập các hướng dẫn rõ ràng về mức độ giả tạo hình ảnh có thể chấp nhận được để phân tích hình ảnh.Việc áp dụng các phương pháp học sâu vào hình ảnh OCTA có nhiều hứa hẹn và cần có nghiên cứu sâu hơn trong lĩnh vực này để phát triển một cách tiếp cận mạnh mẽ để kiểm soát chất lượng hình ảnh.
Mã được sử dụng trong nghiên cứu hiện tại có sẵn trong kho lưu trữ octa-qc, https://github.com/rahuldhodapkar/octa-qc.Các bộ dữ liệu được tạo và/hoặc phân tích trong nghiên cứu hiện tại có sẵn từ các tác giả tương ứng theo yêu cầu hợp lý.
Các tạo tác hình ảnh Spaide, RF, Fujimoto, JG & Waheed, NK trong chụp động mạch kết hợp quang học.Võng mạc 35, 2163–2180 (2015).
Fenner, BJ và cộng sự.Xác định các đặc điểm hình ảnh xác định chất lượng và khả năng tái tạo của phép đo mật độ đám rối mao mạch võng mạc trong chụp động mạch OCT.BR.J. Nhãn khoa.102, 509–514 (2018).
Lauerman, JL và cộng sự.Ảnh hưởng của công nghệ theo dõi mắt đến chất lượng hình ảnh của chụp động mạch OCT trong bệnh thoái hóa điểm vàng liên quan đến tuổi tác.Vòm mộ.lâm sàng.Exp.nhãn khoa.255, 1535–1542 (2017).
Babyuch AS và cộng sự.Đo mật độ tưới máu mao mạch OCTA được sử dụng để phát hiện và đánh giá tình trạng thiếu máu cục bộ ở điểm vàng.phẫu thuật nhãn khoa.Chụp ảnh Laser võng mạc 51, S30–S36 (2020).
He, K., Zhang, X., Ren, S. và Sun, J. Học tập dư thừa sâu để nhận dạng hình ảnh.Năm 2016 tại Hội nghị IEEE về Thị giác máy tính và Nhận dạng mẫu (2016).
Lauerman, JL và cộng sự.Đánh giá chất lượng hình ảnh chụp mạch OCT tự động bằng thuật toán học sâu.Vòm mộ.lâm sàng.Exp.nhãn khoa.257, 1641–1648 (2019).
Lauermann, J. và cộng sự.Tỷ lệ lỗi phân đoạn và ảnh giả chuyển động trong chụp động mạch OCT phụ thuộc vào bệnh võng mạc.Vòm mộ.lâm sàng.Exp.nhãn khoa.256, 1807–1816 (2018).
Pask, Adam và cộng sự.Pytorch: Thư viện học sâu bắt buộc, hiệu suất cao.Xử lý nâng cao thông tin thần kinh.hệ thống.32, 8026–8037 (2019).
Đặng, J. và cộng sự.ImageNet: Cơ sở dữ liệu hình ảnh phân cấp quy mô lớn.Hội nghị IEEE 2009 về Thị giác máy tính và Nhận dạng mẫu.248–255.(2009).
Phân loại Krizhevsky A., Sutzkever I. và Hinton GE Imagenet bằng cách sử dụng mạng lưới thần kinh tích chập sâu.Xử lý nâng cao thông tin thần kinh.hệ thống.25, 1 (2012).