ophthalmologyОфтальмологияOphthalmology in Russia1816-50952500-0845Ophthalmology10.18008/1816-5095-2024-1-100-106ophthalmology-2299Research ArticleКЛИНИЧЕСКИЕ ИССЛЕДОВАНИЯCLINICAL STUDIESРазработка модели сегментации капилляров глазной поверхности по снимкам с офтальмологической щелевой лампы с использованием инструментов искусственного интеллектаDevelopment of a Model of Segmentation of the Capillaries of the Ocular Surface Based on Images from an Ophthalmological Slit Lamp Using Artificial Intelligence Toolshttps://orcid.org/0000-0002-8480-0894НероевВ. В.NeroevV. V.

Нероев Владимир Владимирович — доктор медицинских наук, профессор, академик РАН, директор ФГБУ, заведующий кафедрой глазных болезней ФДПО ФГБОУ

ул. Садовая-Черногрязская, 14/19, Москва, 105062,

ул. Делегатская, 20, стр. 1, Москва, 127473

Neroev Vladimir V. — MD, Professor, Academician of the Russian Academy of Science, director of Helmholtz National Medical Research Center of Eye Diseases, Head of Chair of the Department of eye diseases of A.I. Yevdokimov Moscow State University of Medicine and Dentistry

Sadovaya-Chernogryazskaya str., 14/19, Moscow, 105062,

Delegatskaya str., 20/1, Moscow, 127473

https://orcid.org/0000-0002-5331-632XБрагинА. А.BraginA. A.

Брагин Алексей Александрович — кандидат технических наук, начальник отдела информационных технологий

ул. Садовая-Черногрязская, 14/19, Москва, 105062

Bragin Aleksei A. — PhD in Engineering, head of the Information technology department

Sadovaya-Chernogryazskaya str., 14/19, Moscow, 105062

bragin_aa@igb.ruhttps://orcid.org/0000-0003-4530-553XЗайцеваО. В.ZaytsevaO. V.

Зайцева Ольга Владимировна — кандидат медицинских наук, заместитель директора по организационно-методической работе ФГБУ, доцент кафедры глазных болезней ФДПО ФГБОУ

ул. Садовая-Черногрязская, 14/19, Москва, 105062,

ул. Делегатская, 20, стр. 1, Москва, 127473

Zaytseva Olga V. — PhD, deputy director of Helmholtz National Medical Research Center of Eye Diseases, Associate Professor of the Department of eye diseases, Moscow State Medical Stomatological University

Sadovaya-Chernogryazskaya str., 14/19, Moscow, 105062,

Delegatskaya str., 20/1, Moscow, 127473

https://orcid.org/0000-0003-1527-9414ЯниЕ. В.YaniE. V.

Яни Елена Владимировна — кандидат медицинских наук, исполняющая обязанности начальника отдела инфекционных и аллергических заболеваний глаз, доцент кафедры непрерывного медицинского образования

ул. Садовая-Черногрязская, 14/19, Москва, 105062

Yani Elena V. — PhD, acting head of the Department of infectious and allergic eye diseases, Associate Professor of the Department of continuing medical education

Sadovaya-Chernogryazskaya str., 14/19, Moscow, 105062

ФГБУ «Национальный медицинский исследовательский центр глазных болезней имени Гельмгольца» Министерства здравоохранения Российской Федерации; ФГБОУ ВО «Московский государственный медико-стоматологический университет им. А.И. Евдокимова» Министерства здравоохранения Российской ФедерацииРоссияHelmholtz National Medical Research Center of Eye Diseases; A.I. Yevdokimov Moscow State University of Medicine and DentistryRussian FederationФГБУ «Национальный медицинский исследовательский центр глазных болезней имени Гельмгольца» Министерства здравоохранения Российской ФедерацииРоссияHelmholtz National Medical Research Center of Eye DiseasesRussian Federation202431032024211100106Copyright © Нероев В.В., Брагин А.А., Зайцева О.В., Яни Е.В., 20242024Нероев В.В., Брагин А.А., Зайцева О.В., Яни Е.В.Neroev V.V., Bragin A.A., Zaytseva O.V., Yani E.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.ophthalmojournal.com/opht/article/view/2299

Обоснование и цель исследования. Изменения сосудов глазной поверхности нередко ассоциированы с наличием различных системных или глазных заболеваний. Сегментация сосудов глазной поверхности с использованием инструментов искусственного интеллекта (ИИ) представляет высокую актуальность в аспекте повышения качества ранней диагностики. Цель работы — разработка модели сегментации капилляров глазной поверхности по снимкам с офтальмологической щелевой лампы с использованием инструментов ИИ и языка Python.

Материалы и методы

Материалы и методы. В исследовании использован датасет (700 глаз), находящийся в открытом доступе в сети Интернет и включающий в себя фотографии с офтальмологической щелевой лампы, размеченные вручную. С помощью метода аугментации данный набор для исследования увеличен в несколько раз. Система сегментации капилляров глаза на снимках с офтальмологической щелевой лампы построена на основе обученной нейронной сети Unet.

Результаты

Результаты. Основным результатом исследования является разработка алгоритма для автоматической сегментации капилляров глаз на снимках с офтальмологической щелевой лампы. Метрика в ходе обучения модели нейронной сети достигла 85 %.

Заключение

Заключение. Показаны высокая эффективность и потенциал методов ИИ при построении системы автоматической сегментации капилляров глазной поверхности на снимках в рамках разрабатываемой в ФГБУ «НМИЦ ГБ им. Гельмгольца» Минздрава России автоматизированной системы принятия врачебных решений. Данный сервис в перспективе может быть использован с целью повышения эффективности ранней диагностики и мониторинга лечения заболеваний глаз в условиях сниженной доступности первичной офтальмологической помощи на части территорий Российской Федерации, в том числе на доврачебном этапе.

Justification and purpose of the study. Changes in the vessels of the ocular surface are often associated with the presence of various systemic or ocular diseases. Segmentation of the vessels of the ocular surface using artificial intelligence (AI) tools is highly relevant in terms of improving the quality of early diagnosis of pathology. Purpose: to develop a model of segmentation of the capillaries of the ocular surface based on images from an ophthalmic slit lamp using AI tools using Python.

Materials and methods

Materials and methods. The study used a dataset (700 eyes), which is publicly available on the Internet and includes photos from an ophthalmological slit lamp, marked up manually. With the help of the augmentation method, this set for research has been increased several times. The system of segmentation of the capillaries of the eye in the images from the ophthalmological slit lamp is based on the trained neural network Unet.

Results

Results. The main result of the study is the development of an algorithm for automatic segmentation of eye capillaries in images from an ophthalmic slit lamp. The metric reached 85% during the training of the neural network model.

Conclusion

Conclusion. The high efficiency and potential of all methods in the construction of an automatic segmentation system of the capillaries of the ocular surface in the images within the framework of the developed in the Helmholtz National Medical Research Center of Eye Diseases automated system of medical decision-making. In the future, this service can be used to improve the effectiveness of early diagnosis and monitoring of treatment of eye diseases in conditions of reduced availability of primary ophthalmological care in part of the territories of the Russian Federation, including at the pre-medical stage.

глазная поверхностьвоспалительные заболевания переднего отдела глазасиндром сухого глазаваскулитискусственный интеллектдиагностикасервисocular surfaceinflammatory diseases of the anterior eyedry eye syndromevasculitisartificial intelligencediagnosticsserviceReferencesВсемирный доклад о проблемах зрения. ВОЗ; 2017. https://www.who.int/ru/news/item/08-10-2019-who-launches-first-world-report-on-visionWorld report on vision. WHO; 2017 (In Russ.). https://www.who.int/ru/news/item/08-10-2019-who-launches-first-world-report-on-visionБекетова ТВ. Современная классификация системных васкулитов. Терапевтический архив. 2014;86(5):94–98.Beketova TV. Modern classification of systemic vasculitis. Therapeutic archive. 2014;86(5):94–98 (In Russ.).Garrity JA. Ocular manifestations of small-vessel vasculitis. Clev. Clin. J. Med. 2012;79(3):31–33. doi: 10.3949/ccjm.79.s3.07.Garrity JA. Ocular manifestations of small-vessel vasculitis. Clev. Clin. J. Med. 2012;79(3):31–33. doi: 10.3949/ccjm.79.s3.07.Ausayakhun S, Louthrenoo W, Aupapong S. Ocular diseases in patients with rheumatic diseases. J. Med. Assoc. Thailand. 2002;85(8):855–862.Ausayakhun S, Louthrenoo W, Aupapong S. Ocular diseases in patients with rheumatic diseases. J. Med. Assoc. Thailand. 2002;85(8):855–862.De Smit E, O’Sullivan E, Mackey DA, Hewitt AW. Giant cell arteritis: ophthalmic manifestations of a systemic disease. Graefes Archiv J. Ophthalmologie. 2016;254(12):2291–2306. doi: 10.1007/s00417-016-3434-7.De Smit E, O’Sullivan E, Mackey DA, Hewitt AW. Giant cell arteritis: ophthalmic manifestations of a systemic disease. Graefes Archiv J. Ophthalmologie. 2016;254(12):2291–2306. doi: 10.1007/s00417-016-3434-7.Шостак НА, Клименко АА. Системные васкулиты: новое в классификации, диагностике и лечении. Клиницист. 2015;9(2):8–12. doi: 10.17650/1818-8338-2015-9-2-8-12.Shostak NA, Klimenko АА. Systemic vasculitis: new in classification, diagnosis and treatment. A clinician. 2015;9(2):8–12 (In Russ.). doi: 10.17650/1818-8338-2015-9-2-8-12.Butel N, Noel N, Touitou V, Champion E, Fardeau C, Phuc LeHoang P, Bodaghi B. Takayasu arteritis and ocular manifestations: about seven cases. Invest. Ophthalmol. Vis. Science. 2014;55:675.Butel N, Noel N, Touitou V, Champion E, Fardeau C, Phuc LeHoang P, Bodaghi B. Takayasu arteritis and ocular manifestations: about seven cases. Invest. Ophthalmol. Vis. Science. 2014;55:675.Grasland A, Pouchot J, Hachulla E, Blétry O, Papo T, Vinceneux P. Typical and atypical Cogan’s syndrome: 32 cases and review of the literature. Rhumatology (Oxford). 2004;43(8):1007–1015. doi: 10.1093/rheumatology/keh228.Grasland A, Pouchot J, Hachulla E, Blétry O, Papo T, Vinceneux P. Typical and atypical Cogan’s syndrome: 32 cases and review of the literature. Rhumatology (Oxford). 2004;43(8):1007–1015. doi: 10.1093/rheumatology/keh228.Matsuo T, Itami M, Nakagawa H, Nagayama M. The incidence and pathology of conjunctival ulceration in Behcet syndrome. Br. J. Ophthalmol. 2002;86(2):140– 143. doi: 10.1136/bjo.86.2.140.Matsuo T, Itami M, Nakagawa H, Nagayama M. The incidence and pathology of conjunctival ulceration in Behcet syndrome. Br. J. Ophthalmol. 2002;86(2):140– 143. doi: 10.1136/bjo.86.2.140.Шейх ЖВ, Нуднов НВ, Кармазановский ГГ, Асланиди ИП, Дунаев АП. Системные васкулиты: возможности современной медицинской визуализации: учебное пособие. М.: Крафт+; 2019.Sheikh JV, Nudnov NV, Karmazanovsky GG, Aslanidi IP, Dunaev AP. Systemic vasculitis: the possibilities of modern medical imaging: A textbook. Moscow: Крафт+; 2019 (In Russ.).Ball G, Fessler J, Bridges S. Oxford textbook of vasculitis. UK: Oxford university press; 2014.Ball G, Fessler J, Bridges S. Oxford textbook of vasculitis. UK: Oxford university press; 2014.Nataraja A, Mukhtyar C, Hellmich B, Langford C, Luqmani R. Outpatient assessment of systemic vasculitis. Best Pract Res Clin Rheumatol. 2007;21(4):713–732. doi: 10.1016/j.berh.2007.01.004.Nataraja A, Mukhtyar C, Hellmich B, Langford C, Luqmani R. Outpatient assessment of systemic vasculitis. Best Pract Res Clin Rheumatol. 2007;21(4):713–732. doi: 10.1016/j.berh.2007.01.004.Нероев ВВ, Брагин АА, Зайцева ОВ. Разработка прототипа сервиса для диагностики диабетической ретинопатии по снимкам глазного дна с использованием методов искусственного интеллекта. Национальное здравоохранение. 2021;2(2):64–72. doi: 10.47093/2713069X.2021.2.2.64-72.Neroev VV, Bragin AA, Zaitseva OV. Development of a prototype service for the diagnosis of diabetic retinopathy from fundus images using artificial intelligence methods. National health care. 2021;2(2):64–72 (In Russ.). doi: 10.47093/2713069X.2021.2.2.64-72.Koyama A, Miyazaki D, Nakagawa Y, Ayatsuka Y, Miyake H, Ehara F, Shin ichi Sasaki S-I, Shimizu Y, Inoue Y. Determination of probability of causative pathogen in infectious keratitis using deep learning algorithm of slit-lamp images. Scientific Reports. 2021;11:22642. doi: 10.1038/s41598-021-02138-w.Koyama A, Miyazaki D, Nakagawa Y, Ayatsuka Y, Miyake H, Ehara F, Shin ichi Sasaki S-I, Shimizu Y, Inoue Y. Determination of probability of causative pathogen in infectious keratitis using deep learning algorithm of slit-lamp images. Scientific Reports. 2021;11:22642. doi: 10.1038/s41598-021-02138-w.Zhang Z, Wang H, Shigeng W, Liang Q, Zhang Y, Wang Z, Chen K, Ou Z, Liang Q. Deep learning-based classification of infectious keratitis on slit-lamp images. Ther Adv Chronic Dis. 2022;13:0406223221136071. doi: 10.1177/20406223221136071.Zhang Z, Wang H, Shigeng W, Liang Q, Zhang Y, Wang Z, Chen K, Ou Z, Liang Q. Deep learning-based classification of infectious keratitis on slit-lamp images. Ther Adv Chronic Dis. 2022;13:0406223221136071. doi: 10.1177/20406223221136071.Kuo MT, Hsu BW, Lin YS, Fang P-C, Yu H-J, Chen A, Yu M-S, Tseng VS. Comparisons of deep learning algorithms for diagnosing bacterial keratitis via external eye photographs. Sci Rep. 2021;11(1):24227. doi: 10.1038/s41598-021-03572-6.Kuo MT, Hsu BW, Lin YS, Fang P-C, Yu H-J, Chen A, Yu M-S, Tseng VS. Comparisons of deep learning algorithms for diagnosing bacterial keratitis via external eye photographs. Sci Rep. 2021;11(1):24227. doi: 10.1038/s41598-021-03572-6.Hung N, Shih AK, Lin C, Kuo M-T, HwangY-S, Wu W-C, Kuo C-F, Kang E-Y-C, Hsiao C-H. Using slit-lamp images for deep learning-based identification of bacterial and fungal keratitis: model development and validation with different convolutional neural networks. Diagnostics. 2021;11(7):1246.Hung N, Shih AK, Lin C, Kuo M-T, HwangY-S, Wu W-C, Kuo C-F, Kang E-Y-C, Hsiao C-H. Using slit-lamp images for deep learning-based identification of bacterial and fungal keratitis: model development and validation with different convolutional neural networks. Diagnostics. 2021;11(7):1246.Джулли А, Пал С. Библиотека Keras — инструмент глубокого обучения. М.: ДМК Пресс; 2017:294.Julli A, Pal S. Deep learning with Keras. Moscow: DMK Press, 2017: 294 (In Russ.).He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. Proceedings of the IEEE conference on computer vision and pattern recognition. 2016:770–778.He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. Proceedings of the IEEE conference on computer vision and pattern recognition. 2016:770–778.Faust O, Acharya RU, Ng EYK, Ng KH, Suri JS. Algorithms for the automated detection of diabetic retinopathy using digital fundus images: a review. Journal of Medical Systems. 2012;36(1):145–157. doi: 10.1007/s10916-010-9454-7.Faust O, Acharya RU, Ng EYK, Ng KH, Suri JS. Algorithms for the automated detection of diabetic retinopathy using digital fundus images: a review. Journal of Medical Systems. 2012;36(1):145–157. doi: 10.1007/s10916-010-9454-7.Kirbas C, Quek F. A review of vessel extraction techniques and algorithms. ACM Computing Surveys (CSUR). 2004;36(2):81–121. doi: 10.1145/1031120.1031121.Kirbas C, Quek F. A review of vessel extraction techniques and algorithms. ACM Computing Surveys (CSUR). 2004;36(2):81–121. doi: 10.1145/1031120.1031121.Ricci E, Perfetti R. Retinal Blood Vessel Segmentation Using Line Operators and Support Vector Classification. IEEE Transactions on Medical Imaging. 2007;26(10):1357– 1365. doi: 10.1109/TMI.2007.898551.Ricci E, Perfetti R. Retinal Blood Vessel Segmentation Using Line Operators and Support Vector Classification. IEEE Transactions on Medical Imaging. 2007;26(10):1357– 1365. doi: 10.1109/TMI.2007.898551.Fraz MM, Remagnino P, Hoppe A, Uyyanonvara B, Rudnicka AR, Owenc CG. Blood vessel segmentation methodologies in retinal images—A survey. Computer Methods and Programs in Biomedicine. 2012;108(1):407–433. doi: 10.1016/j.cmpb.2012.03.009.Fraz MM, Remagnino P, Hoppe A, Uyyanonvara B, Rudnicka AR, Owenc CG. Blood vessel segmentation methodologies in retinal images—A survey. Computer Methods and Programs in Biomedicine. 2012;108(1):407–433. doi: 10.1016/j.cmpb.2012.03.009.Chutatape O, Member S, Zheng L, Krishnan SM. Retinal blood vessel detection and tracking by matched Gaussian and Kalman filters. Proceedings of the 20th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. 1998;20(6):3144–3149.Chutatape O, Member S, Zheng L, Krishnan SM. Retinal blood vessel detection and tracking by matched Gaussian and Kalman filters. Proceedings of the 20th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. 1998;20(6):3144–3149.

The authors declare that there are no conflicts of interest present.