Внедрение искусственного интеллекта в речи (голосового ввода) в условиях высокопотокового эндоскопического центра

Искусственный интеллект (ИИ) и цифровизация используются во всех сферах жизни, в том числе и в медицине: при постановке диагнозов, в работе с пациентами, в создании и использовании Электронной Медицинской Карты (ЭМК) для быстрого и доступного документооборота. Неоднократно предпринимались попытки облегчить работу и с медицинскими протоколами. Перспективным направлением в этой сфере являются технологии, связанные с распознаванием речи. Целью научно-исследовательской работы стала оптимизация времени написания протокола при помощи голосового ввода. Объектом исследования явился шаблонный протокол эндоскопического исследования. Данная работа проводилась на базе 2х крупных эндоскопических центров г. Москвы, созданных в рамках пилотного проекта ДЗМ в рамках программы скрининга колоректального рака (КРР) в РФ в 2021 г. Для заполнения протокола исследования использовалось программное обеспечение (ПО) Центра речевых технологий (ЦРТ) Voice2Med. При помощи математических расчетов были созданы 4 метрики для оценки работы ПО: время формирования протокола; доля времени формирования протокола от проведения исследования; уровень точности распознавания речи; удовлетворенность врачей при работе с технологией. Разработаны стандартизированные шаблоны протоколов для различных нозологий, связанные с голосовыми командами; медицинский тезаурус. В ходе работы исследовалась и усовершенствовалась точность распознавания речи. Были проведены контрольные замеры времени написания протокола. Получены результаты оценки использования технологии врачами-эндоскопистами - время формирования протокола уменьшилось на 29%, оценка работы ПО врачами-эндоскопистами была положительной. Таким образом, применение речевых технологий, связанных с формированием протокола врача «с голоса» является перспективным направлением дальнейшего развития IT- сферы в практической медицине.

технологии распознавания речи, распознавание речи, автоматическое распознавание речи, клиническая документация

1. Roman L.C., Ancker J.S., Johnson S.B., Senathirajah Y. Navigation in the electronic health record: A review of the safety and usability literature. J Biomed Inform. 2017 Mar;67:69-79. doi: 10.1016/j.jbi.2017.01.005.

2. Hodgson T, Magrabi F, Coiera E. Evaluating the usability of speech recognition to create clinical documentation using a commercial electronic health record.Int J Med Inform. 2018 May;113:38-42. doi: 10.1016/j.ijmedinf.2018.02.011.

3. Orken M, Dina O, Keylan A, Tolganay T, Mohamed O. A study of transformer-based end-to-end speech recognition system for Kazakh language. Sci Rep. 2022 May 18;12(1):8337. doi: 10.1038/s41598-022-12260-y.

4. Kim K.H., Hong K.J., Shin S.D., Ro Y.S., Song K.J., Kim T.H., Park J.H., Jeong J. How do people think about the implementation of speech and video recognition technology in emergency medical practice? PLoS One. 2022 Sep 23;17(9): e0275280. doi: 10.1371/journal.pone.0275280.

5. Payne T.H., Alonso W.D., Markiel J.A., Lybarger K., White A.A. Using voice to create hospital progress notes: Description of a mobile application and supporting system integrated with a commercial electronic health record. J Biomed Inform. 2018 Jan;77:91-96. doi: 10.1016/j.jbi.2017.12.004.

6. Ratwani R, Fairbanks T, Savage E, Adams K, Wittie M, Boone E, Hayden A, Barnes J, Hettinger Z, Gettinger A. Mind the Gap. A systematic review to identify usability and safety challenges and practices during electronic health record implementation. Appl Clin Inform. 2016 Nov 16;7(4):1069-1087. doi: 10.4338/ACI-2016-06-R-0105.

7. Zhang J, Wu J, Qiu Y, Song A, Li W, Li X, Liu Y.Intelligent speech technologies for transcription, disease diagnosis, and medical equipment interactive control in smart hospitals: A review.Comput Biol Med. 2023 Feb;153:106517. doi: 10.1016/j.compbiomed.2022.106517.

8. Duncan B.J., Zheng L., Furniss S.K., Solomon A.J., Doebbeling B.N., Grando G., Burton M.M., Poterack K.A., Miksch T.A., Helmers R.A., Kaufman D.R. In Search of Vital Signs: A Comparative Study of EHR Documentation. AMIA Annu Symp Proc. 2018 Dec 5;2018:1233-1242.

9. Ghatnekar S, Faletsky A, Nambudiri VE. Digital scribe utility and barriers to implementation in clinical practice: a scoping review. Health Technol (Berl). 2021;11(4):803-809. doi: 10.1007/s12553-021-00568-0.

10. Hultman G, Marquard J, Arsoniadis E, Mink P, Rizvi R, Ramer T, Khairat S, Fickau K, Melton GB. Usability Testing of Two Ambulatory EHR Navigators. Appl Clin Inform. 2016 Jun 15;7(2):502-15. doi: 10.4338/ACI-2015-10-RA-0129.

11. Tsou AY, Lehmann CU, Michel J, Solomon R, Possanza L, Gandhi T. Safe Practices for Copy and Paste in the EHR. Systematic Review, Recommendations, and Novel Model for Health IT Collaboration. Appl Clin Inform. 2017 Jan 11;8(1):12-34. doi: 10.4338/ACI-2016-09-R-0150.

12. Sang Y, Chen X. Human-computer interactive physical education teaching method based on speech recognition engine technology. Front Public Health. 2022 Jul 18;10:941083. doi: 10.3389/fpubh.2022.941083.

13. Robinson JR, Huth H, Jackson GP. Review of information technology for surgical patient care. J Surg Res. 2016 Jun 1;203(1):121-39. doi: 10.1016/j.jss.2016.03.053.

14. Baumann LA, Baker J, Elshaug AG. The impact of electronic health record systems on clinical documentation times: A systematic review. Health Policy. 2018 Aug;122(8):827-836. doi: 10.1016/j.healthpol.2018.05.014.

15. Kumah-Crystal Y.A., Pirtle C.J., Whyte H.M., Goode E.S., Anders S.H., Lehmann C.U. Electronic Health Record Interactions through Voice: A Review. Appl Clin Inform. 2018 Jul;9(3):541-552. doi: 10.1055/s-0038-1666844.

16. Lorkowski J, Maciejowska-Wilcock I, Pokorski M. Overload of Medical Documentation: A Disincentive for Healthcare Professionals. Adv Exp Med Biol. 2021; 1324:1-10. doi: 10.1007/5584_2020_587.

17. McAmis N.E., Dunn A.S., Feinn R.S., Bernard A.W., Trost M.J. Physician perceptions of documentation methods in electronic health records. Health Informatics J. 2021 Jan-Mar;27(1):1460458221989399. doi: 10.1177/ 1460458221989399.

18. Tran BD, Chen Y, Liu S, Zheng K. How does medical scribes’ work inform development of speech-based clinical documentation technologies? A systematic review. J Am Med Inform Assoc. 2020 May 1;27(5):808-817. doi: 10.1093/jamia/ocaa020.

19. Peivandi S, Ahmadian L, Farokhzadian J, Jahani Y. Evaluation and comparison of errors on nursing notes created by online and offline speech recognition technology and handwritten: an interventional study. BMC Med Inform Decis Mak. 2022 Apr 8;22(1):96. doi: 10.1186/s12911-022-01835-4.

20. Kim JH, Um R, Liu J, Patel J, Curry E, Aghabaglou F, Mahapatra S, Ainechi A, Tsehay Y, Ehresman J, Hwang B, Tyler B, Iyer R, Theodore N, Manbachi A. Development of a Smart Hospital Assistant: Integrating Artificial Intelligence and a Voice-User Interface for Improved Surgical Outcomes. Proc SPIE Int Soc Opt Eng. 2021 Feb;11601:116010U. doi: 10.1117/12.2580995.

21. Latif S, Qadir J, Qayyum A, Usama M, Younis S. Speech Technology for Healthcare: Opportunities, Challenges, and State of the Art. IEEE Rev Biomed Eng. 2021;14:342-356. doi: 10.1109/RBME.2020.3006860.

22. Petrushin A.V., Kovalenko A. V., Ovsyannikova A. V. Actual solutions in the diagnosis of diseases using artificial intelligence and machine learning methods. Natural and Technical Sciences. 2022;6(169): 296-305. (in Russ.) doi: 10.25633/ETN.2022.06.02. EDN: KNYGWW.@@ Петрушин А. В., Коваленко А. В., Овсянникова А. В. Актуальные решения при диагностике заболеваний с использованием методов искусственного интеллекта и машинного обучения. Естественные и технические науки. Номер: 6 (169) Год: 2022 Страницы: 296-305. doi: 10.25633/ETN.2022.06.02 EDN: KNYGWW

23. Alekseeva, M.G., Zubov, A.I., Novikov, M. Yu. Artificial intelligence in medicine.International Research Journal. 2022;7(121):10-13. (in Russ.) doi: 10.23670/IRJ.2022.121.7.038.@@ Алексеева М. Г., Зубов А. И., Новиков М. Ю. Искусственный интеллект в медицине. Международный научно-исследовательский журнал. 2022. № 7-2 (121). С. 10-13. doi: 10.23670/IRJ.2022.121.7.038.

24. Lebedev А.А., Khryashchev V. V., Kashin S. V. et al. Application of deep learning methods to support medical decision in endoscopic examination of the stomach. Modeli, sistemy, seti v ekonomike, tekhnike, prirode i obshchestve = Models, systems, networks in economics, technology, nature and society. 2021;2(38):95-106. (In Russ.) doi:10.21685/2227-8486-2021-2-6@@ Лебедев А. А., Хрящев В. В., Кашин С. В., Среднякова А. С., Казина Е. М. Применение методов глубокого обучения для поддержки врачебного решения при эндоскопическом исследовании желудка. Модели, системы, сети в экономике, технике, природе и обществе. 2021. № 2 (38). С. 95-106. DOI: 10.21685/2227-8486-2021-2-6

25. Georgiou TS. Philosophical issues of artificial intelligence and “smart” algorithms’ trust in medicine. Medical Ethics. 2021; 9(3): 40-42. (in Russ.) doi: 10.24075/medet.2021.019.@@ Георгиу Т. С. Философские вопросы искусственного интеллекта и доверия «умным» алгоритмам в медицине. Медицинская этика. 2021. Т. 9. № 3. С. 40-42. doi: 10.24075/medet.2021.019.

26. Ganin A.N., Khryaschev V. V., Kashin S. V., Zavyalov D. V. Development and testing of a medical decision support system in endoscopy. Digital Diagnostics. 2021;2(1S):5-5. (in Russ.) doi: 10.17816/DD20211s5.@@ Ганин А. Н., Хрящев В. В., Кашин С. В., Завьялов Д. В. Разработка и апробация системы поддержки принятия врачебного решения в эндоскопии. Digital Diagnostics. 2021. Т. 2. № S1. С. 5. doi: 10.17816/DD20211s5.

27. Kobrinskii B.A., Khavkin A. I., Volynets G. V. Prospects for the use of artificial intelligence systems in gastroenterology. Experimental and Clinical Gastroenterology. 2020;(7):109-117. (In Russ.) doi: 10.31146/1682-8658-ecg-179-7-109-117.@@ Кобринский Б. А., Хавкин А. И., Волынец Г. В. Перспективы применения систем искусственного интеллекта в гастроэнтерологии. Экспериментальная и клиническая гастроэнтерология. 2020. № 7 (179). С. 109-117. doi: 10.31146/1682-8658-ecg-179-7-109-117.

28. Kuznetsov P., Kakorina P., Almazov A., Medical decision support systems on the basis of artificial intelligence - strategy for the development of personalized medicine of the next stage. Therapist. 2020;(1): 48-53. (in Russ.) doi:10.33920/MED-12-2001-06.@@ Кузнецов П. П., Какорина Е. П., Алмазов А. А. Системы поддержки принятия врачебных решений на основе искусственного интеллекта - стратегия развития персонализированной медицины следующего этапа. Терапевт. 2020. № 1. С. 48-53. doi:10.33920/MED-12-2001-06.

29. Abduganieva Sh. Kh., Nikonorova M. L. Digital solutions in medicine. Crimean Journal of Experimental and Clinical Medicine. 2022, No. 2, pp.73-85. (in Russ.) doi: 10.2903912224-6444-2022-12-2-73-85.@@ Абдуганиева Ш. Х., Никонорова М. Л. Цифровые решения в медицине. // Крымский журнал экспериментальной и клинической медицины. 2022. № 2. doi: 10.2903912224-6444-2022-12-2-73-85.