Assessing the Prediction Quality of the Anti-SARS-CoV-2 Activity Using the D3Targets-2019-nCoV Web Service

Autor: Ionov, N.S., Pogodin, P.V., Poroikov, V.V.
Jazyk: angličtina
Rok vydání: 2020
Předmět:
Zdroj: Biomedical Chemistry: Research and Methods
Popis: The D3Targets-2019-nCoV web service predicting the interaction of chemical compounds with SARS-CoV-2 virus proteins and human proteins involved in the pathogenesis of COVID-19 by structural similarity and molecular docking was evaluated. The quality of the prediction was assessed as a balanced accuracy, which was calculated based on the results of the prediction for the structures of chemical compounds from the test set we compiled. The test set consisted of 35 active and 59 inactive molecules, including compounds with the experimetnaly confirmed absence of activity against the selected targets and compounds active against SARS-CoV-2 targets, not presented in the CoViLigands database. The authors of the analyzed web service did not indicate the thresholds for the values of the similarity score and the docking scoring function, using which it would be possible to reliably divide the compounds into active and inactive with respect to target proteins. Therefore, we assessed the balanced accuracy of the predictive methods D3Targets-2019-nCoV at various thresholds for cutting off active substances from inactive ones. Using our test set it was found that the highest value of balanced accuracy (0.59) was achieved when choosing active molecules based on the results of 2D similarity assessment (cutoff threshold was 46%). Assessment of 3D similarity did not allow achieving balanced accuracy values exceeding 0.5. It is shown that using the 2Dх3D integral similarity assessment recommended by the authors, the maximum value of the balanced accuracy 0.57 was achieved at a threshold of 31%. The calculated balanced accuracy for molecular docking results does not exceed 0.51. On the case study for the tideglusib, it was shown that the values of the scoring function for two target proteins, the activity against which was confirmed in the experiment (3CLpro and GSK3B), do not differ significantly from the values of the scoring function for the remaining 44 targets were not confirmed.
Проведена оценка веб-сервиса D3Targets-2019-nCoV, позволяющего на основании структурного сходства и молекулярного докинга предсказывать взаимодействие химических соединений с белками вируса SARS-CoV-2 и белками человека, вовлеченными в патогенез COVID-19. Качество прогноза оценено как сбалансированная точность, которая была рассчитана по результатам прогноза для структур химических соединений из сформированной нами тестовой выборки. В тестовую выборку вошло 35 активных и 59 неактивных молекул, включающих в себя соединения с установленным отсутствием активности в отношении выбранных мишеней и соединения, активные по отношению к мишеням SARS-CoV-2, не представленным в базе данных CoViLigands. Авторами анализируемого веб-сервиса не указаны пороги значений оценки сходства и оценочной функции докинга, используя которые можно было бы достоверно разделить соединения на активные и неактивные по отношению к белкам-мишеням. Поэтому нами была проведена оценка сбалансированной точности прогностических методов D3Targets-2019-nCoV при различных порогах отсечения активных веществ от неактивных. С использованием сформированной нами выборки установлено, что наибольшее значение сбалансированной точности (0.59) достигается при выборе активных молекул по результатам оценки 2D сходства (порог отсечения равен 46%). Оценка 3D сходства не позволила достичь значений сбалансированной точности, превышающих 0.5. Показано, что при использовании рекомендуемой авторами интегральной оценки сходства 2Dх3D, максимальное значение сбалансированной точности (0.57) достигается при пороге, равном 31%. При расчёте сбалансированной точности для результатов молекулярного докинга показано, что она не превышает 0.51. На примере препарата тидеглусиб показано, что значения оценочной функции при докинге к двум белкам-мишеням, активность в отношении которых установлена в эксперименте (3CLpro и GSK3B), существенно не отличаются от значений оценочной функции докинга к остальным 44 белкам-мишеням, активность в отношении которых не подтверждена экспериментально.
Databáze: OpenAIRE
Externí odkaz: