Comparable performance of machine learning algorithms in predicting readmission and complications following total joint arthroplasty with external validation

Shaikh, Hashim J. F.; Botros, Mina; Ramirez, Gabriel; Thirukumaran, Caroline P.; Ricciardi, Benjamin; Myers, Thomas G.

doi:10.1186/s42836-023-00208-0

Table 4 Validation and calibration on 15% of untrained data

From: Comparable performance of machine learning algorithms in predicting readmission and complications following total joint arthroplasty with external validation

		Accuracy				Recall				Precision				AUROC
Outcome	Model	M	SD	LB	UB	M	SD	LB	UB	M	SD	LB	UB	M	SD	LB	UB
90-D Composite Complications	AB	0.86	0.001	0.86	0.87	0.57	0.001	0.57	0.58	0.08	0.000	0.07	0.08	0.72	0.14	0.000	0.13
	Xg Boost	0.74	0.002	0.74	0.75	0.65	0.002	0.64	0.65	0.003	0.000	0.003	0.003	0.70	0.01	0.000	0.01
	LR	0.81	0.008	0.79	0.83	0.35	0.008	0.34	0.37	0.06	0.001	0.061	0.067	0.59	0.107	0.002	0.10
	RF	0.80	0.001	0.80	0.81	0.40	0.001	0.39	0.40	0.11	0.000	0.113	0.114	0.62	0.18	0.001	0.17
	SVM	0.63	0.009	0.63	0.64	0.59	0.006	0.58	0.59	0.03	0.001	0.03	0.03	0.61	0.01	0.61	0.61
	1 LAYER NN	0.88	0.21	0.87	0.89	0.23	0.28	0.21	0.24	0.04	0.060	0.03	0.04	0.56	0.07	0.56	0.56
	5 LAYER NN	0.88	0.21	0.87	0.90	0.22	0.28	0.20	0.24	0.04	0.07	0.03	0.04	0.56	0.07	0.55	0.56
30-D Mortality	AB	0.76	0.002	0.75	0.77	0.66	0.002	0.65	0.66	0.05	0.000	0.050	0.051	0.71	0.09	0.001	0.09
	Xg Boost	0.74	0.001	0.74	0.75	0.67	0.002	0.66	0.67	0.003	0.000	0.003	0.003	0.70	0.005	0.000	0.09
	LR	0.60	0.004	0.59	0.61	0.61	0.003	0.60	0.62	0.05	0.000	0.046	0.047	0.61	0.09	0.001	0.085
	RF	0.61	0.001	0.61	0.62	0.62	0.001	0.61	0.62	0.08	0.000	0.079	0.080	0.62	0.14	0.000	0.14
	SVM	0.09	0.66	0.67	0.68	0.72	0.07	0.72	0.73	0.00	0.000	0.00	0.00	0.69	0.03	0.69	0.70
	1 LAYER NN	0.89	0.22	0.88	0.91	0.30	0.34	0.28	0.32	0.00	0.006	0.00	0.00	0.60	0.12	0.59	0.60
	5 LAYER NN	0.89	0.22	0.88	0.91	0.29	0.34	0.27	0.31	0.00	0.006	0.00	0.00	0.59	0.12	0.59	0.60
30-D Readmission	AB	0.88	0.001	0.88	0.88	0.57	0.001	0.56	0.57	0.09	0.000	0.087	0.089	0.73	0.153	0.000	0.15
	Xg Boost	0.95	0.000	0.95	0.95	0.33	0.001	0.32	0.33	0.01	0.000	0.007	0.007	0.64	0.01	0.000	0.01
	LR	0.84	0.001	0.84	0.85	0.32	0.002	0.31	0.32	0.07	0.000	0.069	0.070	0.59	0.11	0.000	0.11
	RF	0.82	0.001	0.81	0.82	0.39	0.002	0.38	0.39	0.12	0.000	0.11	0.12	0.62	0.18	0.001	0.18
	SVM	0.62	0.03	0.61	0.63	0.60	0.009	0.60	0.61	0.05	0.003	0.05	0.05	0.61	0.02	0.60	0.62
	1 LAYER NN	0.87	0.21	0.86	0.88	0.16	0.25	0.15	0.18	0.03	0.05	0.03	0.04	0.53	0.04	0.53	0.53
	5 LAYER NN	0.87	0.21	0.86	0.89	0.16	0.25	0.14	0.18	0.03	0.05	0.03	0.04	0.53	0.04	0.53	0.53
90-D Readmission	AB	0.87	0.001	0.86	0.87	0.58	0.001	0.57	0.58	0.08	0.000	0.081	0.083	0.73	0.14	0.001	0.14
	Xg Boost	0.77	0.001	0.77	0.78	0.69	0.001	0.68	0.69	0.003	0.000	0.003	0.003	0.73	0.01	0.000	0.01
	LR	0.78	0.01	0.75	0.81	0.41	0.02	0.38	0.44	0.06	0.001	0.05	0.06	0.60	0.10	0.001	0.10
	RF	0.75	0.01	0.72	0.77	0.46	0.02	0.43	0.50	0.10	0.001	0.09	0.10	0.61	0.16	0.001	0.16
	SVM	0.62	0.03	0.61	0.63	0.62	0.03	0.60	0.63	0.08	0.01	0.08	0.08	0.61	0.02	0.60	0.62
	1 LAYER NN	0.87	0.20	0.86	0.88	0.16	0.24	0.15	0.18	0.05	0.06	0.05	0.06	0.53	0.04	0.53	0.53
	5 LAYER NN	0.86	0.20	0.85	0.87	0.16	0.25	0.14	0.17	0.05	0.07	0.05	0.06	0.53	0.04	0.53	0.53

LR Logistic regression, AB Adaptive boosting, Xg Boost gradient boosting, RF Random forest, SVM Support vector machine, NN a 1-layer neural network and a 5 layered NN

Back to article page

ISSN: 2524-7948

Contact us

Submission enquiries: Access here and click Contact Us

Arthroplasty

Contact us