{
"cells": [
{
"cell_type": "code",
"execution_count": 9,
"id": "62cc3a71-4ba6-4af5-b5d9-0e9c6aaed4f0",
"metadata": {},
"outputs": [],
"source": [
"import pandas as pd\n",
"import numpy as np\n",
"\n",
"from sklearn.datasets import load_iris\n",
"from sklearn.feature_selection import SelectKBest, chi2, RFE\n",
"from sklearn.linear_model import LogisticRegression\n",
"from sklearn.ensemble import RandomForestClassifier\n",
"from sklearn.model_selection import train_test_split, GridSearchCV\n",
"from sklearn.preprocessing import StandardScaler, LabelEncoder\n",
"from sklearn.tree import DecisionTreeClassifier\n",
"from sklearn.svm import SVC\n",
"from sklearn.naive_bayes import GaussianNB\n",
"from sklearn.neighbors import KNeighborsClassifier\n",
"from sklearn.metrics import classification_report, accuracy_score\n",
"from sklearn.metrics import (\n",
" confusion_matrix,\n",
" accuracy_score,\n",
" precision_score,\n",
" recall_score,\n",
" f1_score,\n",
" classification_report )\n",
"\n",
"import matplotlib.pyplot as plt\n",
"import seaborn as sns"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "66998999-d12e-44fa-a7ba-172ae902bf28",
"metadata": {},
"outputs": [],
"source": [
"Reading dataset"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "6b0aeb11-79a2-4b75-8784-74cb1a037e7d",
"metadata": {},
"outputs": [],
"source": [
"#Handling outliers"
]
},
{
"cell_type": "code",
"execution_count": 77,
"id": "2d0178dc-e1de-431f-b9be-d98f39ab8c71",
"metadata": {},
"outputs": [
{
"data": {
"text/html": [
"\n",
"\n",
"
\n",
" \n",
" \n",
" | \n",
" age | \n",
" bp | \n",
" sg | \n",
" al | \n",
" su | \n",
" pc | \n",
" pcc | \n",
" ba | \n",
" bgr | \n",
" bu | \n",
" ... | \n",
" hemo | \n",
" pcv | \n",
" wc | \n",
" htn | \n",
" dm | \n",
" cad | \n",
" appet | \n",
" pe | \n",
" ane | \n",
" classification | \n",
"
\n",
" \n",
" \n",
" \n",
" | 0 | \n",
" 48.0 | \n",
" 80.0 | \n",
" 1.020 | \n",
" 1.0 | \n",
" 0.0 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 121.000000 | \n",
" 36.0 | \n",
" ... | \n",
" 15.4 | \n",
" 32 | \n",
" 72 | \n",
" 1 | \n",
" 4 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 0 | \n",
" 0 | \n",
"
\n",
" \n",
" | 1 | \n",
" 7.0 | \n",
" 50.0 | \n",
" 1.020 | \n",
" 4.0 | \n",
" 0.0 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 147.943503 | \n",
" 18.0 | \n",
" ... | \n",
" 11.3 | \n",
" 26 | \n",
" 56 | \n",
" 0 | \n",
" 3 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 0 | \n",
" 0 | \n",
"
\n",
" \n",
" | 2 | \n",
" 62.0 | \n",
" 80.0 | \n",
" 1.010 | \n",
" 2.0 | \n",
" 3.0 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 423.000000 | \n",
" 53.0 | \n",
" ... | \n",
" 9.6 | \n",
" 19 | \n",
" 70 | \n",
" 0 | \n",
" 4 | \n",
" 1 | \n",
" 1 | \n",
" 0 | \n",
" 1 | \n",
" 0 | \n",
"
\n",
" \n",
" | 3 | \n",
" 48.0 | \n",
" 70.0 | \n",
" 1.005 | \n",
" 4.0 | \n",
" 0.0 | \n",
" 0 | \n",
" 1 | \n",
" 0 | \n",
" 117.000000 | \n",
" 56.0 | \n",
" ... | \n",
" 11.2 | \n",
" 20 | \n",
" 62 | \n",
" 1 | \n",
" 3 | \n",
" 1 | \n",
" 1 | \n",
" 1 | \n",
" 1 | \n",
" 0 | \n",
"
\n",
" \n",
" | 4 | \n",
" 51.0 | \n",
" 80.0 | \n",
" 1.010 | \n",
" 2.0 | \n",
" 0.0 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 106.000000 | \n",
" 26.0 | \n",
" ... | \n",
" 11.6 | \n",
" 23 | \n",
" 68 | \n",
" 0 | \n",
" 3 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 0 | \n",
" 0 | \n",
"
\n",
" \n",
"
\n",
"
5 rows × 23 columns
\n",
"
\n",
"\n",
"
\n",
" \n",
" \n",
" | \n",
" age | \n",
" bp | \n",
" sg | \n",
" al | \n",
" su | \n",
" pc | \n",
" pcc | \n",
" ba | \n",
" bgr | \n",
" bu | \n",
" ... | \n",
" hemo | \n",
" pcv | \n",
" wc | \n",
" htn | \n",
" dm | \n",
" cad | \n",
" appet | \n",
" pe | \n",
" ane | \n",
" classification | \n",
"
\n",
" \n",
" \n",
" \n",
" | 0 | \n",
" 48.0 | \n",
" 80.0 | \n",
" 1.020 | \n",
" 1.0 | \n",
" 0.0 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 121.000000 | \n",
" 36.0 | \n",
" ... | \n",
" 15.4 | \n",
" 32 | \n",
" 72 | \n",
" 1 | \n",
" 4 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 0 | \n",
" 0 | \n",
"
\n",
" \n",
" | 1 | \n",
" 7.0 | \n",
" 50.0 | \n",
" 1.020 | \n",
" 4.0 | \n",
" 0.0 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 147.943503 | \n",
" 18.0 | \n",
" ... | \n",
" 11.3 | \n",
" 26 | \n",
" 56 | \n",
" 0 | \n",
" 3 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 0 | \n",
" 0 | \n",
"
\n",
" \n",
" | 2 | \n",
" 62.0 | \n",
" 80.0 | \n",
" 1.010 | \n",
" 2.0 | \n",
" 3.0 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 423.000000 | \n",
" 53.0 | \n",
" ... | \n",
" 9.6 | \n",
" 19 | \n",
" 70 | \n",
" 0 | \n",
" 4 | \n",
" 1 | \n",
" 1 | \n",
" 0 | \n",
" 1 | \n",
" 0 | \n",
"
\n",
" \n",
" | 3 | \n",
" 48.0 | \n",
" 70.0 | \n",
" 1.005 | \n",
" 4.0 | \n",
" 0.0 | \n",
" 0 | \n",
" 1 | \n",
" 0 | \n",
" 117.000000 | \n",
" 56.0 | \n",
" ... | \n",
" 11.2 | \n",
" 20 | \n",
" 62 | \n",
" 1 | \n",
" 3 | \n",
" 1 | \n",
" 1 | \n",
" 1 | \n",
" 1 | \n",
" 0 | \n",
"
\n",
" \n",
" | 4 | \n",
" 51.0 | \n",
" 80.0 | \n",
" 1.010 | \n",
" 2.0 | \n",
" 0.0 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 106.000000 | \n",
" 26.0 | \n",
" ... | \n",
" 11.6 | \n",
" 23 | \n",
" 68 | \n",
" 0 | \n",
" 3 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 0 | \n",
" 0 | \n",
"
\n",
" \n",
" | ... | \n",
" ... | \n",
" ... | \n",
" ... | \n",
" ... | \n",
" ... | \n",
" ... | \n",
" ... | \n",
" ... | \n",
" ... | \n",
" ... | \n",
" ... | \n",
" ... | \n",
" ... | \n",
" ... | \n",
" ... | \n",
" ... | \n",
" ... | \n",
" ... | \n",
" ... | \n",
" ... | \n",
" ... | \n",
"
\n",
" \n",
" | 393 | \n",
" 55.0 | \n",
" 80.0 | \n",
" 1.020 | \n",
" 0.0 | \n",
" 0.0 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 140.000000 | \n",
" 49.0 | \n",
" ... | \n",
" 15.7 | \n",
" 35 | \n",
" 62 | \n",
" 0 | \n",
" 3 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 0 | \n",
" 1 | \n",
"
\n",
" \n",
" | 394 | \n",
" 42.0 | \n",
" 70.0 | \n",
" 1.025 | \n",
" 0.0 | \n",
" 0.0 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 75.000000 | \n",
" 31.0 | \n",
" ... | \n",
" 16.5 | \n",
" 42 | \n",
" 72 | \n",
" 0 | \n",
" 3 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 0 | \n",
" 1 | \n",
"
\n",
" \n",
" | 395 | \n",
" 12.0 | \n",
" 80.0 | \n",
" 1.020 | \n",
" 0.0 | \n",
" 0.0 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 100.000000 | \n",
" 26.0 | \n",
" ... | \n",
" 15.8 | \n",
" 37 | \n",
" 61 | \n",
" 0 | \n",
" 3 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 0 | \n",
" 1 | \n",
"
\n",
" \n",
" | 396 | \n",
" 17.0 | \n",
" 60.0 | \n",
" 1.025 | \n",
" 0.0 | \n",
" 0.0 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 114.000000 | \n",
" 50.0 | \n",
" ... | \n",
" 14.2 | \n",
" 39 | \n",
" 67 | \n",
" 0 | \n",
" 3 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 0 | \n",
" 1 | \n",
"
\n",
" \n",
" | 397 | \n",
" 58.0 | \n",
" 80.0 | \n",
" 1.025 | \n",
" 0.0 | \n",
" 0.0 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 131.000000 | \n",
" 18.0 | \n",
" ... | \n",
" 15.8 | \n",
" 41 | \n",
" 63 | \n",
" 0 | \n",
" 3 | \n",
" 1 | \n",
" 0 | \n",
" 0 | \n",
" 0 | \n",
" 1 | \n",
"
\n",
" \n",
"
\n",
"
398 rows × 23 columns
\n",
"
\n",
"\n",
"
\n",
" \n",
" \n",
" | \n",
" age | \n",
" bp | \n",
" sg | \n",
" al | \n",
" su | \n",
" pc | \n",
" pcc | \n",
" ba | \n",
" bgr | \n",
" bu | \n",
" ... | \n",
" hemo | \n",
" pcv | \n",
" wc | \n",
" htn | \n",
" dm | \n",
" cad | \n",
" appet | \n",
" pe | \n",
" ane | \n",
" classification | \n",
"
\n",
" \n",
" \n",
" \n",
" | count | \n",
" 398.000000 | \n",
" 398.000000 | \n",
" 398.000000 | \n",
" 398.000000 | \n",
" 398.000000 | \n",
" 398.000000 | \n",
" 398.000000 | \n",
" 398.000000 | \n",
" 398.000000 | \n",
" 398.000000 | \n",
" ... | \n",
" 398.000000 | \n",
" 398.000000 | \n",
" 398.000000 | \n",
" 398.000000 | \n",
" 398.000000 | \n",
" 398.000000 | \n",
" 398.000000 | \n",
" 398.000000 | \n",
" 398.000000 | \n",
" 398.000000 | \n",
"
\n",
" \n",
" | mean | \n",
" 51.395887 | \n",
" 76.502591 | \n",
" 1.017429 | \n",
" 1.014164 | \n",
" 0.451429 | \n",
" 0.972362 | \n",
" 0.123116 | \n",
" 0.075377 | \n",
" 147.943503 | \n",
" 57.512401 | \n",
" ... | \n",
" 12.534582 | \n",
" 29.851759 | \n",
" 64.374372 | \n",
" 0.374372 | \n",
" 3.306533 | \n",
" 1.090452 | \n",
" 0.206030 | \n",
" 0.195980 | \n",
" 0.153266 | \n",
" 0.376884 | \n",
"
\n",
" \n",
" | std | \n",
" 16.972717 | \n",
" 13.483687 | \n",
" 0.005370 | \n",
" 1.274561 | \n",
" 1.031829 | \n",
" 0.591067 | \n",
" 0.358303 | \n",
" 0.300036 | \n",
" 74.936192 | \n",
" 49.366667 | \n",
" ... | \n",
" 2.719296 | \n",
" 10.508753 | \n",
" 28.197630 | \n",
" 0.494857 | \n",
" 0.590869 | \n",
" 0.320358 | \n",
" 0.411134 | \n",
" 0.403741 | \n",
" 0.367615 | \n",
" 0.485216 | \n",
"
\n",
" \n",
" | min | \n",
" 2.000000 | \n",
" 50.000000 | \n",
" 1.005000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 22.000000 | \n",
" 1.500000 | \n",
" ... | \n",
" 3.100000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
"
\n",
" \n",
" | 25% | \n",
" 42.000000 | \n",
" 70.000000 | \n",
" 1.015000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 1.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 101.000000 | \n",
" 27.250000 | \n",
" ... | \n",
" 10.900000 | \n",
" 22.000000 | \n",
" 49.000000 | \n",
" 0.000000 | \n",
" 3.000000 | \n",
" 1.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
"
\n",
" \n",
" | 50% | \n",
" 54.000000 | \n",
" 78.251295 | \n",
" 1.017429 | \n",
" 0.500000 | \n",
" 0.000000 | \n",
" 1.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 125.000000 | \n",
" 44.000000 | \n",
" ... | \n",
" 12.534582 | \n",
" 30.000000 | \n",
" 71.000000 | \n",
" 0.000000 | \n",
" 3.000000 | \n",
" 1.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
"
\n",
" \n",
" | 75% | \n",
" 64.000000 | \n",
" 80.000000 | \n",
" 1.020000 | \n",
" 2.000000 | \n",
" 0.451429 | \n",
" 1.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 150.000000 | \n",
" 60.750000 | \n",
" ... | \n",
" 14.675000 | \n",
" 39.000000 | \n",
" 92.000000 | \n",
" 1.000000 | \n",
" 4.000000 | \n",
" 1.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 0.000000 | \n",
" 1.000000 | \n",
"
\n",
" \n",
" | max | \n",
" 90.000000 | \n",
" 180.000000 | \n",
" 1.025000 | \n",
" 5.000000 | \n",
" 5.000000 | \n",
" 2.000000 | \n",
" 2.000000 | \n",
" 2.000000 | \n",
" 490.000000 | \n",
" 391.000000 | \n",
" ... | \n",
" 17.800000 | \n",
" 44.000000 | \n",
" 92.000000 | \n",
" 2.000000 | \n",
" 5.000000 | \n",
" 3.000000 | \n",
" 2.000000 | \n",
" 2.000000 | \n",
" 2.000000 | \n",
" 1.000000 | \n",
"
\n",
" \n",
"
\n",
"
8 rows × 23 columns
\n",
"
\n",
"\n",
"
\n",
" \n",
" \n",
" | \n",
" Feature | \n",
" Score | \n",
"
\n",
" \n",
" \n",
" \n",
" | 0 | \n",
" age | \n",
" 89.667221 | \n",
"
\n",
" \n",
" | 1 | \n",
" bp | \n",
" 61.592245 | \n",
"
\n",
" \n",
" | 2 | \n",
" sg | \n",
" 0.004780 | \n",
"
\n",
" \n",
" | 3 | \n",
" al | \n",
" 187.744741 | \n",
"
\n",
" \n",
" | 4 | \n",
" su | \n",
" 94.643703 | \n",
"
\n",
" \n",
" | 5 | \n",
" pc | \n",
" 1.552639 | \n",
"
\n",
" \n",
" | 6 | \n",
" pcc | \n",
" 9.764294 | \n",
"
\n",
" \n",
" | 7 | \n",
" ba | \n",
" 2.569833 | \n",
"
\n",
" \n",
" | 8 | \n",
" bgr | \n",
" 2339.941276 | \n",
"
\n",
" \n",
" | 9 | \n",
" bu | \n",
" 1876.856436 | \n",
"
\n",
" \n",
" | 10 | \n",
" sc | \n",
" 292.499959 | \n",
"
\n",
" \n",
" | 11 | \n",
" sod | \n",
" 24.497481 | \n",
"
\n",
" \n",
" | 12 | \n",
" pot | \n",
" 5.604887 | \n",
"
\n",
" \n",
" | 13 | \n",
" hemo | \n",
" 95.418799 | \n",
"
\n",
" \n",
" | 14 | \n",
" pcv | \n",
" 120.593956 | \n",
"
\n",
" \n",
" | 15 | \n",
" wc | \n",
" 80.785317 | \n",
"
\n",
" \n",
" | 16 | \n",
" htn | \n",
" 59.190424 | \n",
"
\n",
" \n",
" | 17 | \n",
" dm | \n",
" 4.341060 | \n",
"
\n",
" \n",
" | 18 | \n",
" cad | \n",
" 0.754929 | \n",
"
\n",
" \n",
" | 19 | \n",
" appet | \n",
" 42.326531 | \n",
"
\n",
" \n",
" | 20 | \n",
" pe | \n",
" 37.346939 | \n",
"
\n",
" \n",
" | 21 | \n",
" ane | \n",
" 29.255102 | \n",
"
\n",
" \n",
"
\n",
"