Effect of ENN Hyperparameters

import Pkg;
Pkg.add(["Random", "CSV", "DataFrames", "MLJ", "Imbalance", 
         "ScientificTypes",  "Plots", "Measures", "HTTP"])

using Random
using CSV
using DataFrames
using MLJ
using Imbalance
using ScientificTypes
using Plots, Measures
using HTTP: download

Loading Data

In this example, we will consider the BMI dataset found on Kaggle where the objective is to predict the BMI index of individuals given their gender, weight and height.

CSV gives us the ability to easily read the dataset after it's downloaded as follows

datafile = download("https://raw.githubusercontent.com/JuliaAI/Imbalance.jl/dev/docs/src/examples/effect_of_k_enn/bmi.csv")
df = CSV.read(datafile, DataFrame)

# Display the first 5 rows with DataFrames
first(df, 5) |> pretty

┌─────────┬────────┬────────┬───────┐
│ Gender  │ Height │ Weight │ Index │
│ String7 │ Int64  │ Int64  │ Int64 │
│ Textual │ Count  │ Count  │ Count │
├─────────┼────────┼────────┼───────┤
│ Male    │ 174    │ 96     │ 4     │
│ Male    │ 189    │ 87     │ 2     │
│ Female  │ 185    │ 110    │ 4     │
│ Female  │ 195    │ 104    │ 3     │
│ Male    │ 149    │ 61     │ 3     │
└─────────┴────────┴────────┴───────┘

We will drop the gender attribute for purposes of visualization and to have more options for the model.

select!(df, Not(:Gender)) |> pretty

┌────────┬────────┬───────┐
│ Height │ Weight │ Index │
│ Int64  │ Int64  │ Int64 │
│ Count  │ Count  │ Count │
├────────┼────────┼───────┤
│ 174    │ 96     │ 4     │
│ 189    │ 87     │ 2     │
│ 185    │ 110    │ 4     │
│ 195    │ 104    │ 3     │
│ 149    │ 61     │ 3     │
│ 189    │ 104    │ 3     │
│ 147    │ 92     │ 5     │
│ 154    │ 111    │ 5     │
│ 174    │ 90     │ 3     │
│ 169    │ 103    │ 4     │
│ 195    │ 81     │ 2     │
│ 159    │ 80     │ 4     │
│ 192    │ 101    │ 3     │
│ 155    │ 51     │ 2     │
│ 191    │ 79     │ 2     │
│ 153    │ 107    │ 5     │
│ 157    │ 110    │ 5     │
│ 140    │ 129    │ 5     │
│ 144    │ 145    │ 5     │
│ 172    │ 139    │ 5     │
│ 157    │ 110    │ 5     │
│ 153    │ 149    │ 5     │
│ 169    │ 97     │ 4     │
│ 185    │ 139    │ 5     │
│ 172    │ 67     │ 2     │
│ 151    │ 64     │ 3     │
│ 190    │ 95     │ 3     │
│ 187    │ 62     │ 1     │
│ 163    │ 159    │ 5     │
│ 179    │ 152    │ 5     │
│ 153    │ 121    │ 5     │
│ 178    │ 52     │ 1     │
│ 195    │ 65     │ 1     │
│ 160    │ 131    │ 5     │
│ 157    │ 153    │ 5     │
│ 189    │ 132    │ 4     │
│ 197    │ 114    │ 3     │
│ 144    │ 80     │ 4     │
│ 171    │ 152    │ 5     │
│ 185    │ 81     │ 2     │
│ 175    │ 120    │ 4     │
│ 149    │ 108    │ 5     │
│ 157    │ 56     │ 2     │
│ 161    │ 118    │ 5     │
│ 182    │ 126    │ 4     │
│ 185    │ 76     │ 2     │
│ 188    │ 122    │ 4     │
│ 181    │ 111    │ 4     │
│ 161    │ 72     │ 3     │
│ 140    │ 152    │ 5     │
│ 168    │ 135    │ 5     │
│ 176    │ 54     │ 1     │
│ 163    │ 110    │ 5     │
│ 172    │ 105    │ 4     │
│ 196    │ 116    │ 4     │
│ 187    │ 89     │ 3     │
│ 172    │ 92     │ 4     │
│ 178    │ 127    │ 5     │
│ 164    │ 70     │ 3     │
│ 143    │ 88     │ 5     │
│ 191    │ 54     │ 0     │
│ 141    │ 143    │ 5     │
│ 193    │ 54     │ 0     │
│ 190    │ 83     │ 2     │
│ 175    │ 135    │ 5     │
│ 179    │ 158    │ 5     │
│ 172    │ 96     │ 4     │
│ 168    │ 59     │ 2     │
│ 164    │ 82     │ 4     │
│ 194    │ 136    │ 4     │
│ 153    │ 51     │ 2     │
│ 178    │ 117    │ 4     │
│ 141    │ 80     │ 5     │
│ 180    │ 75     │ 2     │
│ 185    │ 100    │ 3     │
│ 197    │ 154    │ 4     │
│ 165    │ 104    │ 4     │
│ 168    │ 90     │ 4     │
│ 176    │ 122    │ 4     │
│ 181    │ 51     │ 0     │
│ 164    │ 75     │ 3     │
│ 166    │ 140    │ 5     │
│ 190    │ 105    │ 3     │
│ 186    │ 118    │ 4     │
│ 168    │ 123    │ 5     │
│ 198    │ 50     │ 0     │
│ 175    │ 141    │ 5     │
│ 145    │ 117    │ 5     │
│ 159    │ 104    │ 5     │
│ 185    │ 140    │ 5     │
│ 178    │ 154    │ 5     │
│ 183    │ 96     │ 3     │
│ 194    │ 111    │ 3     │
│ 177    │ 61     │ 2     │
│ 197    │ 119    │ 4     │
│ 170    │ 156    │ 5     │
│ 142    │ 69     │ 4     │
│ 160    │ 139    │ 5     │
│ 195    │ 69     │ 1     │
│ 190    │ 50     │ 0     │
│ 199    │ 156    │ 4     │
│ 154    │ 105    │ 5     │
│ 161    │ 155    │ 5     │
│ 198    │ 145    │ 4     │
│ 192    │ 140    │ 4     │
│ 195    │ 126    │ 4     │
│ 166    │ 160    │ 5     │
│ 159    │ 154    │ 5     │
│ 181    │ 106    │ 4     │
│ 149    │ 66     │ 3     │
│ 150    │ 70     │ 4     │
│ 146    │ 157    │ 5     │
│ 190    │ 135    │ 4     │
│ 192    │ 90     │ 2     │
│ 177    │ 96     │ 4     │
│ 148    │ 60     │ 3     │
│ 165    │ 57     │ 2     │
│ 146    │ 104    │ 5     │
│ 144    │ 108    │ 5     │
│ 176    │ 156    │ 5     │
│ 168    │ 87     │ 4     │
│ 187    │ 122    │ 4     │
│ 187    │ 138    │ 4     │
│ 184    │ 160    │ 5     │
│ 158    │ 149    │ 5     │
│ 158    │ 96     │ 4     │
│ 194    │ 115    │ 4     │
│ 145    │ 79     │ 4     │
│ 182    │ 151    │ 5     │
│ 154    │ 54     │ 2     │
│ 168    │ 139    │ 5     │
│ 187    │ 70     │ 2     │
│ 158    │ 153    │ 5     │
│ 167    │ 110    │ 4     │
│ 171    │ 155    │ 5     │
│ 183    │ 150    │ 5     │
│ 190    │ 156    │ 5     │
│ 194    │ 108    │ 3     │
│ 171    │ 147    │ 5     │
│ 159    │ 124    │ 5     │
│ 169    │ 54     │ 2     │
│ 167    │ 85     │ 4     │
│ 180    │ 149    │ 5     │
│ 163    │ 123    │ 5     │
│ 140    │ 79     │ 5     │
│ 197    │ 125    │ 4     │
│ 194    │ 106    │ 3     │
│ 140    │ 146    │ 5     │
│ 195    │ 98     │ 3     │
│ 168    │ 115    │ 3     │
│ 196    │ 50     │ 0     │
│ 140    │ 52     │ 3     │
│ 150    │ 60     │ 3     │
│ 168    │ 140    │ 5     │
│ 155    │ 111    │ 5     │
│ 179    │ 103    │ 4     │
│ 182    │ 84     │ 3     │
│ 168    │ 160    │ 5     │
│ 187    │ 102    │ 3     │
│ 181    │ 105    │ 4     │
│ 199    │ 99     │ 2     │
│ 184    │ 76     │ 2     │
│ 192    │ 101    │ 3     │
│ 182    │ 143    │ 5     │
│ 172    │ 111    │ 4     │
│ 181    │ 78     │ 2     │
│ 176    │ 109    │ 4     │
│ 156    │ 106    │ 5     │
│ 151    │ 67     │ 3     │
│ 188    │ 80     │ 2     │
│ 187    │ 136    │ 4     │
│ 174    │ 138    │ 5     │
│ 167    │ 151    │ 5     │
│ 196    │ 131    │ 4     │
│ 197    │ 149    │ 4     │
│ 185    │ 119    │ 4     │
│ 170    │ 102    │ 4     │
│ 181    │ 94     │ 3     │
│ 166    │ 126    │ 5     │
│ 188    │ 100    │ 3     │
│ 162    │ 74     │ 3     │
│ 177    │ 117    │ 4     │
│ 162    │ 97     │ 4     │
│ 180    │ 73     │ 2     │
│ 192    │ 108    │ 3     │
│ 165    │ 80     │ 3     │
│ 167    │ 135    │ 5     │
│ 182    │ 84     │ 3     │
│ 161    │ 134    │ 5     │
│ 158    │ 95     │ 4     │
│ 141    │ 85     │ 5     │
│ 154    │ 100    │ 5     │
│ 165    │ 105    │ 4     │
│ 142    │ 137    │ 5     │
│ 141    │ 94     │ 5     │
│ 145    │ 108    │ 5     │
│ 157    │ 74     │ 4     │
│ 177    │ 117    │ 4     │
│ 166    │ 144    │ 5     │
│ 193    │ 151    │ 5     │
│ 184    │ 57     │ 1     │
│ 179    │ 93     │ 3     │
│ 156    │ 89     │ 4     │
│ 182    │ 104    │ 4     │
│ 145    │ 160    │ 5     │
│ 150    │ 87     │ 4     │
│ 145    │ 99     │ 5     │
│ 196    │ 122    │ 4     │
│ 191    │ 96     │ 3     │
│ 148    │ 67     │ 4     │
│ 150    │ 84     │ 4     │
│ 148    │ 155    │ 5     │
│ 153    │ 146    │ 5     │
│ 196    │ 159    │ 5     │
│ 185    │ 52     │ 0     │
│ 171    │ 131    │ 5     │
│ 143    │ 118    │ 5     │
│ 142    │ 86     │ 5     │
│ 141    │ 126    │ 5     │
│ 159    │ 109    │ 5     │
│ 173    │ 82     │ 2     │
│ 183    │ 138    │ 5     │
│ 152    │ 90     │ 4     │
│ 178    │ 140    │ 5     │
│ 188    │ 54     │ 0     │
│ 155    │ 144    │ 5     │
│ 166    │ 70     │ 3     │
│ 188    │ 123    │ 4     │
│ 171    │ 120    │ 5     │
│ 179    │ 130    │ 5     │
│ 186    │ 137    │ 4     │
│ 153    │ 78     │ 2     │
│ 184    │ 86     │ 3     │
│ 177    │ 81     │ 3     │
│ 145    │ 78     │ 4     │
│ 170    │ 81     │ 3     │
│ 181    │ 141    │ 5     │
│ 165    │ 155    │ 5     │
│ 174    │ 65     │ 2     │
│ 146    │ 110    │ 5     │
│ 178    │ 85     │ 3     │
│ 166    │ 61     │ 2     │
│ 191    │ 62     │ 1     │
│ 177    │ 155    │ 5     │
│ 183    │ 50     │ 0     │
│ 151    │ 114    │ 5     │
│ 182    │ 98     │ 3     │
│ 142    │ 159    │ 5     │
│ 188    │ 90     │ 3     │
│ 161    │ 89     │ 4     │
│ 153    │ 70     │ 3     │
│ 140    │ 143    │ 5     │
│ 169    │ 141    │ 5     │
│ 162    │ 159    │ 5     │
│ 183    │ 147    │ 5     │
│ 162    │ 58     │ 2     │
│ 172    │ 109    │ 4     │
│ 150    │ 119    │ 5     │
│ 169    │ 145    │ 5     │
│ 184    │ 132    │ 4     │
│ 159    │ 104    │ 5     │
│ 163    │ 131    │ 5     │
│ 156    │ 137    │ 5     │
│ 157    │ 52     │ 2     │
│ 147    │ 84     │ 4     │
│ 141    │ 86     │ 5     │
│ 173    │ 139    │ 5     │
│ 154    │ 145    │ 5     │
│ 168    │ 148    │ 5     │
│ 168    │ 50     │ 1     │
│ 145    │ 130    │ 5     │
│ 152    │ 103    │ 5     │
│ 187    │ 121    │ 4     │
│ 163    │ 57     │ 0     │
│ 178    │ 83     │ 3     │
│ 187    │ 94     │ 3     │
│ 179    │ 114    │ 4     │
│ 190    │ 80     │ 2     │
│ 172    │ 75     │ 3     │
│ 188    │ 57     │ 1     │
│ 193    │ 65     │ 1     │
│ 147    │ 126    │ 5     │
│ 147    │ 94     │ 5     │
│ 166    │ 107    │ 4     │
│ 192    │ 139    │ 4     │
│ 181    │ 139    │ 4     │
│ 150    │ 74     │ 4     │
│ 178    │ 160    │ 5     │
│ 156    │ 52     │ 2     │
│ 149    │ 100    │ 5     │
│ 156    │ 74     │ 4     │
│ 183    │ 105    │ 3     │
│ 162    │ 68     │ 3     │
│ 165    │ 83     │ 4     │
│ 168    │ 143    │ 5     │
│ 160    │ 156    │ 5     │
│ 169    │ 88     │ 2     │
│ 140    │ 76     │ 4     │
│ 187    │ 92     │ 3     │
│ 151    │ 82     │ 4     │
│ 186    │ 140    │ 5     │
│ 182    │ 108    │ 4     │
│ 188    │ 81     │ 2     │
│ 179    │ 110    │ 4     │
│ 156    │ 126    │ 5     │
│ 188    │ 114    │ 4     │
│ 183    │ 153    │ 5     │
│ 144    │ 88     │ 5     │
│ 196    │ 69     │ 1     │
│ 171    │ 141    │ 5     │
│ 171    │ 147    │ 5     │
│ 180    │ 156    │ 5     │
│ 191    │ 146    │ 5     │
│ 179    │ 67     │ 2     │
│ 180    │ 60     │ 2     │
│ 154    │ 132    │ 5     │
│ 188    │ 99     │ 3     │
│ 142    │ 135    │ 5     │
│ 170    │ 95     │ 4     │
│ 152    │ 141    │ 5     │
│ 190    │ 118    │ 4     │
│ 181    │ 111    │ 4     │
│ 153    │ 104    │ 5     │
│ 187    │ 140    │ 5     │
│ 144    │ 66     │ 4     │
│ 148    │ 54     │ 2     │
│ 199    │ 92     │ 2     │
│ 167    │ 85     │ 4     │
│ 164    │ 71     │ 3     │
│ 185    │ 102    │ 3     │
│ 164    │ 160    │ 5     │
│ 142    │ 71     │ 4     │
│ 165    │ 68     │ 2     │
│ 172    │ 62     │ 2     │
│ 157    │ 56     │ 2     │
│ 155    │ 57     │ 2     │
│ 167    │ 153    │ 5     │
│ 164    │ 126    │ 5     │
│ 189    │ 125    │ 4     │
│ 161    │ 145    │ 5     │
│ 155    │ 71     │ 3     │
│ 171    │ 118    │ 4     │
│ 154    │ 92     │ 4     │
│ 179    │ 83     │ 3     │
│ 170    │ 115    │ 4     │
│ 184    │ 106    │ 4     │
│ 191    │ 68     │ 2     │
│ 162    │ 58     │ 2     │
│ 178    │ 138    │ 5     │
│ 157    │ 60     │ 2     │
│ 184    │ 83     │ 2     │
│ 197    │ 88     │ 2     │
│ 160    │ 51     │ 2     │
│ 184    │ 153    │ 5     │
│ 190    │ 50     │ 0     │
│ 174    │ 90     │ 3     │
│ 189    │ 124    │ 4     │
│ 186    │ 143    │ 5     │
│ 180    │ 58     │ 1     │
│ 186    │ 148    │ 4     │
│ 193    │ 61     │ 1     │
│ 161    │ 103    │ 4     │
│ 151    │ 158    │ 5     │
│ 195    │ 147    │ 4     │
│ 184    │ 152    │ 5     │
│ 141    │ 80     │ 5     │
│ 185    │ 94     │ 3     │
│ 186    │ 127    │ 4     │
│ 142    │ 131    │ 5     │
│ 147    │ 67     │ 4     │
│ 151    │ 62     │ 3     │
│ 160    │ 124    │ 5     │
│ 185    │ 60     │ 1     │
│ 163    │ 63     │ 2     │
│ 174    │ 95     │ 4     │
│ 150    │ 144    │ 5     │
│ 142    │ 91     │ 5     │
│ 178    │ 142    │ 5     │
│ 154    │ 96     │ 5     │
│ 176    │ 87     │ 3     │
│ 159    │ 120    │ 5     │
│ 191    │ 62     │ 1     │
│ 177    │ 117    │ 4     │
│ 151    │ 154    │ 5     │
│ 182    │ 149    │ 5     │
│ 197    │ 72     │ 2     │
│ 146    │ 138    │ 5     │
│ 160    │ 83     │ 4     │
│ 157    │ 66     │ 3     │
│ 150    │ 50     │ 2     │
│ 167    │ 58     │ 2     │
│ 180    │ 70     │ 2     │
│ 183    │ 76     │ 2     │
│ 183    │ 87     │ 3     │
│ 152    │ 154    │ 5     │
│ 164    │ 71     │ 3     │
│ 187    │ 96     │ 3     │
│ 169    │ 136    │ 5     │
│ 149    │ 61     │ 3     │
│ 163    │ 137    │ 5     │
│ 195    │ 104    │ 3     │
│ 174    │ 107    │ 4     │
│ 182    │ 70     │ 2     │
│ 169    │ 110    │ 4     │
│ 193    │ 130    │ 4     │
│ 148    │ 141    │ 5     │
│ 186    │ 68     │ 2     │
│ 165    │ 143    │ 5     │
│ 146    │ 123    │ 5     │
│ 166    │ 133    │ 5     │
│ 179    │ 56     │ 1     │
│ 177    │ 101    │ 4     │
│ 181    │ 154    │ 5     │
│ 161    │ 154    │ 5     │
│ 157    │ 103    │ 5     │
│ 169    │ 98     │ 4     │
│ 152    │ 114    │ 5     │
│ 162    │ 64     │ 2     │
│ 162    │ 130    │ 5     │
│ 177    │ 61     │ 2     │
│ 195    │ 61     │ 1     │
│ 140    │ 146    │ 5     │
│ 186    │ 146    │ 5     │
│ 178    │ 107    │ 4     │
│ 174    │ 54     │ 1     │
│ 180    │ 59     │ 1     │
│ 188    │ 141    │ 4     │
│ 187    │ 130    │ 4     │
│ 153    │ 77     │ 4     │
│ 165    │ 95     │ 4     │
│ 178    │ 79     │ 2     │
│ 163    │ 154    │ 5     │
│ 150    │ 97     │ 5     │
│ 179    │ 127    │ 4     │
│ 165    │ 62     │ 2     │
│ 168    │ 158    │ 5     │
│ 153    │ 133    │ 5     │
│ 184    │ 157    │ 5     │
│ 188    │ 65     │ 1     │
│ 166    │ 153    │ 5     │
│ 172    │ 116    │ 4     │
│ 182    │ 73     │ 2     │
│ 143    │ 149    │ 5     │
│ 152    │ 146    │ 5     │
│ 186    │ 128    │ 4     │
│ 159    │ 140    │ 5     │
│ 146    │ 70     │ 4     │
│ 176    │ 121    │ 4     │
│ 146    │ 101    │ 5     │
│ 159    │ 145    │ 5     │
│ 162    │ 157    │ 5     │
│ 172    │ 90     │ 4     │
│ 169    │ 121    │ 5     │
│ 182    │ 50     │ 0     │
│ 183    │ 79     │ 2     │
│ 176    │ 77     │ 2     │
│ 188    │ 128    │ 4     │
│ 175    │ 83     │ 2     │
│ 154    │ 81     │ 4     │
│ 184    │ 147    │ 5     │
│ 179    │ 123    │ 4     │
│ 152    │ 132    │ 5     │
│ 179    │ 56     │ 1     │
│ 145    │ 141    │ 5     │
│ 181    │ 80     │ 2     │
│ 158    │ 127    │ 5     │
│ 188    │ 99     │ 3     │
│ 145    │ 142    │ 5     │
│ 161    │ 115    │ 5     │
│ 198    │ 109    │ 3     │
│ 147    │ 142    │ 5     │
│ 154    │ 112    │ 5     │
│ 178    │ 65     │ 2     │
│ 195    │ 153    │ 5     │
│ 167    │ 79     │ 3     │
│ 183    │ 131    │ 4     │
│ 164    │ 142    │ 5     │
│ 167    │ 64     │ 2     │
│ 151    │ 55     │ 2     │
│ 147    │ 107    │ 5     │
│ 155    │ 115    │ 5     │
│ 172    │ 108    │ 4     │
│ 142    │ 86     │ 5     │
│ 146    │ 85     │ 4     │
│ 188    │ 115    │ 4     │
│ 173    │ 111    │ 4     │
│ 160    │ 109    │ 5     │
│ 187    │ 80     │ 2     │
│ 198    │ 136    │ 4     │
│ 179    │ 150    │ 5     │
│ 164    │ 59     │ 2     │
│ 146    │ 147    │ 5     │
│ 198    │ 50     │ 0     │
│ 170    │ 53     │ 1     │
│ 152    │ 98     │ 5     │
│ 150    │ 153    │ 5     │
│ 184    │ 121    │ 4     │
│ 141    │ 136    │ 5     │
│ 150    │ 95     │ 5     │
│ 173    │ 131    │ 5     │
└────────┴────────┴───────┘

Coercing Data

ScientificTypes.schema(df)

┌────────┬──────────┬───────┐
│ names  │ scitypes │ types │
├────────┼──────────┼───────┤
│ Height │ Count    │ Int64 │
│ Weight │ Count    │ Int64 │
│ Index  │ Count    │ Int64 │
└────────┴──────────┴───────┘

Weight and Height should be Continuous and Index should be an OrderedFactor

df = coerce(df,
            :Height => Continuous,
            :Weight => Continuous,
            :Index => OrderedFactor)
ScientificTypes.schema(df)

┌────────┬──────────────────┬─────────────────────────────────┐
│ names  │ scitypes         │ types                           │
├────────┼──────────────────┼─────────────────────────────────┤
│ Height │ Continuous       │ Float64                         │
│ Weight │ Continuous       │ Float64                         │
│ Index  │ OrderedFactor{6} │ CategoricalValue{Int64, UInt32} │
└────────┴──────────────────┴─────────────────────────────────┘

Unpacking Data

Both MLJ and the pure functional interface of Imbalance assume that the observations table X and target vector y are separate. We can accomplish that by using unpack from MLJ

y, X = unpack(df, ==(:Index); rng=123);
first(X, 5) |> pretty

┌────────────┬────────────┐
│ Height     │ Weight     │
│ Float64    │ Float64    │
│ Continuous │ Continuous │
├────────────┼────────────┤
│ 172.0      │ 75.0       │
│ 183.0      │ 147.0      │
│ 172.0      │ 92.0       │
│ 149.0      │ 61.0       │
│ 160.0      │ 131.0      │
└────────────┴────────────┘

We will skip splitting the data since the main purpose of this tutorial is visualization.

Undersampling

Before undersampling, let's check the balance of the data

checkbalance(y; ref="minority")

0: ▇▇▇ 13 (100.0%) 
1: ▇▇▇▇▇▇ 22 (169.2%) 
3: ▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇ 68 (523.1%) 
2: ▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇ 69 (530.8%) 
4: ▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇ 130 (1000.0%) 
5: ▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇ 198 (1523.1%)

Let's use ENN undersampling to undersample the data. ENN undersamples the data by "cleaning it out" or in another words deleting any point that violates a certain condition. We can limit the number of points that are deleted by setting the min_ratios parameter.

We will set k=1 and keep_condition="only mode" which means that any point with a label that is not the only most common one amongst its 1-nearest neighbors will be deleted (i.e., must have same label as its nearest neighbor). By setting all minimum ratios to 0.01 we set a very low bar, allowing ENN to delete points freely from all classes

min_ratios = Dict(class=>0.01 for class in levels(y))

Dict{Int64, Float64} with 6 entries:
  0 => 0.01
  4 => 0.01
  5 => 0.01
  2 => 0.01
  3 => 0.01
  1 => 0.01

X_under, y_under = enn_undersample(
	X,
	y;
	k = 1,
	keep_condition = "only mode",
	min_ratios,
	rng = 42,
)

(448×2 DataFrame
 Row │ Height   Weight  
     │ Float64  Float64 
─────┼──────────────────
   1 │   149.0     61.0
   2 │   187.0     89.0
   3 │   178.0     83.0
   4 │   184.0     86.0
   5 │   149.0     61.0
   6 │   161.0     72.0
   7 │   182.0     84.0
   8 │   190.0    105.0
   9 │   182.0     98.0
  10 │   194.0    106.0
  11 │   151.0     62.0
  ⋮  │    ⋮        ⋮
 439 │   190.0     50.0
 440 │   193.0     54.0
 441 │   198.0     50.0
 442 │   188.0     54.0
 443 │   181.0     51.0
 444 │   183.0     50.0
 445 │   191.0     54.0
 446 │   196.0     50.0
 447 │   182.0     50.0
 448 │   190.0     50.0
        427 rows omitted, CategoricalArrays.CategoricalValue{Int64, UInt32}[3, 3, 3, 3, 3, 3, 3, 3, 3, 3  …  0, 0, 0, 0, 0, 0, 0, 0, 0, 0])

checkbalance(y_under; ref="minority")

0: ▇▇▇ 12 (100.0%) 
1: ▇▇▇▇▇ 20 (166.7%) 
2: ▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇ 55 (458.3%) 
3: ▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇ 58 (483.3%) 
4: ▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇ 114 (950.0%) 
5: ▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇ 189 (1575.0%)

Training the Model

Because we have scientific types setup, we can easily check what models will be able to train on our data. This should guarantee that the model we choose won't throw an error due to types after feeding it the data.

models(matching(X_under, y_under))

54-element Vector{NamedTuple{(:name, :package_name, :is_supervised, :abstract_type, :deep_properties, :docstring, :fit_data_scitype, :human_name, :hyperparameter_ranges, :hyperparameter_types, :hyperparameters, :implemented_methods, :inverse_transform_scitype, :is_pure_julia, :is_wrapper, :iteration_parameter, :load_path, :package_license, :package_url, :package_uuid, :predict_scitype, :prediction_type, :reporting_operations, :reports_feature_importances, :supports_class_weights, :supports_online, :supports_training_losses, :supports_weights, :transform_scitype, :input_scitype, :target_scitype, :output_scitype)}}:
 (name = AdaBoostClassifier, package_name = MLJScikitLearnInterface, ... )
 (name = AdaBoostStumpClassifier, package_name = DecisionTree, ... )
 (name = BaggingClassifier, package_name = MLJScikitLearnInterface, ... )
 (name = BayesianLDA, package_name = MLJScikitLearnInterface, ... )
 (name = BayesianLDA, package_name = MultivariateStats, ... )
 (name = BayesianQDA, package_name = MLJScikitLearnInterface, ... )
 (name = BayesianSubspaceLDA, package_name = MultivariateStats, ... )
 (name = CatBoostClassifier, package_name = CatBoost, ... )
 (name = ConstantClassifier, package_name = MLJModels, ... )
 (name = DecisionTreeClassifier, package_name = BetaML, ... )
 (name = DecisionTreeClassifier, package_name = DecisionTree, ... )
 (name = DeterministicConstantClassifier, package_name = MLJModels, ... )
 (name = DummyClassifier, package_name = MLJScikitLearnInterface, ... )
 ⋮
 (name = RandomForestClassifier, package_name = MLJScikitLearnInterface, ... )
 (name = RidgeCVClassifier, package_name = MLJScikitLearnInterface, ... )
 (name = RidgeClassifier, package_name = MLJScikitLearnInterface, ... )
 (name = SGDClassifier, package_name = MLJScikitLearnInterface, ... )
 (name = SVC, package_name = LIBSVM, ... )
 (name = SVMClassifier, package_name = MLJScikitLearnInterface, ... )
 (name = SVMLinearClassifier, package_name = MLJScikitLearnInterface, ... )
 (name = SVMNuClassifier, package_name = MLJScikitLearnInterface, ... )
 (name = StableForestClassifier, package_name = SIRUS, ... )
 (name = StableRulesClassifier, package_name = SIRUS, ... )
 (name = SubspaceLDA, package_name = MultivariateStats, ... )
 (name = XGBoostClassifier, package_name = XGBoost, ... )

Let's go for an SVM from LIBSVM

import Pkg; Pkg.add("LIBSVM")
import LIBSVM;

Before Undersampling

# 1. Load the model
SVC = @load SVC pkg=LIBSVM

# 2. Instantiate it
model = SVC(kernel=LIBSVM.Kernel.RadialBasis, gamma=0.01) ## instance

# 3. Wrap it with the data in a machine
mach = machine(model, X, y)

# 4. fit the machine learning model
fit!(mach)

[ Info: For silent loading, specify `verbosity=0`. 


import MLJLIBSVMInterface ✔


[ Info: Training machine(SVC(kernel = RadialBasis, …), …).





trained Machine; caches model-specific representations of data
  model: SVC(kernel = RadialBasis, …)
  args: 
    1:	Source @579 ⏎ Table{AbstractVector{Continuous}}
    2:	Source @973 ⏎ AbstractVector{OrderedFactor{6}}

After Undersampling

# 3. Wrap it with the data in a machine
mach_under = machine(model, X_under, y_under)

# 4. fit the machine learning model
fit!(mach_under)

[ Info: Training machine(SVC(kernel = RadialBasis, …), …).





trained Machine; caches model-specific representations of data
  model: SVC(kernel = RadialBasis, …)
  args: 
    1:	Source @827 ⏎ Table{AbstractVector{Continuous}}
    2:	Source @664 ⏎ AbstractVector{OrderedFactor{6}}

Plot Decision Boundaries

Construct ranges for each feature and consecutively a grid

height_range =
	range(minimum(X.Height) - 1, maximum(X.Height) + 1, length = 400)
weight_range =
range(minimum(X.Weight) - 1, maximum(X.Weight) + 1, length = 400)
grid_points = [(h, w) for h in height_range, w in weight_range]

400×400 Matrix{Tuple{Float64, Float64}}:
 (139.0, 49.0)    (139.0, 49.2807)    (139.0, 49.5614)    …  (139.0, 161.0)
 (139.153, 49.0)  (139.153, 49.2807)  (139.153, 49.5614)     (139.153, 161.0)
 (139.306, 49.0)  (139.306, 49.2807)  (139.306, 49.5614)     (139.306, 161.0)
 (139.459, 49.0)  (139.459, 49.2807)  (139.459, 49.5614)     (139.459, 161.0)
 (139.612, 49.0)  (139.612, 49.2807)  (139.612, 49.5614)     (139.612, 161.0)
 (139.764, 49.0)  (139.764, 49.2807)  (139.764, 49.5614)  …  (139.764, 161.0)
 (139.917, 49.0)  (139.917, 49.2807)  (139.917, 49.5614)     (139.917, 161.0)
 (140.07, 49.0)   (140.07, 49.2807)   (140.07, 49.5614)      (140.07, 161.0)
 (140.223, 49.0)  (140.223, 49.2807)  (140.223, 49.5614)     (140.223, 161.0)
 (140.376, 49.0)  (140.376, 49.2807)  (140.376, 49.5614)     (140.376, 161.0)
 (140.529, 49.0)  (140.529, 49.2807)  (140.529, 49.5614)  …  (140.529, 161.0)
 (140.682, 49.0)  (140.682, 49.2807)  (140.682, 49.5614)     (140.682, 161.0)
 (140.835, 49.0)  (140.835, 49.2807)  (140.835, 49.5614)     (140.835, 161.0)
 ⋮                                                        ⋱  
 (198.318, 49.0)  (198.318, 49.2807)  (198.318, 49.5614)     (198.318, 161.0)
 (198.471, 49.0)  (198.471, 49.2807)  (198.471, 49.5614)     (198.471, 161.0)
 (198.624, 49.0)  (198.624, 49.2807)  (198.624, 49.5614)  …  (198.624, 161.0)
 (198.777, 49.0)  (198.777, 49.2807)  (198.777, 49.5614)     (198.777, 161.0)
 (198.93, 49.0)   (198.93, 49.2807)   (198.93, 49.5614)      (198.93, 161.0)
 (199.083, 49.0)  (199.083, 49.2807)  (199.083, 49.5614)     (199.083, 161.0)
 (199.236, 49.0)  (199.236, 49.2807)  (199.236, 49.5614)     (199.236, 161.0)
 (199.388, 49.0)  (199.388, 49.2807)  (199.388, 49.5614)  …  (199.388, 161.0)
 (199.541, 49.0)  (199.541, 49.2807)  (199.541, 49.5614)     (199.541, 161.0)
 (199.694, 49.0)  (199.694, 49.2807)  (199.694, 49.5614)     (199.694, 161.0)
 (199.847, 49.0)  (199.847, 49.2807)  (199.847, 49.5614)     (199.847, 161.0)
 (200.0, 49.0)    (200.0, 49.2807)    (200.0, 49.5614)       (200.0, 161.0)

Evaluate the grid with the machine before and after undersampling

grid_predictions =[
    predict(mach, Tables.table(reshape(collect(point), 1, 2)))[1] for
 	point in grid_points
 ]
 
grid_predictions_under = [
    predict(mach_under, Tables.table(reshape(collect(point), 1, 2)))[1] for
    point in grid_points
]

400×400 CategoricalArrays.CategoricalArray{Int64,2,UInt32}:
 2  2  2  2  2  2  2  2  2  2  2  2  2  …  5  5  5  5  5  5  5  5  5  5  5  5
 2  2  2  2  2  2  2  2  2  2  2  2  2     5  5  5  5  5  5  5  5  5  5  5  5
 2  2  2  2  2  2  2  2  2  2  2  2  2     5  5  5  5  5  5  5  5  5  5  5  5
 2  2  2  2  2  2  2  2  2  2  2  2  2     5  5  5  5  5  5  5  5  5  5  5  5
 2  2  2  2  2  2  2  2  2  2  2  2  2     5  5  5  5  5  5  5  5  5  5  5  5
 2  2  2  2  2  2  2  2  2  2  2  2  2  …  5  5  5  5  5  5  5  5  5  5  5  5
 2  2  2  2  2  2  2  2  2  2  2  2  2     5  5  5  5  5  5  5  5  5  5  5  5
 2  2  2  2  2  2  2  2  2  2  2  2  2     5  5  5  5  5  5  5  5  5  5  5  5
 2  2  2  2  2  2  2  2  2  2  2  2  2     5  5  5  5  5  5  5  5  5  5  5  5
 2  2  2  2  2  2  2  2  2  2  2  2  2     5  5  5  5  5  5  5  5  5  5  5  5
 2  2  2  2  2  2  2  2  2  2  2  2  2  …  5  5  5  5  5  5  5  5  5  5  5  5
 2  2  2  2  2  2  2  2  2  2  2  2  2     5  5  5  5  5  5  5  5  5  5  5  5
 2  2  2  2  2  2  2  2  2  2  2  2  2     5  5  5  5  5  5  5  5  5  5  5  5
 ⋮              ⋮              ⋮        ⋱        ⋮              ⋮           
 0  0  0  0  0  0  0  0  0  0  0  0  0     4  4  4  4  4  4  4  4  4  4  4  4
 0  0  0  0  0  0  0  0  0  0  0  0  0     4  4  4  4  4  4  4  4  4  4  4  4
 0  0  0  0  0  0  0  0  0  0  0  0  0  …  4  4  4  4  4  4  4  4  4  4  4  4
 0  0  0  0  0  0  0  0  0  0  0  0  0     4  4  4  4  4  4  4  4  4  4  4  4
 0  0  0  0  0  0  0  0  0  0  0  0  0     4  4  4  4  4  4  4  4  4  4  4  4
 0  0  0  0  0  0  0  0  0  0  0  0  0     4  4  4  4  4  4  4  4  4  4  4  4
 0  0  0  0  0  0  0  0  0  0  0  0  0     4  4  4  4  4  4  4  4  4  4  4  4
 0  0  0  0  0  0  0  0  0  0  0  0  0  …  4  4  4  4  4  4  4  4  4  4  4  4
 0  0  0  0  0  0  0  0  0  0  0  0  0     4  4  4  4  4  4  4  4  4  4  4  4
 0  0  0  0  0  0  0  0  0  0  0  0  0     4  4  4  4  4  4  4  4  4  4  4  4
 0  0  0  0  0  0  0  0  0  0  0  0  0     4  4  4  4  4  4  4  4  4  4  4  4
 0  0  0  0  0  0  0  0  0  0  0  0  0     4  4  4  4  4  4  4  4  4  4  4  4

Make two contour plots using the grid predictions before and after oversampling

colors = [:green, :aqua, :violet, :red, :blue, :yellow]
p = contourf(weight_range, height_range, grid_predictions,
levels = 6, color = colors, colorbar = false)
p_under = contourf(weight_range, height_range,  grid_predictions_under,
levels = 6, color = colors, colorbar = false)
println()

labels = unique(y)
colors = Dict(
	0 => "green",
	1 => "cyan3",
	2 => "violet",
	3 => "red",
	4 => "dodgerblue",
	5 => "gold2",
)

for label in labels
	scatter!(p, X.Weight[y.==label], X.Height[y.==label],
		color = colors[label], label = label, markerstrokewidth = 1.5,
		title = "Before Undersampling")
	scatter!(p_under, X_under.Weight[y_under.==label], X_under.Height[y_under.==label],
		color = colors[label], label = label, markerstrokewidth = 1.5,
		title = "After Undersampling")
end

plot_res = plot(
	p,
	p_under,
	layout = (1, 2),
	xlabel = "Height",
	ylabel = "Width",
	size = (1200, 450),
	margin = 5mm, dpi = 200,
	legend = :outerbottomright,
)
savefig(plot_res, "./assets/ENN-before-after.png")

"/Users/anthony/GoogleDrive/Julia/MLJ/Imbalance/docs/src/examples/effect_of_k_enn/assets/ENN-before-after.png"

enn comparison

Effect of $k$ Hyperparameter

Now let's study the cleaning effect as k increases for all types of keep conditions of undersampling.

anim = @animate for k ∈ 1:15
	conditions = ["exists", "mode", "only mode", "all"]
	plots = [plot() for _ in 1:4]
	data_list = []

	for i in 1:4

		X_under, y_under = enn_undersample(
			X,
			y;
			k = k,
			keep_condition = conditions[i],
			min_ratios,
			rng = 42,
		)

		# fit machine
		mach_under = machine(model, X_under, y_under)
		fit!(mach_under, verbosity = 0)

		# grid predictions
		grid_predictions_under = [
			predict(mach_under, Tables.table(reshape(collect(point), 1, 2)))[1] for
			point in grid_points
		]

		# plot
		colors = [:green, :aqua, :violet, :red, :blue, :yellow]
		contourf!(plots[i], weight_range, height_range, grid_predictions_under,
			levels = 6, color = colors, colorbar = false)

		colors = Dict(
			0 => "green",
			1 => "cyan3",
			2 => "violet",
			3 => "red",
			4 => "dodgerblue",
			5 => "gold2",
		)
		for label in labels
			scatter!(plots[i], X_under.Weight[y_under.==label],
				X_under.Height[y_under.==label],
				color = colors[label], label = label, markerstrokewidth = 1.5,
				title = "$(conditions[i])", legend = ((i == 2) ? :bottomright : :none))
		end
		plot!(
			plots[1], plots[2], plots[3], plots[4],
			layout = (1, 4),
			size = (1300, 420),
			plot_title = "Undersampling with k =$k",
		)
	end
	plot!(dpi = 150)
end

Animation("/var/folders/4n/gvbmlhdc8xj973001s6vdyw00000gq/T/jl_xZTf4B", ["000001.png", "000002.png", "000003.png", "000004.png", "000005.png", "000006.png", "000007.png", "000008.png", "000009.png", "000010.png", "000011.png", "000012.png", "000013.png", "000014.png", "000015.png"])

gif(anim, "./assets/enn-k-animation.gif", fps=1)

[ Info: Saved animation to /Users/anthony/GoogleDrive/Julia/MLJ/Imbalance/docs/src/examples/effect_of_k_enn/assets/enn-k-animation.gif

enn-gif-hyperparameter

As we can see, the most constraining condition is all. It deletes any point where the label is different than any of the nearest k neighbors which also explains why it's the most sensitive to the hyperparameter k.