Part 4.  [2.5pts]   Evaluate the model on the test data. You should use accu- racy score as your evaluation metric.

2    Clustering demographics

Details   This partial dataset [1] contains census information including, age, workclass, education, marital status etc.   The original task is to classify the people into salary brackets.

You are provided with a single file (income.csv).  The task is to group the data into optimum number of groups.

Part 1.  [5pts]   The dataset provided is not very clean.  Therefore you have to perform a number of pre-processing steps before you can input the dataset to the machine learning model.

1. Missing  features:  You should replace every such feature with other values, e.g., minimum, maximum, or average of that feature.

2. Normalization:  Make the range between values similar.  Larger differ- ences can make model convergence difficult.

3.  Categorical features: Replace them with numerical values. e.g. male/female can be replaced with 0/1 and so on.

Part 2.  [10pts]   Implement the K-Means clustering algorithm to cluster the data into K cluster.

Note: In order to complete the question, you can use a python package, e.g., sklearn.  This will ensure that you at least get graded for other parts of the question. However in that case, you will NOT get points for this part.

Part 3.  [5pts]

Part 4.  [5pts]

method.

You should optimize the value of K using elbow method.

Create visualizations of the distortions computed by the elbow

Submission

This is an individual assignment.  Each person should submit as a single zip file named with assignment number and the username (e.g.  HW1 akhan4.zip). The zip file should contain the required code file and a readme file. The readme should include the following:

– one line descriptions of the code file

– final test accuracy score (for Q1)

– elbow method plot (for Q2)

– optimal K value (for Q2)

Remember  that  after  general  discussions  with  others,  you  are  re- quired to work out the problems by yourself.   All submitted work must  be  your  own,  though  you  can  get  help  with  others,  so  long as you cite the help.  Please refer to the Stevens Honor System for clarifications.

References

[1] Ron Kohavi. Scaling up the accuracy of naive-bayes classifiers: A decision- tree  hybrid.    In  Proceedings  of  the  Second  International  Conference  on Knowledge  Discovery  and  Data  Mining,  KDD’96,  page  202–207.  AAAI Press, 1996.

[2] Endang Wahyu Pamungkas, Valerio Basile, and Viviana Patti.  Do you re- ally want to hurt me? predicting abusive swearing in social media. In Pro- ceedings of the  12th Language Resources and Evaluation  Conference, pages 6237–6246, Marseille, France, May 2020. European Language Resources As- sociation. URL https://aclanthology.org/2020.lrec-1.765.