Teil1_Vorlage.ipynb

{
 "metadata": {
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  },
  "orig_nbformat": 2,
  "kernelspec": {
   "name": "python3",
   "display_name": "Python 3",
   "language": "python"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2,
 "cells": [
  {
   "source": [
    "# Übung\n",
    "### Ziel: Einführung in die gängigsten Bewertungsmetriken und erste Hands-On Erfahrungen sammeln\n",
    "### Datensatz: Breast Cancer-Datensatz - aufbereitet und bereitgestellt von SciKit-Learn"
   ],
   "cell_type": "markdown",
   "metadata": {}
  },
  {
   "source": [
    "Importiere folgende Packages:\n",
    "- pandas "
   ],
   "cell_type": "markdown",
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Hier importieren"
   ]
  },
  {
   "source": [
    "Lade den Datensatz"
   ],
   "cell_type": "markdown",
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Hier Datensatz laden"
   ]
  },
  {
   "source": [
    "Wichtig: Der Datensatz ist schon aufbereitet und muss nicht mehr in Trainings- und Testdaten getrennt werden. "
   ],
   "cell_type": "markdown",
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Gebe Datensatz aus"
   ]
  },
  {
   "source": [
    "### Infos über den Datensatz\n",
    "1. 596 Instanzen\n",
    "2. Keine MissingValues\n",
    "3. 2 Klassen\n",
    "4. Target(0)=Maligne, Target(1)=Benigne\n",
    "5. Es gibt 30 Merkmale"
   ],
   "cell_type": "markdown",
   "metadata": {}
  },
  {
   "source": [
    "# Bewertungsmetriken\n",
    "1. Accuracy\n",
    "2. Confusion Matrix\n",
    "3. ROC\n",
    "4. Log Loss\n",
    "5. Kohens Kappa"
   ],
   "cell_type": "markdown",
   "metadata": {}
  },
  {
   "source": [
    "### 1. Accuracy\n",
    "Übung: Verwende die Funktion accuracy_score().\n",
    "\n",
    "https://scikit-learn.org/stable/modules/generated/sklearn.metrics.accuracy_score.html#sklearn.metrics.accuracy_score"
   ],
   "cell_type": "markdown",
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Hier Accuracy von Modell1 berechnen"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Hier Accuracy von Modell2 berechnen"
   ]
  },
  {
   "source": [
    "### 2. Confusion Matrix\n",
    "Übung: Verwende die Funktion confusion_matrix().\n",
    "\n",
    "https://scikit-learn.org/stable/modules/generated/sklearn.metrics.confusion_matrix.html#sklearn.metrics.confusion_matrix"
   ],
   "cell_type": "markdown",
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Hier ConfusionMatrix von Modell1 berechnen"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Hier ConfusionMatrix von Modell2 berechnen"
   ]
  },
  {
   "source": [
    "### 3. ROC\n",
    "Übung: Verwende die Funktion roc_auc_score()\n",
    "\n",
    "https://scikit-learn.org/stable/modules/generated/sklearn.metrics.roc_auc_score.html#sklearn.metrics.roc_auc_score"
   ],
   "cell_type": "markdown",
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Hier ROC von Modell2 berechnen"
   ]
  },
  {
   "source": [
    "#### 4. Log Loss\n",
    "- Ist im Prinzip eine Verlust-Funktion (LossFunction)\n",
    "- Sie sagt aus, wie gut die vorhersagten Wahrscheinlichkeiten einer Klasse einer Instanz ist. Zum Beispiel wissen wir die Klasse einer Instanz und haben die Wahrscheinlichkeit (Wahrscheinlichkeit, ob die Instanz zu der Klasse gehört) berechnet. \n",
    "- Wertebereich zwischen 0 bis ∞\n",
    "- Es gilt den Verlust minimal zu halten\n"
   ],
   "cell_type": "markdown",
   "metadata": {}
  },
  {
   "source": [
    "Übung: Verwende die Funktion log_loss().\n",
    "\n",
    "https://scikit-learn.org/stable/modules/generated/sklearn.metrics.log_loss.html#sklearn.metrics.log_loss"
   ],
   "cell_type": "markdown",
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Hier LogLoss von Modell1 berechnen"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Hier LogLoss von Modell2 berechnen"
   ]
  },
  {
   "source": [
    "5. Kohens Kappa\n",
    "\n",
    "Übung: Verwende die Funktion cohen_kappa_score()\n",
    "\n",
    "\n",
    "https://scikit-learn.org/stable/modules/generated/sklearn.metrics.cohen_kappa_score.html?highlight=kappa"
   ],
   "cell_type": "markdown",
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Hier Cohen's Kappa von Modell1 berechnen"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Hier Cohen's Kappa von Modell2 berechnen"
   ]
  }
 ]
}