Detectie van uitbijters
Detectie van uitbijters is één van de belangrijkste taken na het opmeten en verzamelen van data. Deze data, die buiten het bereik van de andere gegevens liggen, kunnen de resultaten van statistische analyses op de data zeer sterk beïnvloeden.
Voor het detecteren van uitbijters moet er allereerst een onderscheid gemaakt worden tussen univariate (slechts één meetresultaat per meting voor een staal) en multivariate gegevens (vele, soms wel honderden, meetresultaten per meting voor een staal).
[bewerk] Univariate gegevens
Het meest voorkomende geval is datgene waarbij er per meting van een staal slechts één meetresultaat bekomen wordt. Meestal volgen de bekomen meetwaarden een normale verdeling. Indien dit niet het geval zou zijn, dan kan men dikwijls een normale verdeling bekomen door meer meetgegevens, eventueel van meer stalen, te verzamelen.
In een normale verdeling liggen 95 procent van de meetwaarden binnen 2 standaarddeviaties van het gemiddelde, terwijl 99 procent van de meetwaarden binnen 3 standaarddeviaties van het gemiddelde liggen. Daarom kan men vaak aan de correctheid van een meetgegeven twijfelen, wanneer die meetwaarde meer dan 3 standaarddeviaties van het gemiddelde van de andere meetwaarden ligt. Detectie van uitbijters bij univariate gegevens gebeurt dan ook op de volgende wijze:
- bepaal de waarde x die het verste (het minimum en het maximum van de meetwaarden) ligt van het gemiddelde
- bepaal het gemiddelde μ en de standaarddeviatie s van de overige meetwaarden
- controleer of het een uitbijter is:
- als x groter is dan (μ + 3s) of kleiner is dan (μ - 3s) dan is de waarde een uitbijter en wordt deze verwijderd uit de oorspronkelijke set gegevens. Kijk ook na of het minimum of maximum van de resterende gegevens uitbijters zijn.
- indien x kleiner is dan (μ + 3s) en groter is dan (μ - 3s) dan is de waarde geen uitbijter en worden geen gegevens verwijderd uit de oorspronkelijke set gegevens.
[bewerk] Multivariate gegevens
Bij multivariate gegevens zullen de verschillende meetwaarden per meting tezamen veranderen. Daarom kan de procedure van univariate gegevens niet gevolgd worden en zijn enkel speciale multivariate methoden bruikbaar die de gezamenlijke verandering van verschillende meetwaarden kunnen uitbuiten.
Voor detectie van uitbijters bij multivariate gegevens wordt vaak de Hotelling T2 methode gebruikt. De Hotelling T2 waarden worden vaak ook leverage waarden genoemd.
