Som med de fleste begreper, er også forståelsen av rasisme avhengig av hvilket utgangspunkt man har. Allikevel vil de fleste kunne si seg enige at det betyr noe i retning av at rase er avgjørende for menneskelig ulikhet og menneskelige egenskaper, og at enkelte raser som et resultat av dette er overlegne andre.

Begrepet "rase" ble introdusert på 1800-tallet som et vitenskapelig begrep. Begrepet "rase" er nå helt uten vitenskapelig verdi. Man mente på 1800-tallet at mennesker kunne deles inn i ulike kategorier eller raser som hadde bestemte egenskaper. I den vestlige verden var den hvite (ariske) rase den fremste. Disse "vitenskapelige" begrunnelsene hadde for eksempel en sentral betydning for imperialismen og den økende kolonialiseringen på 1800-tallet: "Den hvite mann" måtte ta ansvar og herske over de mindre begavede rasene.

Også i Norge hadde troen på en vitenskap om ulikhet mellom rasene sin storhetstid, fremfor alt på 1920 og 1930-tallet. Etter krigen så man hvilke resultater rasismen, og den beslektede antisemittismen, kunne få i praktisk politikk. Som en følge av dette mistet vitenskapen om raser fullstendig sin troverdighet. Allikevel ser vi den dag i dag at mennesker fremdeles karakteriserer andre på bakgrunn av egenskaper som man tillegger andre raser.