Allerede i 1934 prøvde Jehovas vitner å forklare sin religion overfor nazistene og sa at de verken var for eller mot nazismen. Men på grunn av at de nektet å gjøre Hitler-hilsen og militærtjenesten kom de snart i opposisjon til regjeringen. Samtidig ble de fordømt for sine internasjonale forbindelser, fordi de fortsatte å utøve sin religion og sin medlemsverving. Deres kontorer ble okkupert, deres religiøse litteratur beslaglagt og hemmelige agenter spionerte på dem. Mange ble arrestert eller mistet sitt arbeid.
I 1935 begynte den planmessige forfølgelsen og arrestasjonen av Jehovas vitner. I 1936 bodde det ca. 20.000 Jehovas vitner i Tyskland i 1936. Av disse satt omtrent 400 i konsentrasjonsleiren Sachsenhausen ved Berlin. Det samme året fordømte den internasjonale Jehovas vitner-konferansen i Luzern den tyske regjeringen.
Etter at Nazi-Tyskland tok makten i Østerrike og Tsjekkoslovakia, ble enda flere Jehovas vitner arrestert. I 1939 satt 6000 medlemmer av trossamfunnet i tyske fengsler og konsentrasjonsleire. Noen ble torturert for at de skulle forandre religion, men bare få gav etter. Barna ble tatt vekk fra foreldrene for "omskolering" - det vil si at de skulle lære at nazismen var sann. I leirene forsatte Jehovas vitner å utøve sin religion, og de var kjent for sitt store samhold og hjelpsomhet. Fordi de trodde at nazistenes forfølgelse av dem var en del av at verden skulle gå under - dommedag - prøvde de ikke å rømme eller å gjøre motstand. Derfor ble de ofte brukt som interne tjenestemenn i leirene.
Hvis vi regner med medlemmer fra Østerrike, Belgia, Nederland, Norge, Tsjekkoslovakia og Polen, satt til sammen rundt 10.000 Jehovas vitner i leirene. Mellom 2500 og 5000 døde der. Dessuten ble ca. 200 skutt fordi de nektet militærtjeneste.


