Tentu saja ada tentara Jerman non-Nazi dalam Perang Dunia II (PD II), meskipun banyak anggota angkatan bersenjata Jerman secara ideologis mendukung atau bahkan berafiliasi dengan Nazisme dan Hitler. Namun, dari satu perspektif, karena anggota angkatan bersenjata Jerman tidak diizinkan untuk berafiliasi dengan partai politik, dapat dikatakan bahwa semua tentara Jerman dalam Perang Dunia II adalah non-Nazi. Partai politik Nazi, bagaimanapun, memiliki tentara bersenjata sendiri di Waffen-SS dan oleh karena itu tentara ini adalah tentara Nazi.
Istilah Nazi digunakan untuk menunjukkan anggota partai Sosialis Nasional, partai politik yang dipimpin Hitler dan akhirnya menjadi partai politik dominan di Jerman selama perang. Namun, istilah ini sering digeneralisasi untuk merujuk pada semua kombatan Jerman dalam Perang Dunia II, sebagai cara untuk membedakan era prajurit itu dari prajurit Jerman lainnya. Dengan memperhatikan fakta bahwa banyak tentara dalam Perang Dunia II bukanlah Nazi, beberapa orang percaya bahwa hal itu tampaknya menentang semua orang Jerman pada saat itu, beberapa di antaranya tidak secara langsung mendukung Hitler atau kebijakan Nazisme.
Angkatan bersenjata di Jerman, yang sebagian besar terdiri dari tentara Jerman non-Nazi, disebut Wehrmacht. Itu terdiri dari tiga cabang utama: angkatan laut (Kriegsmarine), angkatan udara (Luftwaffe), dan tentara (Heer). Kemudian, cabang keempat, Waffen-SS, berada di bawah yurisdiksi umumnya, meskipun juga di bawah Schutzstaffel, atau SS, yang dikendalikan oleh partai politik Nazi. Setelah Perang Dunia I, batasan kuat ditetapkan pada militer Jerman, Reichswehr, membatasi jumlah anggota yang dapat dimiliki, dan peralatan yang dapat mereka gunakan. Pada 1920-an, Jerman mulai menghindari pembatasan ini secara diam-diam, meningkatkan kekuatan militer mereka dan memperoleh peralatan baru.
Ketika Hitler mengambil alih kekuasaan pada tahun 1934, ia mulai menumbuhkan militer lebih banyak lagi. Dia memulai kembali wajib militer, dan memulai pekerjaan membangun kekuatan militer Jerman secara dramatis. Salah satu cara dia melakukan ini adalah dengan menciptakan badan militer baru, Wehrmacht, yang pada akhirnya akan menjadi kekuatan yang besar. Banyak yang memandang Wehrmacht sebagai kelompok Nazi karena dibuat oleh Hitler dan karena anggotanya harus bersumpah setia kepada Führer.
Meskipun banyak yang mengaitkan Wehrmacht dengan Nazisme, Wehrmacht juga dapat dianggap terdiri dari tentara Jerman non-Nazi secara eksklusif dalam Perang Dunia II, karena aturan konstitusi Republik Weimar melarang tentara memegang afiliasi politik atau memberikan suara. Faktanya, banyak anggota Wehrmacht di tahun-tahun berikutnya dengan gigih menentang Hitler dan kebijakan Nazi, terutama setelah Hitler mulai menunjukkan kecenderungan berbahaya untuk membuang intelijen strategis demi permusuhan yang didorong secara emosional.
Jika Wehrmacht dapat dilihat sebagai sebagian besar terdiri dari tentara Jerman non-Nazi, maka kita harus mencari di tempat lain untuk menemukan mayoritas tentara Nazi. Di situlah Schutzstaffel, atau SS, menjadi penting. SS adalah organisasi paramiliter yang berkembang menjadi tentara yang meledak-ledak di bawah kepemimpinan Hitler, dan seluruhnya terdiri dari anggota partai Nazi. SS-lah yang bertanggung jawab atas sebagian besar kekejaman terburuk yang dilakukan, sementara tentara Jerman non-Nazi dalam Perang Dunia II terutama bertempur di berbagai medan perang melawan militer asing.