Herzog nació Werner Stipetich en Múnich, Alemania, de Elisabeth Stipetich, austríaco de ascendencia croata, y Dietrich Herzog, alemán. Cuando Herzog tenía dos semanas de edad, su madre se refugió en el remoto pueblo bávaro de Sachrang, en los Alpes de Chiemgau, después de que la casa junto a la suya fue destruida durante un bombardeo de los aliados en la Segunda Guerra Mundial. En Sachrang, Herzog creció sin agua corriente, un baño de descarga, o un teléfono. Refirió, "no teníamos juguetes, no teníamos herramientas", y dijo que había una sensación de anarquía, como todos los padres de los niños estaban ausentes. Nunca vio películas, y ni siquiera sabía de la existencia del cine hasta que un proyeccionista viajante llegó por la escuela de una sola habitación en Sachrang. Su padre había abandonado a la familia temprano en su juventud. Herzog más tarde adoptó el apellido de su padre Herzog (alemán para "duke"), que pensó que sonaba más impresionante para un cineasta. Herzog hizo su primera llamada telefónica cuando tenía diecisiete años; dos años más tarde, comenzó a trabajar en su primera película, Herakles. Herzog dice que cuando finalmente conoció a su padre de nuevo, "bastante tarde en la vida", su madre tuvo que traducir el alemán de Werner en el dialecto bávaro que su padre habló para que los dos pudieran comunicarse. Herzog, de trece años, fue dicho por un maestro de música intimidante a cantar en frente de su clase en un esfuerzo, Herzog dijo, "para romperme la espalda." Cuando se negó inflexiblemente fue casi expulsado. El incidente lo cicatrizó de por vida. Durante varios años Herzog no escuchó música, no cantó canciones, y no estudió instrumentos, pero cuando cumplió dieciocho años se sumergió en música con particular intensidad.A una edad temprana, experimentó una fase dramática en la que se convirtió al catolicismo, que sólo duró algunos años. Comenzó a embarcarse en largos viajes, algunos a pie.Por esta época, sabía que sería un cineasta y aprendió los fundamentos de unas pocas páginas en una enciclopedia que le proporcionó "todo lo que necesitaba para empezar" como cineasta—que, y la cámara de 35 mm que robó de la Escuela de Cine de Munich.En el comentario de Aguirre, la ira de Dios, dice: "No lo considero robo. Era sólo una necesidad. Tenía algún derecho natural para una cámara, una herramienta para trabajar con".Durante los últimos años de secundaria de Herzog, ninguna empresa de producción estaba dispuesta a asumir sus proyectos, así que trabajó turnos nocturnos como soldador en una fábrica de acero para ganar los fondos para sus primeras características.Cuando terminó la escuela, pero antes de graduarse formalmente, siguió a su novia a Manchester, Inglaterra, donde pasó varios meses y aprendió a hablar inglés. Descubrió que las clases de idiomas carecían de sentido y "volaron". Después de graduarse de la escuela secundaria, quedó intrigado por la pos-independencia Congo, pero al intentar viajar allí, llegó sólo al sur de Sudán antes de caer gravemente enfermo. Mientras ya hacía películas, tuvo una breve estancia en la Universidad de Munich, donde estudió historia y literatura. Herzog posteriormente se trasladó a Pittsburgh, Pennsylvania para estudiar en la Universidad de Duquesne.