Dirch Hartvig Passer blev født den 18. maj 1926 på Østerbro i København. Hans forældre var hjemmegående mor Ragnhild Fich og skibsfører Vilhelm Passer. Han havde to yngre søstre, Kirsten og Marchen, og han tog realeksamen på Bryggervangens skole. Derefter