Mérnöki diplomáját a berlin-charlottenburgi Műszaki Főiskolán szerezte meg 1935-ben. Már diákkorában tervezett automatizált műszaki eszközöket, például fényképező automatát, de elkészítette egy olyan árukiadó gép prototípusát is, amely rendeléseket vett fel, és a visszajáró pénzt kiadta.

1937-ben a Berlinhez közeli schönefeldi Henschel Repülőgépgyárban kezdett dolgozni tervező mérnökként, majd egy ideig katonai szolgálatot is teljesített, légelhárító rakéták építésében vett részt. Fejlesztő, kutató munkáját különösen a kezdetekben rendkívül szerény körülmények között végezte. Tudományos műhelye a berlini szülői ház egyik szobája volt, pénzzel pedig szülei és barátai segítették. Később önállósította magát, saját üzemében foglalkozott találmányaival.

Nem szeretett számolni, ezért már egyetemistaként egy olyan gép megszerkesztésén gondolkozott, amely elvégzi az ember helyett a mérnöki számításokat. 1936-1938-ban készítette el az első, jelfogókkal működő elektromechanikus számológépét, a Z1-et. A következő, Z2-gépébe már relés elektromechanikus áramköröket is beépített, majd 1941-ben állította össze az első, programvezérlésű, kettes (bináris) számrendszerben dolgozó, elektromechanikus számítógépét, a Z3-at. A szerkezet egy tonna súlyú volt, néhány ezer elektromágneses reléből állt, 22 bites szavakkal dolgozott, memóriájában 64 számot tudott tárolni. Három évvel előzte meg az amerikai Howard Aiken (1900-1973) Mark-I nevű számítógépét.

Gépeit a hitleri Németország időszakában, elszigetelten, önerőből készítette, hírük nem terjedt el a világban. (Ő maga nem volt a náci párt tagja.) A német kormány megrendelésére a háború alatt próbaszámításokat végzett szárnyas bombák megépítéséhez. 1944-ben, Berlin bombázásakor háza és üzeme szinte teljesen megsemmisült, ekkor Göttingenbe költözött.

1945 után több számítástechnikai céget alapított, újjáépítette számítógépeit, a Z3-as és Z4-es gépe ma a müncheni Deutsches Museumban (Német Múzeum) látható. 1948-ban alkotta meg az első programozási nyelvet, az úgynevezett Plankalkült.

Első elektroncsöves gépeit (Z20, Z21, Z22) 1955-ban kezdte el tervezni, de csak a Z22 készült el közülük.
A számítógépen kívül korát megelőző találmánya volt a világ első digitális rajzgépe, a Graphomat (Z64), amelynek konstrukciója azért volt különleges, mert a pontos rajz elkészítéséhez egy hallatlanul precíz fogaskerék-áttételt hozott létre. Akkor még nem volt ugyanis olyan léptetőmotor, amelyet a rajzoló toll mozgatásához használni lehetett volna.

Élete során több száz számítógépet szerkesztett, mintegy 50 szabadalmat jegyeztetett be, többek szerint, ha az Egyesült Államokban élt volna, meggazdagodott volna. Utolsó éveiben a számítástechnika elméleti kérdéseivel, az önreprodukáló automatákkal, valamint festészettel foglalkozott. 1995. december 18-án halt meg Hünfeldben.