Il développa entre 1936 et 1938 le Z1, un premier calculateur mécanique utilisant un moteur électrique qui ne fonctionna jamais correctement. Sa grande réussite fut la création du premier calculateur électro-mécanique programmable binaire à virgule flottante, le Z3. Commencé en 1937, il fut achevé en 1941. Si l'on assimile le mot « ordinateur » à son équivalent anglais « computer » qui signifie à la fois « calculateur » et « ordinateur », le titre de « premier ordinateur » peut être revendiqué par un grand nombre de machines dont le Z3. Mais le mot « ordinateur » a été créé par IBM en 1953 pour justement différencier les « calculateurs » et ses machines qui disposaient déjà de l'architecture dite von Neumann, la même architecture que les ordinateurs actuels. Trois étapes séparent le Z3 d'un ordinateur.
Le Z3 servit principalement à effectuer des calculs pour l'amélioration des profils aérodynamiques en parallèle avec d'autres calculateurs de Konrad Zuse. Il fut détruit en 1944 par des bombardements alliés.
Konrad Zuse le conçut sur la base du système binaire inventé par Gottfried Leibniz. Il est probable que Zuse connaissait les travaux de George Boole sur l'algèbre binaire (Booléene) et de Claude Shannon qui proposait d'appliquer cette algèbre aux relais téléphoniques afin d'obtenir des machines logiques. Zuse eut des résultats semblables aux travaux de Charles Babbage alors qu'il ne connut (voir discussion) ses travaux qu'après la fin de la guerre.
Konrad Zuse aurait pu être un artisan de l'évolution du calculateur vers l'ordinateur mais cela n'a pas été le cas. Il n'était pas un scientifique recherchant les progrès pour tous mais un ingénieur dans une logique de production et de profits. La publication dans des revues scientifiques ou les communications dans des congrès ne l'intéressaient pas et il travailla dans un total isolement intellectuel entre 1936 et 1945. Même durant la guerre, la communauté scientifique allemande ignorait ses travaux. Sa logique commerciale est confirmée par l'ensemble de sa carrière. Konrad Zuse était dans une démarche à l'opposé de celle des fondateurs de l'ordinateur comme Alan Turing ou John von Neumann, qui conceptualisaient et publiaient avant de passer aux applications.
Conséquence de ce manque de visibilité dans la communauté scientifique et du succès confidentiel de ses productions, Konrad Zuse ne fut pas, contrairement à la plupart des scientifiques allemand de qualité, "vivement invité" par les Russes ou les Américains à la fin de la guerre en 1945.
Son apport à la machine de guerre allemande fut surtout ses calculateurs spécialisés S1 et S2 développés pour l'Aerodynamische Versuchsanstalt (Institut de recherche Aérodynamique). Il s'agissait de calculateurs spécialisés dans la correction aérodynamique des ailes des bombes à guidage Henschel Werke Hs 293 and Hs 294 développées par l'armée allemande entre 1941 et 1945. Ces bombes étaient les précurseurs des V1.
Il conçut aussi le premier langage de haut niveau nommé Plankalkül qu'il ne put utiliser faute de spécifications précises et d'une machine capable de le supporter. Ce langage resta ignoré de tous jusqu'à sa publication en 1972, plus de vingt ans après la sortie du Fortran (1950), beaucoup plus puissant et surtout effectivement implémentable. Ce langage ne fut opérationnel qu'en 2000 lorsqu'une équipe de l'université libre de Berlin développa une implémentation à titre historique.