Il fut le premier à énoncer le principe d'un ordinateur. C'est en 1834, pendant le développement d'une machine à calculer destinée au calcul et à l'impression de tables mathématiques (machine à différences) qu'il eut l'idée d'y incorporer des cartes du métier Jacquard, dont la lecture séquentielle donnerait des instructions et des données à sa machine, et donc imagina l'ancêtre mécanique des ordinateurs d'aujourd'hui. Il n'acheva jamais sa machine analytique, mais il passa le reste de sa vie à la concevoir dans les moindres détails et à en construire un prototype. Un de ses fils en construisit l'unité centrale (le moulin) et l'imprimante en 1888 et fit une démonstration réussie de calcul de table à l'académie royale d'astronomie en 1908.
C'est entre 1847 et 1849 que Babbage entreprit d'utiliser les avancées technologiques de sa machine analytique pour concevoir les plans d'une deuxième machine à différences (n° 2) qui à spécifications égales demanda trois fois moins de pièces que la précédente. En 1991, à partir de ces plans, on a pu reconstruire une partie de cette machine qui fonctionne parfaitement. Pour la reconstruire, on utilisa les tolérances qui étaient disponibles au xixe siècle ce qui montre qu'elle aurait pu être construite du vivant de Babbage.