Fils d'un canut « maître-fabricant », il exerce de nombreuses professions dont certaines sont liées à la soie, mais également à l'imprimerie. Ayant étudié seul la mécanique, il met au point, en 1801, le métier à tisser Jacquard, dit métier Jacquard. Dans la continuité des travaux de Jacques de Vaucanson, il équipe son métier d'un mécanisme sélectionnant les fils de chaîne à l'aide d'un programme inscrit sur des cartes perforées (que l'on doit à Basile Bouchon). Il devient ainsi possible à un seul ouvrier de manipuler le métier à tisser, au lieu de plusieurs auparavant.
Le 12 avril 1805, Napoléon rencontre Joseph Jacquard lors d'un séjour à Lyon. Quelques semaines plus tard, le 27 août 1805, Jacquard reçoit, de la part de l’Académie de Lyon, le prix des inventeurs. À partir de cette date, il accumule les prix d’honneur et les récompenses. Le 17 novembre 1819, il est fait chevalier de la Légion d’honneur et en 1826, il est nommé conseiller municipal d’Oullins.
Amélioré par Jean-Antoine Breton en 1806 et 1817, le métier connaît un succès international (certains sont encore utilisés de nos jours). À Lyon, le métier Jacquard marque les prémices de la révolution industrielle, qui profitera beaucoup à la ville, mais qui entraînera aussi une restructuration sociale difficile. À ce titre, le métier Jacquard, accusé de mettre des canuts au chômage, est souvent évoqué comme l'une des causes de la révolte des Canuts de 1831. Le 16 août 1840 fut inaugurée, place Sathonay à Lyon, une statue en son honneur, faite en bronze. Déplacée en 1898 place de la Croix-Rousse, elle honore le « bienfaiteur des ouvriers lyonnais ». Fondue en 1942, elle est remplacée en 1947 par l'actuelle statue en pierre.
Le métier Jacquard, qui a inspiré Charles Babbage, est souvent présenté comme l'un des ancêtres de l'ordinateur.