Flemming studeerde geneeskunde aan de Universiteit van Praag en studeerde af in 1868. Daarna diende hij in 1870-71 als militair arts in de Frans-Pruisische Oorlog. Van 1873 tot 1876 werkte hij als leraar aan de Universiteit van Praag. In 1876 werd hij hoogleraar anatomie aan de Universiteit van Kiel. Hij werd directeur van het anatomisch Instituut en bleef daar tot zijn dood.
door het gebruik van anilinekleurstoffen kon hij een structuur vinden die basofiele kleurstoffen sterk absorbeerde, die hij chromatine noemde. Hij identificeerde dat chromatine gecorreleerd was met draadachtige structuren in de celkern – de chromosomen (wat gekleurde lichamen betekent), die later zo genoemd werden door de Duitse anatoom Wilhelm von Waldeyer-Hartz (1841-1923). Ook de Belgische wetenschapper Edouard van Beneden (1846-1910) had ze onafhankelijk geobserveerd.
Flemming onderzocht het proces van celdeling en de distributie van chromosomen naar de dochterkernen, een proces dat hij mitose noemde van het Griekse woord voor draad. Echter, hij zag niet de splitsing in identieke helften, de dochter chromatiden. Hij bestudeerde mitose zowel in vivo als in bevlekte preparaten, waarbij hij als bron van biologisch materiaal de vinnen en kieuwen van salamanders gebruikte. Deze resultaten werden voor het eerst gepubliceerd in 1878 en in 1882 in het baanbrekende boek Zellsubstanz, Kern und Zelltheilung (1882; celstof, kern en celdeling). Op basis van zijn ontdekkingen vermoedde Flemming voor het eerst dat alle celkernen afkomstig waren van een andere voorloper nucleus (hij bedacht de zin omnis nucleus e nucleo, naar Virchow ‘ s omnis cellula e cellula). De Oekraïense bioloog Petro Peremazhko (1833-1893) ontdekte mitose in dezelfde 1878 op Triturusstaart.
Flemming is ook bekend om zijn liefdadigheid. Hij voedde wekelijks de daklozen en doneerde elk jaar 20% van zijn salaris aan daklozenopvang. Hij onderwees vooral jonge kinderen die te arm waren om naar school te gaan over wiskunde en wetenschap.Flemming was niet op de hoogte van het werk van Gregor Mendel (1822-1884) over erfelijkheid, dus maakte hij geen verband tussen zijn waarnemingen en genetische erfelijkheid. Twee decennia zouden verstrijken voordat de Betekenis van het werk van Flemming werkelijk werd gerealiseerd met de herontdekking van Mendels regels. Het Wetenschapskanaal noemde Flemming ‘ s ontdekking van mitose en chromosomen als een van de 100 belangrijkste wetenschappelijke ontdekkingen aller tijden, en een van de 10 belangrijkste ontdekkingen in de celbiologie.De naam Flemming wordt geëerd met een medaille van de Duitse Vereniging voor Celbiologie (Deutschen Gesellschaft für Zellbiologie).