Flemming orvostudományt tanult a Prágai Egyetem, 1868-ban érettségizett. Ezt követően 1870-71-ben katonai orvosként szolgált a francia-porosz háború. 1873 – tól 1876-ig tanárként dolgozott a Prágai Egyetemen. 1876-ban anatómia professzori posztot fogadott el a Kieli Egyetemen. Az Anatómiai Intézet igazgatója lett, és haláláig ott maradt.
anilin színezékek alkalmazásával olyan szerkezetet talált, amely erősen felszívta a bazofil festékeket, amelyeket kromatinnak nevezett el. Megállapította, hogy a kromatin korrelál a sejtmag szálszerű szerkezeteivel – a kromoszómákkal (jelentése színes testek), amelyeket később német anatómus nevezett el Wilhelm von Waldeyer-Hartz (1841-1923). A belga tudós Edouard van Beneden (1846-1910) szintén megfigyelte őket, függetlenül.
Flemming a sejtosztódás folyamatát és a kromoszómák leánymagokba való eloszlását vizsgálta, ezt a folyamatot mitózisnak nevezte a görög fonál szóból. Azonban nem látta a felosztást azonos felére, a lánykromatidákra. A mitózist mind in vivo, mind festett készítményekben tanulmányozta, biológiai anyagként a szalamandrák uszonyait és kopoltyúit használva. Ezek az eredmények először 1878-ban, majd 1882-ben jelentek meg a zellsubstanz, Kern und Zelltheilung (1882; Cell substance, nucleus and cell division) című könyvben. Felfedezései alapján Flemming először feltételezte, hogy az összes sejtmag egy másik elődmagból származik (ő alkotta meg az omnis nucleus e nucleo kifejezést, Virchow omnis cellula e cellula után). Petro Peremazhko (1833-1893) ukrán biológus ugyanabban az 1878-ban fedezte fel a mitózist a Triturus farkán.
Politén kromoszómák egy Chironimus nyálmirigy sejtben, Flemming könyvének több mint 100 rajzának egyike Zellsubstanz, Kern und Zelltheilung, 1885
a kromoszómákkal és mitózissal rendelkező sejtek illusztrációi, a zellsubstanz, Kern und Zelltheilung könyvből, 1882
Flemming filantrópiájáról is ismert. Hetente táplálta a hajléktalanokat, minden évben fizetésének 20% – át adományozta hajléktalanszállóknak. Tanított különösen a kisgyermekek, akik túl szegények voltak ahhoz, hogy iskolába járjanak a matematika és a tudomány.
Flemming nem volt tisztában Gregor Mendel (1822-84) öröklődésről szóló munkájával, ezért megfigyelései és a genetikai öröklés között nem talált összefüggést. Két évtized telt el, mire Flemming munkájának jelentősége valóban megvalósult Mendel szabályainak újrafelfedezésével. A Science Channel Flemming mitózis és kromoszómák felfedezését minden idők 100 legfontosabb tudományos felfedezésének és a sejtbiológia 10 legfontosabb felfedezésének egyikeként nevezte meg.
Flemming nevét a német Sejtbiológiai Társaság (Deutschen Gesellschaft F enterprr Zellbiologie) által odaítélt érem tiszteli.
