Flemming uddannet i medicin ved Universitetet i Prag, uddannet i 1868. Derefter tjente han i 1870-71 som militærlæge i den fransk-preussiske krig. Fra 1873 til 1876 arbejdede han som lærer ved Universitetet i Prag. I 1876 accepterede han en stilling som professor i anatomi ved Universitetet i Kiel. Han blev direktør for det anatomiske institut og blev der indtil sin død.
ved brug af anilinfarvestoffer var han i stand til at finde en struktur, der stærkt absorberede basofile farvestoffer, som han kaldte chromatin. Han identificerede, at kromatin var korreleret med trådlignende strukturer i cellekernen – kromosomerne (hvilket betyder farvede kroppe), som senere blev navngivet af den tyske anatomist Vilhelm von Valdeyer (1841-1923). Den belgiske videnskabsmand Edouard Van Beneden (1846-1910) havde også observeret dem uafhængigt.
Flemming undersøgte processen med celledeling og fordelingen af kromosomer til datterkernerne, en proces han kaldte mitose fra det græske ord for tråd. Han så imidlertid ikke splittelsen i identiske halvdele, datterkromatiderne. Han studerede mitose både in vivo og i farvede præparater ved hjælp af salamanders finner og gæller som kilde til biologisk materiale. Disse resultater blev offentliggjort første gang i 1878 og i 1882 i seminal bog, Kern und Cell Theilung (1882; Cellestof, kerne og celledeling). På baggrund af sine opdagelser antog Flemming for første gang, at alle cellekerner kom fra en anden forgængerkerne (han opfandt sætningen omnis nucleus e nucleo, efter Virchovs omnis cellula e cellula). Den ukrainske biolog Petro Peremage (1833-1893) opdagede mitose i samme 1878 på Triturus tail.
Polytenkromosomer i en chironimus spytkirtelcelle, en af over 100 tegninger fra Flemmings bog, 1885
illustrationer af celler med kromosomer og mitose, fra bogen, 1882
Flemming er også kendt for sin filantropi. Han fodrede ugentligt dem, der var hjemløse, og donerede hvert år 20% af hans løn til hjemløse krisecentre. Han lærte især små børn, der var for fattige til at gå i skole om matematik og videnskab.
Flemming var uvidende om Gregor Mendels arbejde (1822-84) om arvelighed, så han gjorde ikke forbindelsen mellem sine observationer og genetisk arv. To årtier ville gå, før betydningen af Flemmings arbejde virkelig blev realiseret med genopdagelsen af Mendels regler. Videnskabskanalen udnævnte Flemmings opdagelse af mitose og kromosomer som en af de 100 vigtigste videnskabelige opdagelser gennem tidene og en af de 10 vigtigste opdagelser inden for cellebiologi.
Flemmings navn hædres med en medalje, der uddeles af det tyske Selskab for cellebiologi (Deutschen Gesellschaft).
