Flemming se formó en medicina en la Universidad de Praga, graduándose en 1868. Después, sirvió en 1870-71 como médico militar en la Guerra Franco-prusiana. De 1873 a 1876 trabajó como profesor en la Universidad de Praga. En 1876, aceptó un puesto como profesor de anatomía en la Universidad de Kiel. Se convirtió en el director del Instituto Anatómico y permaneció allí hasta su muerte.
Con el uso de tintes de anilina, pudo encontrar una estructura que absorbía fuertemente los tintes basofílicos, a los que llamó cromatina. Identificó que la cromatina estaba correlacionada con estructuras filiformes en el núcleo celular, los cromosomas (que significan cuerpos de color), que fueron nombrados así más tarde por el anatomista alemán Wilhelm von Waldeyer – Hartz (1841-1923). El científico belga Edouard Van Beneden (1846-1910) también los había observado de forma independiente.
Flemming investigó el proceso de división celular y la distribución de cromosomas a los núcleos hijos, un proceso que llamó mitosis de la palabra griega para hilo. Sin embargo, no vio la división en mitades idénticas, las cromátidas hijas. Estudió mitosis tanto in vivo como en preparaciones teñidas, utilizando como fuente de material biológico las aletas y branquias de las salamandras. Estos resultados se publicaron por primera vez en 1878 y en 1882 en el libro seminal Zellsubstanz, Kern und Zelltheilung (1882; Sustancia celular, núcleo y división celular). Sobre la base de sus descubrimientos, Flemming supuso por primera vez que todos los núcleos celulares provenían de otro núcleo predecesor (acuñó la frase omnis nucleus e nucleo, después de omnis cellula e cellula de Virchow). El biólogo ucraniano Petro Peremazhko (1833-1893) descubrió mitosis en el mismo 1878 en la cola de Triturus.
Cromosomas de polietileno en una célula de glándula salival de Chironimus, uno de los más de 100 dibujos del libro de Flemming Zellsubstanz, Kern und Zelltheilung, 1885
Ilustraciones de células con cromosomas y mitosis, del libro Zellsubstanz, Kern und Zelltheilung, 1882
Flemming también es conocido por su filantropía. Alimentaba semanalmente a los que no tenían hogar, donando cada año el 20% de su salario a refugios para personas sin hogar. Enseñó matemáticas y ciencias especialmente a niños pequeños que eran demasiado pobres para asistir a la escuela.
Flemming desconocía el trabajo de Gregor Mendel (1822-84) sobre la herencia, por lo que no hizo la conexión entre sus observaciones y la herencia genética. Pasaron dos décadas antes de que el significado de la obra de Flemming se realizara verdaderamente con el redescubrimiento de las reglas de Mendel. El Science Channel nombró el descubrimiento de la mitosis y los cromosomas de Flemming como uno de los 100 descubrimientos científicos más importantes de todos los tiempos, y uno de los 10 descubrimientos más importantes de la biología celular.
El nombre de Flemming es honrado con una medalla otorgada por la Sociedad Alemana de Biología Celular (Deutschen Gesellschaft für Zellbiologie).
