Harmaakoirapuu kasvaa 1,2-3 metriä korkeaksi, harvoin 8-metriseksi. Se lähettää usein imijöitä maanalaisista juurakoista muodostaen tiheikköjä. Sen kaarna on harmaa ja sen varvuissa on valkoista pihtiä. Lehdet ovat 4-8 cm (1 1⁄2-3 1⁄4 tuumaa) pitkiä ja 1-4 cm (1⁄2-1 1⁄2 tuumaa) leveitä, ja niissä on tyypillisesti 3 tai 4 paria sivusuonia, vähemmän kuin muilla koiralajeilla. Kasvi kasvaa pystyasennossa, jossa on pyöristynyt tapa, vastakkaisesti järjestyneet lehdet ja terminaalisesti syntyneet Kukat. Valkoiset kukat ovat pieniä, neljä terälehteä 2,3-3 mm (0,091-0.118 in) pitkä, ja ryhmitelty yhteen pyöristetty klustereita 2,5-5 cm (1-2 in) leveä kutsutaan diakasiaalinen cymes, tuotettu joskus touko-heinäkuussa. Kukinnan jälkeen tuotetaan vihreitä hedelmiä (drupes), ja ne kypsyvät ja muuttuvat valkoisiksi elokuusta lokakuuhun. Kukat ja hedelmät on kiinnitetty kasviin kirkkaanpunaisilla pedikelleillä. Monet lintulajit käyttävät ravinnokseen hedelmiä. Vanhat oksat kasvavat hitaasti, kun taas uudet varret kasvavat nopeasti. Syksyllä lehvistö voi saada punertavan tai violetin värin, joskaan se ei ole kaukaa katsottuna liian näyttävä.
