Die früheste bekannte Verwendung von Vernon als Familienname stammt aus dem Jahr 1031 in der Normandie, als ein großer Sohn von Roger de Vernon die Kirche St. Peter in Fourques (wahrscheinlich entweder der heutige Saint Paul de Fourques oder St. Eloi de Fourques) an die Abtei von St. Ouen in Rouen.
Ein paar Jahre später wurde Hugo als einer der Männer registriert, die einer Landgewährung durch Herzog Robert von Normandie an die Abtei St. Wandrille in Serville, zehn Meilen nördlich von Rouen, zustimmten. Obwohl Hugh und seine Familie später im elften Jahrhundert Herren der Stadt und des Schlosses von Vernon werden sollten, war Hugh zum Zeitpunkt dieser Charta nicht ihr Herr, da die Herzöge der Normandie diesen Titel bis 1035 persönlich innehatten. In diesem Jahr verlieh Herzog William, Roberts Sohn, den Titel an seinen Cousin Guy de Burgundy. Die Herrschaft scheint 1047 nach dem gescheiterten Aufstand von Guy de Burgundy an Hugh de Vernon übergegangen zu sein. Hugh überlebte bis in die frühen 1050er Jahre, als er von seinem Sohn William als Lord of Vernon abgelöst wurde.
Für Nachkommen dieser Familie siehe:-
Familie Vernon Vernon Baronets Baron Vernon Earl of Shipbrook Edward Vernon (1684-1757), britischer Admiral
