Bien que le site de Ternay présente des traces préhistoriques, son histoire commence véritablement avec la domination romaine. Le Moyen-âge, la Renaissance, la Révolution et les Temps modernes sont les quatre autres grandes époques qui ont rythmé son existence.
L’origine du nom de Ternay provient de "Ternaico", "Tadernaco" qui signifient "boutique", "maison" ; "Trinortium" appellation du temps des romains et qui a pour racine le chiffre "trois" ; "Taderniacum" relevé dans les chartes de Cluny qui signifie "éminence".
A noter, Ternay possède ses propres armoiries.