En 1572, Antoine de la Porte, fils de Hugues, épouse Hélène de Cousin. Il décède en 1585. En 1591, Hélène de la Porte épouse en secondes noces Claude de Buffevent, seigneur de Flévin. Par ce mariage, la famille Buffevent devient propriétaire du château de la Porte. C’est à cette époque que le parc et son nymphée sont créés.
En 1654, Anne de Buffevent, seule héritière des biens, se marie à Ternay avec Louis du Bourg, seigneur de Césarges et de Chaleyssin. Cette union scelle l’histoire du château avec les descendants des familles Buffevent et du Bourg, jusqu’à la période révolutionnaire de 1789.
Plusieurs propriétaires se succèdent jusqu’en 1967, date à laquelle Madame Carol, dernière propriétaire d’un ensemble en ruine, cède à la commune de Ternay son titre de propriété contre la construction d’un pavillon, route de Chassagne.