Het kasteel van Baarlevelde was tot voor 1780 een klein kasteeltje dat rond de eeuwwisseling in empirestijl werd vergroot en omgebouwd. Adrien De Kerchove d’ Ousselghem bracht de zijvleugels aan in 1908-1909.

De vooraanstaande families die het bewoonden leverden vaak de burgemeester van Drongen. Joseph Van Alstein bijvoorbeeld, was burgemeester van 1800 tot 1810, maar werd gedwongen ontslag te nemen uit zijn functie “wegens verwaarlozing van zijn ambt”. Later kwamen uit de familie Rooman meer invloedrijke burgemeesters voort.