Folwark Hornostaje Około 6 km na północ od Goniądza, sąsiadując z jego przedmieściami znajdował się folwark Hornostaje.
Folwark w Hornostajach założono w II połowie XVI w., usytuowany był w sąsiedztwie gościńca knyszyńskiego na terenie łagodnie opadającym w kierunku wschodnim.
W końcu 1571 r. i w pierwszej połowie 1572 r. trwało przejmowanie darowizny radziwiłłowskiej dla króla i przyłączanie jej do starostwa knyszyńskiego, w tym także wieś Hornostaje.
Powstanie założenia dworskiego wiąże się z osobą wojewodziny Witebskiej Anny Radziwiłłówny Kiszczyny, która nadała 1 włókę pustą we wsi Hornostaje Krzysztofowi Zembrowskiemu. Była to nagroda za wierną służbę (nadania dokonano 20 sierpnia 1568 roku). W 1676 roku w Hornostajach funkcjonują 2 folwarki należące do Jana i Krzysztofa Pisanków. Grunty folwarczne starostwa stanowiły awuls starostwa goniądzkiego. W 1784 roku folwark należy do rodziny Dzierżków. To właśnie oni wystawili dwór otoczony regularnym kwadratowym ogrodem. Od strony południowej znajdowały się trzy sadzawki usytuowane po obu stronach alei dojazdowej, od zachodu znajdował się kanał. Wszystkie budynki gospodarcze zlokalizowane były przy drodze do wsi.
Ogród dworski powstał w końcu XVIII w. w miejscu dotychczasowego folwarku. Po utracie niepodległości władze pruskie w 1800 roku przekazały majątek Marcinowi Filipowiczowi. W 1807 roku po traktacie w Tylży majątek odzyskała rodzina Dzierżków.
Najgorszym okresem dla folwarku był czas wojen napoleońskich, kiedy to oprócz zniszczeń wynikających z prowadzonych działań wojennych, majątek został obciążony długami. Z tego powodu w 1838 roku Adam Dzierżek sprzedał Hornostaje rodzinie Hoferów.
W 1864 roku własność odziedziczył syn Józefa Hofera - Jan, a w 1884 wnuk Józef Roszczewski. Za czasów tego ostatniego wzniesiono kompleks nowych budynków gospodarczych oraz nową służbówkę. Wybudowano także nowy murowany dwór skierowany frontem do głównej alei, położony w sąsiedztwie jednej z sadzawek.Pod koniec XIX wieku w odległości 1.5 km od folwarku Józef Roszczewski zdecydował się na założenie cegielni. Głównym powodem jej wybudowania było zadłużenie majątku, które właściciel zamierzał spłacać dochodami z wyrobu cegieł. Na północ od cegielni wzniesiono willę, która przeznaczona była dla zarządcy zakładu. Nieraz z budynku korzystał właściciel majątku traktując go jako miejsce zabaw i spotkań towarzyskich. Na północ od willi i założonego wokół niej ogrodu postawiono budynki gospodarcze.
W 1902 roku Józef Roszczewski zaciągnął pożyczkę w Wileńskim Banku Ziemskim pod zastaw majątku. Pożyczka została zaciągnięta na 66 lat. W 1915 roku cegielnia w okresie działań wojennych została znacznie zniszczona.
W 1922 r. Hornostaje zostały sprzedane Janowi Stanisławowi Wołkowskiemu, który do 1926 r. rozparcelował wszystkie grunty, pozostawiając wyłącznie cegielnię i siedlisko dworskie, które po bankructwie właściciela w 1935 r. zostało bardzo zaniedbane. Po zakończeniu działań wojennych po 1945 roku rozebrano dwór i większość budynków gospodarczych, w ich miejsce postawiono nowe zagrody chłopskie. Nowymi właścicielami ziemi po byłym majątku zostali m.in. Gacka, Pełszyńska, rodzina Pasiewiczów, Popowski, Malinowski Franciszek.
Z dawnej kompozycji pozostały do dziś: lipowa aleja dojazdowa, sadzawka i kanał oraz ślady po 2 innych sadzawkach, część granic ogrodu i kwater porastają pasy zarośli, które zajęły miejsce dawnych szpalerów...Starodrzew składa się z lip alei dojazdowej i kilku pojedynczo rosnących drzew innych gatunków. Najstarsze drzewa to 4 lipy sadzone na przełomie XVIII/XIX w., kilka lip posadzonych ok. połowie tego stulecia.