W 1598 roku Zygmunt III Waza przekazał Lipnik w dzierżawę staroście oświęcimskiemu i właścicielowi dóbr żywieckich Mikołajowi Komorowskiemu, który znany był z masowego wywłaszczania chłopów z ziemi, na której następnie zakładał folwarki. Jeszcze w tym samym roku Komorowski przejął ziemię ośmiu kmieci lipnickich, zmuszając ich do sprzedaży gruntów leżących w zachodniej części wsi, nad brzegiem rzeki Białej. Na zdobytym terenie założył drugi folwark lipnicki zwany dolnolipnickim. Na terenie folwarku postawił dwór obronny zwany też zamkiem lipnickim. We dworze funkcjonowała strażnica wojskowa, której podstawowym zadaniem była ochrona dóbr lipnickich przed napadami zbójników, którzy w tamtym okresie grasowali w Beskidach. Jednocześnie strzegła ona granicy Rzeczypospolitej na rzece Białej, gdyż od 1526 roku księstwo cieszyńskie wraz z Bielskiem znalazło się w granicach monarchii habsburskiej. Przez wiele lat zamek-dwór był rezydencją starostów lipnickich i pełnił funkcję centrum administracyjno-gospodarczego dominium lipnickiego.
Karta pocztowa: Biala-Kloster St. Hildegard. Autor:b.d. Wydawca: H. Jenkner. Rok: 1900. Źródło: Wikimedia common. Domena: Publiczna.
Prawdopodobnie w latach trzydziestych XIX wieku, w bliżej nieznanych okolicznościach zamek wyburzono. Na jego miejscu Karol Tschickardt ówczesny właściciel Lipnika wybudował piętrowy, klasycystyczny pałac, położony równolegle do Drugiej Szosy Cesarskiej, obecnej ulicy Żywieckiej. Od strony szosy pałac otaczał park, który częściowo przetrwał do czasów współczesnych. W pierwszej połowie XIX wieku właścicielem posiadłości został arcyksiążę Albrecht Habsburg. W 1872 roku nieruchomość została włączona administracyjnie do Białej. W 1885 roku książę Habsburg wydzierżawił pałac Zgromadzeniu Sióstr Córek Bożej Miłości. Przybyłe z Opawy siostry, głównie narodowości niemieckiej założyły w budynku klasztor św. Hildegardy i uruchomiły zakład naukowo-wychowawczy dla dziewcząt. Po ośmiu latach dzierżawy arcyksiążę podarował posiadłość siostrom na własność.
Karta pocztowa: Biala-Kloster und Kapelle. Autor:b.d. Wydawca: H. Seibt, Meissen. Rok: 1906. Źródło: Monika Broda i Wiesław Ćwikowski, Bielsko-Biała i okolice – historia pocztówką pisana, Oficyna Wydawnicza M-C, Bielsko-Biała 2002. Domena: publiczna.
W 1896 roku dwór powiększono przez nadbudowanie drugiego piętra oraz dobudowanie od strony południowej kaplicy klasztornej. Zmiany zaprojektował Emanuel Rost. W 1906 roku siostry przekształciły zakład naukowo-wychowawczy w gimnazjum żeńskie z seminarium nauczycielskim. Trzy lata później na terenie zespołu pałacowo-parkowego, od strony obecnej ulicy Broniewskiego, wybudowano gmach szkolny. Przed 1918 rokiem Polacy mieszkający w Białej uważali klasztor za czynnik germanizacji mieszkańców. W okresie międzywojennym niemieccy parafianie, zrażeni polonizacją kościoła pw. Opatrzności Bożej, skupili się „u Hildegardy”.
fot. Budynek klasztoru i kaplica klasztorna w 2017 r.
O budynku klasztoru krążyła też legenda, że był on kiedyś pałacem arystokraty, który miał córkę. W dzień przed jej zamążpójściem w czasie, kiedy skręcała papiloty we włosach, od świecy wybuch pożar, który zajął pałac. Niedoszła panna młoda zmarła w wyniku doznanych obrażeń. Po tych wydarzeniach zasmucony właściciel pałacu zmienił go w klasztor i nazwał imieniem św. Hildegardy.
W czasie II wojny światowej, na początku 1940 roku okupant odebrał siostrom oba budynki. We wrześniu tegoż roku w budynku klasztornym urządził tymczasowe lokum dla niemieckich przesiedleńców z sowieckiej Bukowiny i Besarabii. W budynku szkolnym zakwaterował Zmotoryzowany Oddział Żandarmerii, a w kaplicę przeznaczył na magazyn. W listopadzie 1940 roku jednostkę przeniesiono do Kochłowic, a w szkole również ulokowano przesiedleńców. Po wojnie budynek szkolny znacjonalizowano i otworzono w nim liceum ogólnokształcące im. Adama Asnyka. W 2001 roku nieruchomość wróciła do prawowitych właścicieli.
fot. Budynek szkolny wzniesiony przez siostry w 1909 r. – widok od strony ul. Broniewskiego w 2023 r.