По обычаю литовских магнатов, для защиты замка у его стен было устроено искусственное озеро . Этот водоём площадью около 400 га возник при запруживании рек  и . Замок окружили защитной насыпью и рвами с водой.

В 1625 году замок захватила шведская армия. Через несколько лет Радзивиллы вернули почти полностью разрушенный замок, была начата его реконструкция. Замок был отстроен по голландской модели бастионных замков, был оборудован защитной системой насыпей, бастионов, замок приобрёл черты стиля ренессанса. Вновь отстроенный второй замок, как и первый, состоял из целого комплекса зданий разного предназначения — их было свыше 20.

Биржайский замок был во время Северной войны в 1704 году разрушен шведами. После этого замок не восстанавливался. В 1978—1985 годах часть развалин Биржайского замка была реконструирована и теперь там располагается музей Биржайского края «Села» и библиотека.