Дворец и окружающий его парк были заложены в 1838 году по проекту архитектора Ф. Ящолда. В усовершенствовании объекта через два десятилетия принимал участие В. Маркони. Заказчиком в том и другом случае выступал граф Вандалин Пусловский — владелец Коссовского ключа, известный промышленник.

В разное время во дворце имелось от 88 до 132 комнат. Каждая из 12 башен замка символизирует месяц года. Наиболее урожайные — центральные четыре башни — это хлебные месяцы года: май, июнь, июль и август. Замок выстроен так, что каждый год два с половиной дня солнце освещает полностью одну комнату. Система внутренних проходов и окон позволяет проникать солнечным лучам в каждый уголок замка. По легендам, в «день комнаты» её убирали, наряжали и радовались солнечному дню именно в ней.
С дворцом Пусловских связано много преданий. По некоторым данным, в парадном зале был стеклянный пол, под которым плавали рыбки. Эта информация пока не нашла официального подтверждения.
Ещё одна легенда гласит, что хозяева дворца держали «домашнего» льва, которого ночью выпускали гулять по замку в целях защиты от краж.
Самый распространенный миф — наличие подземного хода между Коссовским дворцом и резиденцией Сапегов в Ружанах. Говорят, тоннель был шириной в карету и длиной 25 километров.
Во время Первой мировой войны дворцовый комплекс был опустошен и разграблен. В польский период (1920-1939) замок восстановили, здесь размещались органы самоуправления Коссовского повета и сельскохозяйственная школа.
Во время Второй мировой войны дворец Пусловских едва избежал полного разрушения. В июле 1944 года, когда наступавшая Красная армия освобождала территорию Беларуси, местные партизаны обложили замок хворостом (привезенном на возах) и подожгли. Никакой военной необходимости в том не было: к моменту операции гитлеровцы из Коссово уже убрались. Пожар продолжался более недели, дым над остовом дворца вился до сентября 1944 года. Здание выгорело полностью, обвалились кровля и перекрытия.