Про палац писали в ті роки: «Витвір відмінної та вишуканої архітектури». Йому не було рівних в Україні, і навіть велика столиця мріяла про такий палац. Сучасники називали його «тульчинським Версалем» або ж «Королівством Тульчинським».

Його почали будувати в 1775 р. Закінчили будівництво в 1782 р. Архітектором був французький художник, хімік, механік Ла Круа.

Будівля розташована на рівному плато (400×250 м) на правому березі річки Сільниці. Палац складався з головного двоповерхового корпусу з прикрашеним парадним під'їздом на 10 колонах із 8 пілястрами, а далі два бокові корпуси в такому ж стилі. З головним корпусом бокові споруди з'єднані скляними галереями.

До прекрасного під'їзду входили через головні ворота, які розміщувались посередині правого корпусу. Кожному, хто входив у палац, кидався у вічі напис над колонами, виконаний великими бронзовими, позолоченими літерами: «Чтобы в этом доме всегда пребывала свобода и добродетель». Над написом було розташовано позолочений герб «Пілява». Дах був критий мідними листами, у святкові дні його начищали до золотого блиску, щоб видно було далеко за межами міста. Вікна другого поверху трохи вищі від вікон першого, звідси можна зробити висновок, що саме верхній поверх відігравав важливішу роль.

Архітектор палацу просто і разом із тим талановито вирішив проблему опалення та каналізації. Головний корпус із його величезними залами завдовжки 68 м обігрівався лише двома камінами з рожевого мармуру. Стіни були подвійні, а в проміжках проходило тепло, таким чином весь палац перетворювався на величезну батарею. Під підлогою палацу проходили канави, вимощені цеглою. Вони мали вихід у парк під землею. Залишки таких каналізаційних ходів зустрічаються і сьогодні під час земляних робіт.
Внутрішні роботи палацу виконував голландець Меркс.

При палаці був театр, який мав постійно в репертуарі 5-7 опер та 2-3 концерти. Співали в основному італійською мовою. Потоцький був закоханий у театральне мистецтво і всіляко підтримував бажання рідних самим брати участь у виставах.

Довгий час тульчинський палац Потоцьких залишався непоміченим істориками мистецтва. Тільки поява зображення палацу на великій виставці, яка була присвячена польському просвітництву й організована Народним музеєм у Варшаві в 1955 р., посприяла тому, що все прогресивне людство звернуло увагу дослідників на цей надзвичайно важливий об'єкт історії середньоєвропейського класицизму. На картині був зображений маєток, що був копією тульчинського палацу з боку під'їзду (картина була написана в 1835 р. Йозефом Ріхтером). Лише тоді виникло питання про початок обов'язкових реставраційних робіт, і наша держава почала виділяти кошти на реконструкцію палацу. В наші дні в колишньому палаці розташовується Тульчинське училище культури. Щорічно тут навчається більше як 380 чоловік.

– Я дуже пишаюсь,що зараз навчаюсь в такому величному маєтку з такою неперевершеною історією, – каже студентка Тульчинського училища культури Софія.

Велична історія палацу Потоцьких у Тульчині і сьогодні дозволяє розкрити значення цього архітектурного ансамблю для нащадків, туристичних груп і дослідників.