Het kasteel in Janowiec is een renaissance kasteel gebouwd op een helling aan de Wisła rivier. De bouw van het kasteel is in 1508 door Mikołaj Firlej begonnen en werd vervolgens door zijn zoon Piotr voortgezet. In 16e en 17e eeuw was het kasteel goed onderhouden. Er werden daar eminente gasten ontvangen, zelfs in 1606 de koning van het Pools-Litouwen Gemenebest Sigismund III (deze koning is ook op de zuil in Warschau afgebeeld). In februari 1656 werd het kasteel beroofd en verbrand tijdens de invasie van Zweden onder het commando van Karel X Gustaaf van Zweden. Vervolgens werd het kasteel in barokstijl herbouwd en ook uitgebreid door de familie Lubomirski, in wiens bezit het zich tot de eerste helft van de 18e eeuw bevond. De reconstructie werd beheerd door de Nederlandse architect Tielman van Gameren. Tielman trouwde met een Poolse en werd zelfs tot de Poolse adel toegelaten.
Aan het eind van de 18e eeuw verloor één van de Lubomirski familieleden het kasteel door het in te zetten bij een kaartenspel. De volgende eigenaren waren niet in staat om het kasteel te onderhouden. Uiteindelijk werd het verlaten en in verval geraakt.
In 1931 werd het kasteel gekocht door Leon Kozłowski uit Warschau. Hij verbouwde slechts twee kamers van het kasteel. Maar wat belangrijker is dat hij verdere achteruitgang van het kasteel verder kon voorkomen. In 1975 werd het object gekocht door het Nadwiślański Museum. Sinds 1993 wordt er hard gewerkt aan de renovatie van het kasteel.
Het kasteel bevindt zich in de omgeving van Kazimierz Dolny en het is bereikbaar met de auto ongeveer 45 min. Je moet een brug via Puławy aan de Wisła rivier oversteken. Of met een pontje geopend van april tot november afhankelijk van de stand van de rivier. Een rit duur ongeveer 30 min.