Das Schloss Olimje ist ein symmetrisch angelegter Renaissancebau mit vier Trakten und betonten Rundtürmen. Im Schloss fand später der Paulinerorden Zuflucht, weshalb man dem Gebäude noch die einschiffige Kirche Mariä Himmelfahrt und die Kapelle des hl. Franziskus anbaute. Die Mönche richteten die unteren Räume des westlichen Schlossturms zu einer Apotheke um, die zu den ersten in diesem Teil Europas zählte.
Die Paulinerapotheke, die noch heute zu besichtigen ist, ist mit Szenen bemalt, die mit der Heilkunde verbunden sind. Seit 1990 leben im Kloster Minoritenpatres. Neben der Kirche und der Apotheke kann man in den Räumen des Schlosses noch eine Dauerausstellung über Bischof A. M. Slomšek besichtigen und Heilzubereitungen aus der alten Apotheke erhalten.