ארמון שוורצנברג (Palais Schwarzenberg) הוא הארמון שנמצא בשכנות ממש לארמון בלוודר. זהו ארמון מתקופת הבארוק שבנייתו החלה ב- 1697. הבעלים הראשון של הארמון נפטר במהלך הבניה ואז נרכש הארמון על ידי משפחת שוורצנברג.
הדמיון בין ארמון בלוודר לארמון שוורצנברג אינו מקרי: האדריכל שתכנן את ארמון בלוודר הוא גם זה שתכנן את רוב חלקיו של ארמון שוורצנברג מלבד תוספות שנוספו מאוחר יותר. גן הארמון הוא גן בסגנון בארוקי, ממש בדומה לגני ארמון בלוודר. בגן בולט עץ סקויה ענק הנמצא בו. היום בארמון שוורצנברג שוכנים משרדים של מספר חברות, שגרירות שווייץ ועוד.