Aan de oostkant van het centrum staat Swansea Castle, een klein maar historisch belangrijk kasteel dat in de twaalfde eeuw werd gesticht door Henry de Beaumont. Hoewel het tegenwoordig een ruïne is, zijn delen van de oude muren en bogen nog zichtbaar. In de loop der eeuwen werd het kasteel gebruikt als stadhuis, militair gebouw en zelfs als flessenfabriek.