Construído no séc. XVI, durante a ocupação espanhola, o Forte de São Filipe fazia parte da linha de defesa de Setúbal e da foz do rio Sado, complementando assim a já existente fortaleza de Sant’Iago do Outão. Localizado num declive sobre o mar e protegido por uma segunda linha de muralhas e um largo fosso, a sua planta irregular poligonal, em estrela de seis pontas, e seis baluartes permitia grande diversidade de posições de tiro e maior eficácia de defesa. 

Após um violento incêndio ter destruído quase todas as estruturas interiores (Casa do Governador e outros edifícios militares), sofreu amplas obras de restauro e adaptação para aqui se instalar uma das Pousadas de Portugal.

No interior do forte, subsiste uma pequena capela barroca cuja nave está totalmente revestida a azulejos do mestre Policarpo de Oliveira Bernardes datados de 1736.