Os Quartéis foram iniciados em 1776 e esta foto de quase um século depois (1865) mostra o prédio do Quartel, que deu origem ao nome da região, na atual Rua Visconde do Rio Branco, junto à face Leste da Praça Antonio Teles, em área próxima ao Outeiro de Santa Catarina (bairro do Paquetá):

Sobre esse local, escreveu o arquiteto Gino Caldatto Barbosa, no livro Santos e seus Arrabaldes - Álbum de Militão Augusto de Azevedo, em 2004, baseando-se na obra de Victor Hugo Mori (Arquitetura Militar - Um Panorama Histórico a Partir do Porto de Santos, publicada em São Paulo pela Imprensa Oficial do Estado, em 2003, páginas 189 a 199):

"Edificação correlacionada ao Forte da Vila e à Casa do Trem Bélico, estava em atividade desde o início do século XVIII, como parte de um ambicioso plano de defesa do Porto de Santos, que pressupunha a construção de muralhas ao redor da cidade, atalaias e um grande forte com baluartes, elaborados pelo brigadeiro João Massé, em 1714, a mando do rei de Portugal.

"Em meados do século XIX, o quartel havia passado por reformas, identificadas no registro de Militão pela desproporção do frontão triangular que tentava atualizar grosso modo a arquitetura colonial do edifício. Continha um dormitório, dois quartos, prisão e cozinha - quadro incompatível coma descrição documentada por João da Costa Ferreira, engenheiro militar que, em 1801, apontou 21 cômodos no levantamento métrico que realizou. Ficou em atividade até quando a extinção do Comando Militar de Santos acarretou sua demolição, simultânea à do Forte da Vila, em 1891".