Primitivamente, por volta de 1765, a via pública não tinha nome. 'Ia do canto do Ospital ao fim dos Quartéis', de acordo com o que assinala Alberto de Sousa em sua obra Os Andradas. Esse 'ospital' era o Hospital Militar, situado nas proximidades dos Quartéis, 'pior que o de S. Paulo, verdadeiro açougue da Humanidade', segundo a rude expressão de Franca e Horta, governador da Província de S. Paulo. O nome de Quartéis surgiu em 1776. Sua alteração para Xavier da Silveira deveu-se à iniciativa do major Joaquim Xavier Pinheiro, quando vereador.

Por que Quartéis ou Quartel? Porque 'logo na sua primeira esquina, ao lado da antiga Alfândega, ficava o edifício onde se alojavam as tropas, isto é, o quartel' (Santos Noutros Tempos).

Na Rua dos Quartéis, na altura da atual Conselheiro Nébias, celebrou-se a 28 de maio de 1866 o casamento de Prudente de Morais com Adelaide Benvinda da Silva Gordo, filha de Antonio José da Silva Gordo. Como se sabe, Prudente de Morais foi o primeiro civil presidente da República, desenvolvendo sua gestão de 15 de novembro de 1894 a 15 de novembro de 1898.

Na Rua dos Quartéis morou um dos mais famosos educadores das primeiras décadas de 1800, o padre Joaquim José de Santana, em um prédio que adquiriu a 6 de outubro de 1824, na quadra da Casa do Trem Bélico. Mestre Santana, professor régio de Gramática Latina, fazia-se notar sobretudo pela irascibilidade e coação, prescrevendo a todo momento castigo fisico aos alunos.

Gente decidida morava na Rua dos Quartéis e periferia, como nos dá conta a luta aberta entre Quarteleiros e Valongueiros. Foi ainda na Rua dos Quartéis que o grande amigo dos animais, Manuel Luiz Ferreira – 'o velho Munguata' – reunia todas as noites, às 20 horas, gatos, cachorros e ratos e lhes dava farta comida, tratando-os com desvelo e carinho. Tornou-se um dos tipos mais populares de Santos, o velho Munguata.

Moradores da Rua do Quartel se dirigiram à Câmara Municipal, pleiteando melhoramentos na via pública. Na sessão que a Edilidade realizou a 11 de julho de 1868, sob a presidência de Antônio da Silva Ferreira Júnior – visconde de Embaré -, o vereador Botelho indicou o aterramento da Rua do Quartel até o Paquetá, pelo lado do cais. Ofereceu adenda o vereador Inácio Wallace da Gama Cócrane, no sentido de que o aterramento 'deveria acompanhar o cais, na largura de 12 a 20 palmos, munido de uma vala, do lado de dentro, que vá escoar mais abaixo em um pontilhão, que poderia ser removido para junto do cais, que está hoje em abandono'. Na sessão da Câmara Municipal de 16 de outubro de 1868, o vereador Silveira comunicou que o empreiteiro José de Oliveira aceitou a proposta da vereança para execução do serviço de aterro da Rua do Quartel, conforme resolvido pela Câmara Municipal na sessão anterior. A via pública também era conhecida por Rua do Mar.

Na sessão ordinária da Câmara Municipal realizada a 2 de outubro de 1901, sob a presidência de José Carneiro Bastos, foi aprovado o parecer 53, da Comissão de Justiça e Poderes, autorizando a Câmara Municipal a colaborar financeiramente no movimento em favor da ereção de uma estátua a Xavier da Silveira. O parecer foi encaminhado à Comissão da Fazenda e Contas, a fim de ser fixada a importância dessa colaboração-solidariedade.

Havia em Santos o Clube Xavier da Silveira, de finalidade cívico-cultural, que, a 1º de outubro de 1884, no Teatro Rink, realizou festividade comemorativa do dia 28 de setembro, de que foi o principal orador o dr. Rubim César. Alunos do Colégio Nacional entoaram a canção Sinos de Carneville, havendo ainda uma parte teatral.