Na cidade de Santos, existiu a primitiva matriz do Rosário, titulo mariano instituído pelo Papa Pio V e muito popular depois da vitória de Lepanto no dia 7 de outubro de 1571, que impediu o avanço dos muçulmanos sobre o mundo cristão.

Assim foi esse nome dado à igreja, talvez ainda sob a tutela dos irmãos da Santa Casa e na qual se instalaria o clero secular. O certo é que foi aproveitado o antigo lugar da Misericórdia, que transferira esse título e prédio para a atual Praça Mauá (antigo Campo da Misericórdia, posteriormente conhecido como Praça dos Arvoredos); a antigüidade do primeiro local é comprovada pela referência do túmulo de Braz Cubas até o início do século XX, com a observação de que já havia sido trocado de lugar algumas vezes nas três reconstruções da Matriz.

Nela, com o novo título se encontrava a antiga imagem de roca espanhola e a imagem de madeira portuguesa da excelsa Virgem Santíssima. Era muito comum mandarem para as novas terras imagens já velhas, colocando em seu lugar maiores e novas, desde que as antigas não fossem relacionadas a milagre ou fato sobrenatural; igualmente era comum haver uma imagem para o altar e outra para a procissão.

Bem assim, dividiam a devoção as irmandades dos brancos e dos negros (com muitos índios ou negros da terra), e - como ocorreu em todo o Brasil - as duas, por questões culturais e étnicas, não se davam muito bem.

Talvez devido aos batuques africanos rivalizarem com o canto gregoriano europeu, ou os brancos fazerem a procissão pela manhã e os africanos e índios à noite, os brancos carregarem o andor e os outros não, uns serem enterrados no jazigo da irmandade e outros em terreno fora dos limites interiores da igreja, o certo é que isso culminou com a fundação da irmandade dos negros lá pelos idos de 1652, e assim passou a existir a Igreja Nossa Senhora do Rosário dos homens brancos, que ficou com a imagem portuguesa e a Igreja Nossa Senhora do Rosário dos homens negros, que ficou com a imagem espanhola de roca.

Mas, surgiu outra questão ainda: nem os negros, nem os brancos, queriam os mulatos e esses, vice-versa; assim, surgiu a Igreja de Nossa Senhora do Terço dos mulatos, que ficaram com a pequena imagem do consistório.

Mesmo que não haja distinção de etnias no céu, na terra o problema era outro. Reunida por uma devoção em comum, uma irmandade é uma associação religiosa cujos membros zelam pelo culto do orago, pela instituição e pelos seus semelhantes nessa devoção, principalmente garantindo o sepultamento e as orações a um associado falecido; essa instituição é tão antiga quanto as corporações de ofício que surgiram com força na Idade Medieval, mas na realidade colonial ameríndia isso ficou bem claro na distinção social e étnica-cultural, sendo alguém pertencente a uma irmandade muito respeitado pelas demais pessoas.

Uma coincidência foi a demolição da igreja Matriz no momento em que era inaugurado o monumento a Braz Cubas. Num livro publicado em 1919, A campanha Sanitária de Santos, suas causas e seus efeitos, relatavam os médicos esta observação: "Em 1907 caíam demolidos a velha Matriz e o legendário Arsenal da Marinha, ambos reduzidos já ao estado ruinoso que contemplamos, ninhos de ratos, centros de insalubridade, surgindo, no local em que existiam, as vastas praças ajardinadas e arborizadas, onde no ano seguinte foi erguida a estátua de mármore de Brás Cubas...".