Construção da igreja - Em 1756, fora registrado em escritura que, antes dessa data, fora adquirido (ou doado), o terreno do coronel José Ribeiro de Andrade, na Rua do Campo, onde mais tarde surgiria o Beco do Gonçalo Borges, entre os ribeiros de São Jerônimo e do Carmo. Nesse local, trataram - como é lógico e necessário para a época - de erguer sua igreja, aproximadamente em 1757.

A irmandade tinha existência legal, servindo como uma verdadeira "embaixada negra", mas ainda continuava, como é lógico, sepultando seus irmãos na velha matriz, até ter seu espaço definitivo, devido aos detalhes da planta, preparação do terreno, levantamento dos seus alicerces e paredes, telhado etc.

Sabemos que levantar uma construção era muito rápido, inclusive cobri-la com telhas. Caros seriam o forro, as talhas dos altares, imagens, alfaias e móveis para a instituição, já as velas para iluminação interna ou para os ofícios religiosos eram doadas pelos irmãos e devotos, em pagamentos de promessas ou ofertas espontâneas.

A Igreja do Rosário dos Negros consta em mapa de 1801, a parte mais antiga da construção é o seu presbitério, que deu continuação à nave, sendo a torre acabada só em 1822, pela falta de recursos. Recentemente, surgiram especulações de que isso ocorrera talvez para burlar uma certa lei que só permitia o acesso de negros até a torre. Mas, tratando-se de uma igreja de negros libertos e cativos, isso não se justifica.

Finalmente a obra foi dada por concluída nessa época, o que vem confundindo os mais desligados, acreditando essa ser a data da construção. Essa torre desmoronou em 1881, sendo sua reconstrução um pouco demorada. Ocorreu também logo depois, em 1897, a colocação das grades de ferro que ornam as janelas do presbitério e do coro, em substituição às antigas, totalmente arruinadas pelos cupins.

Com o advento da Abolição, no ano de 1888, a igreja perdeu sua característica principal, que era a de abrigar e socorrer os negros foragidos das fazendas e casas e que se dirigiam ao Quilombo do Jabaquara, quando a noite já adentrava a madrugada - hora em que as ruas ficavam totalmente desertas, sabemos que a população acordava entre 4h00 e 4h30 da manhã, sendo as 22h00 um momento de pleno sono.

Outra utilidade era ser referência para pessoas que queriam encontrar parentes, pois era a irmandade uma verdadeira embaixada para os cativos e libertos, sendo muito comum o reencontro de pessoas através das Irmandades de Nossa Senhora do Rosário existentes no Brasil e outras associações negras. Foi este um dos fatores que levou boa parte dos irmãos para a Irmandade de São Benedito, por se tratar de um santo da etnia negra.

Outro fato curioso foi o branqueamento dos membros da irmandade, que através de casamentos mistos trouxeram irmãos cada vez mais distantes da etnia negra e a cada união matrimonial mais essas pessoas casavam com pessoas mais claras, tornando seus descendentes brancos ou quase.

A devoção do terço de Nossa Senhora foi mantida até recentemente, quando era rezado o terço às 10, às 12 e às 18 horas pelos devotos e irmãos na igreja.