Os escravos fugidos das fazendas paulistas, no século XIX, costumavam se reunir em quilombos, e um dos principais no município de Santos (além do Quilombo do Jabaquara, quase no centro de Santos) foi o existente na área continental de Santos, tanto que o local ficou conhecido como Serra do Quilombo. Por essa época, ali também existiu o sítio Nossa Senhora das Neves (que deu nome ao lugar e no final do século XX foi explorado como pedreira), próximo ao limite com Guarujá pelo acesso da estrada SP-55 (Piaçaguera-Guarujá).