Skarby gård er navngivet efter tømrermester Skarby, der ejede den i sidste halvdel af 1800’tallet, han udlejede fra 1870’erne værelser og mindre lejligheder ud fra gården. Gården var særligt kendt dens fattige beboere, fattigvæsnet brugte flere gange gården, hvis de manglede et sted at bosætte en familie.
Gården blev nedrevet i 1936.