Potrivit Joanne Vigor-Mungovin , autorul cartii „ Joseph: The Life, Times and Places of The Elephant Man ”, Merrick avea doi frati mai mici: William Arthur, care a murit intr-o epidemie de variola din 1870 , si Marian Eliza, al carei certificat de deces spune ca a fost „schilodita” de la nastere cu o afectiune necunoscuta. „Merrick a mers la scoala, probabil scoala de langa biserica baptista, unde mama sa a predat scoala duminicala”, spune Vigor-Mungovin. „Tatal sau a lucrat in multe fabrici, dar detinea si un magazin de galanterie si un dealer de uleiuri si lampi”.
Mama lui Merrick a murit in 1873 cand avea 11 ani. „Nu se stie de fapt cand a inceput sa dea semne ale dizabilitatii sale sau daca mama sa stia de boala fiului ei inainte de a muri”, spune Vigor-Mungovin. „A urmat scoala ca orice alt copil, a mers la biserica si a parasit scoala bisericeasa la scoala normala. Se pare ca viata lui Merrick a fost aceeasi cu un copil tipic care creste in Leicester in anii 1870”.
Merrick a parasit scoala la 13 ani si a plecat la munca intr-o fabrica de trabucuri. „Slujba a durat doi ani si in acesti doi ani, deformarea sa se inrautatea”, spune Vigor-Mungovin. Merrick si-a luat apoi permisul de vanzator ambulant pentru a-l ajuta pe tatal sau sa vanda bunuri de la magazinul sau de pe strazile din Leicester si, in cele din urma, s-a stabilit in Leicester Union Workhouse si a locuit cu unchiul sau.
„Merrick era un om de clasa muncitoare din nordul Angliei, care lucrase la joburi necalificate de la varsta de 11 ani, mai intai intr-o fabrica de trabucuri si mai tarziu ca vanzator ambulant” , scrie Nadja Durbach , profesor de istorie la Universitatea din Utah, prin e-mail. . „Fortat sa iasa din casa de mama sa vitrega, care il gasea grotesc, se adapostise cu un unchi amabil, dar locuise si in case de cazare ieftine inainte de a se stabilii in cele din urma in casa de lucru unde a ramas aproape cinci ani”.