1900년, 읽지도 쓰지도 못하는 가난하고 무식한 하인 앙리 포르텡은 그의 주인 백작이 의문의 자살을 하자 살인범으로 누명을 쓰고 빵 한조각을 훔친 죄로 종신형을 선고받은 장발장과 같은 운명이 되어 형장으로 끌려간다. 그의 부인 카드린 역시 장발장의 부인 팡틴과 같은 운명이 되어 어린 아들 하나를 데리고 험난한 세상에 내동댕이쳐진다. 몸을 팔아가면서 남편의 구명을 위해 힘쓰던 부인은 앙리가 탈출하다 실패하고 자살했다는 소식을 듣고 자살하고 만다. 천애고아가 되어 천박한 세상에 버려진 아들 앙리는 사회의 온갖 박해 속에서도 권투선수, 이사짐 운반노동자의 직업을 전전하며 성장한다. 한편 앙리 포르탱은 50년에 걸쳐 두 차례의 전쟁을 치루면서 비겁함과 용감함이라는 양극을 계속적으로 반복한다.