Nació en Buenos Aires, en la calle Canning -actualmente Scalabrini Ortiz- en Villa Crespo. Fue el tercer hijo (el único nacido en Argentina) de un matrimonio de inmigrantes judíos ucranianos, José Gelman y Paulina Burichson. Aprendió a leer a los 3 años y pasó su infancia andando en bicicleta,
jugando al fútbol y leyendo. Desde niño es simpatizante de Atlanta, el club de fútbol del barrio, donde años después le pondrían su nombre a la biblioteca, algo que él considera «el homenaje más grande de su vida». Comenzó a escribir poemas de amor cuando tenía ocho años y publicó el primero a los once (1941) en la revista Rojo y Negro.
Realizó sus estudios secundarios en el Colegio Nacional Buenos Aires. A los quince años ingresó a la Federación Juvenil Comunista. En 1948 comenzó a estudiar Química en la Universidad de Buenos Aires pero abandonó poco después para dedicarse plenamente a la poesía. Grupo "El pan duro" y la nueva poesía (1955-1967)
En 1955 fue uno de los fundadores del grupo de poetas El pan duro, integrado por jóvenes militantes comunistas que proponían una poesía comprometida y popular y actuaban cooperativamente para publicar y difundir sus trabajos. En 1956 el grupo decidió publicar su primer libro, Violín y otras cuestiones.
La vida de Juan Gelman quedó marcada por la desaparición de su hijo y de su nuera embarazada durante la dictadura militar, por la búsqueda de su nieta robada al nacer, y por el rencuentro con ella 23 años después. Gelman ha dicho muchas veces que el dolor de perder a un hijo no acaba nunca. Pero no escribió desde el odio sino desde la pérdida. En una entrevista el escritor dijo "Entre los culpables del asesinato de mi hijo había un general que fue condenado a prisión perpetua. Cuando dictaron la sentencia algunos jóvenes que ni siquiera habían vivido la dictadura saltaban de alegría. Pero yo no sentí nada. Ni odio, ni alegría ni nada."(Gabriela Vidal)
