Nació en 1937 en la provincia dominicana de Valverde, hijo de humildes emigrantes haitianos que debieron huir del país pocos meses después de su nacimiento, cuando el dictador Rafael Leonidas Trujillo -quien se hacía llamar El Benefactor- desató una campaña de odio en contra de los haitianos. Adoptado por una familia dominicana, el joven José Francisco trabajó como lustrabotas y mozo en un bar, y decidido a estudiar con ahínco, se trasladó a la ciudad de Santo Domingo -rebautizada como Ciudad Trujillo por el dictador- en busca de mejores oportunidades educacionales. Obtuvo así el doctorado en la universidad de la capital dominicana, y después viajó a la Sorbona, en Paris, para especializarse.

De regreso a su patria apoyó a Juan Bosch, por entonces líder del PRD, quien, a pesar de haber ganado las elecciones presidenciales en 1962 había sido depuesto por un golpe militar poco después. En 1965 Peña Gómez alcanzó notoriedad política cuando, desde una emisora radial, formuló un vibrante llamado a la insurrección popular contra de la dictadura militar y a favor del retorno de Bosch. Junto a un puñado de militares leales al presidente electo y con la ayuda de opositores al triunvirato integrado por Emilio de los Santos, Manuel Enrique Tavares y Ramón Tapia Espinal (designados por los militares y sin ninguna legitimidad constitucional), se tomaron la Radio Santo Domingo. Las fuerzas leales al gobierno de facto contraatacaron y la lucha se extendió por las calles de la capital. Pero los constitucionalistas fueron derrotados en su insurrección plenamente justificada. Los anticonstitucionalistas fueron apoyados por una fuerza multinacional integrada por tropas extranjeras que aniquilaron las esperanzas de un regreso a la democracia. La fuerza multinacional, respaldada por la Organización de Estados Americanos, se dio a la tarea de aplastar a los constitucionalistas. Esta fuerza incluía tropas de Paraguay, por entonces presidido por el general Alfredo Stroessner, y de Guatemala, en ese tiempo gobernada por una sucesión de personalidades militares con escaso respeto por los derechos humanos. Más tarde se incorporaron tropas brasileñas que respondían al mando del gobierno militar que se había tomado el poder en dicha nación, el año anterior.

Peña desempeñó un papel destacado en la lucha contra aquéllos que, desde dentro y fuera del país, se empeñaban por mantener en el poder al gobierno anticonstitucional. Las fuerzas constitucionalistas que él apoyaba eran comandadas por el coronel Francisco Caamaño Deñó. Gran parte de los enfrentamientos tuvieron lugar en los alrededores del Puente Duarte, en ese tiempo la única vía para atravesar el río que cruza la capital dominicana.

Al año siguiente, en 1966, el conservador Joaquín Balaguer, que había sido secretario político de "El Benefactor", asumió oficialmente como Presidente y continuó la dictadura que Trujillo había logrado institucionalizar en República Dominicana. Balaguer fue el continuador del sistema, en forma prácticamente ininterrumpida, hasta los años 90. (No sin razón la República Dominicana fue elegida por Hollywood para rodar allí el film El Padrino, durante el gobierno de Balaguer).

Peña Gómez jamás perdió la esperanza de que las cosas mejoraran y trabajó con Bosch en el PRD hasta que éste último abandonó dicho partido en 1983, para formar una nueva agrupación, desilusionado por lo que consideraba una línea excesivamente moderada de Peña Gómez y sus partidarios. Bajo el liderazgo de este último, el PRD ganó las elecciones presidenciales de 1978 y 1982, y Peña Gómez fue elegido Alcalde de la ciudad de Santo Domingo por el período 1982 a 1986, siendo reconocido por su honestidad y eficiencia, en un cargo nunca antes valorados por tales méritos.

A fines de la década de los 80, dedicó gran parte de su esfuerzo como líder del PRD a apoyar a los trabajadores en sus luchas laborales y promover entendimientos con sus empleadores del sector privado. En algunos casos se trataba de empresas extranjeras tales como Falconbridge Nickel (Canadá), Gulf and Western (EE.UU.) y Metaldom (España).

Cuando postuló a la presidencia en 1990, llegó tercero después de Balaguer y de Bosch, debido a las desventajas que las personas de raza negra y de origen haitiano enfrentan en un país que fuera invadido y ocupado por Haití durante el siglo XIX, y en el cual todavía queda mucho por hacer para eliminar los prejuicios raciales.

En 1994 Peña Gómez ganó las elecciones presidenciales, pero las fuerzas conservadoras de Balaguer lo despojaron de la victoria. Llamó entonces a una huelga general que fue ampliamente apoyada por sus seguidores y, después de una protesta internacional, Balaguer finalmente anunció su prematuro retiro en 1996, tras haber ejercido el poder durante siete períodos. En 1996 Peña Gómez ganó la primera vuelta electoral, pero no logró la mayoría requerida.

En la segunda vuelta Leonel Fernández, un abogado que representaba al nuevo partido del antiguo líder Juan Bosch, y quien fue apoyado también por Balaguer y su conglomerado político, obtuvo un estrecho triunfo.

En la IS, Peña Gómez se dedicó a impulsar el Comité de la IS para América Latina y el Caribe, SICLAC, que presidió por casi 20 años y que constituyó una voz regional vigorosa en el seno de la organización. Para muchos integrantes de la familia de la Internacional Socialista, él representaba la elocuencia y la pasión latinoamericanas.

En una carta a su viuda, Peggy, el Presidente de la IS, Pierre Mauroy señaló que Peña Gómez había sido "uno de los más fervientes defensores de nuestros ideales en la República Dominicana y en el mundo, y uno de nuestros grandes líderes."

El Secretario General de la IS, Luis Ayala, su amigo de muchos años, dijo en su funeral:" En medio del sufrimiento por la pérdida de nuestro hermano Jose Francisco Gómez Peña - un gigante en las batallas por la democracia y por los valores que compartimos- nosotros, sus amigos y todos los socialdemócratas, sabremos cómo seguir su decidido ejemplo en la defensa de los principios socialdemócratas".

Sus funerales fueron ocasión de una gran manifestación de dolor popular, testimonio del gran cariño que el pueblo le tenía, especialmente los dominicanos más humildes.

La influencia de Peña Gómez se hizo sentir tras su fallecimiento cuando, en los comicios efectuados pocos días después, el PRD ganó una amplia mayoría en el Senado y en la Cámara de Diputados. Johnny Ventura, quien reemplazó a Peña Gómez como candidato a la Alcaldía de Santo Domingo en el último minuto, arrasó en la elección, al igual que Peggy, su viuda, quien fue elegida Vicealcaldesa de la capital dominicana.