Nasceu no dia 30 de janeiro de 1912, no Distrito de Rodeio (atualmente Município de Engenheiro Paulo de Frontin), no Rio de Janeiro. Ainda menino, trabalhou na confeitaria do pai, Félix Bueno Martins, foi caixa de um botequim e contabilista numa loja de móveis. Aos 18 anos, mudou-se com a família para São Paulo. Não se adaptou e mudou para o Rio de Janeiro. Foi morar em uma pensão com seu irmão Hedelacy e mais seis pessoas.
Com o irmão, aprendeu o ofício de barbeiro e acabou indo parar em uma barbearia no Morro de São Carlos, onde conheceu o compositor José Luiz Costa, o Príncipe Pretinho, que o apresentou a seu futuro parceiro, J. B. de Carvalho, do conjunto Tupy. Herivelto mostrou a J.B. sua primeira composição, Da cor do meu violão, e este a gravou, em 1932.
Entrou para o conjunto de J.B. e conheceu Francisco Sena, com quem formaria a dupla Preto e Branco. Ainda em 1932, conheceu sua primeira mulher, com quem teve dois filhos: Hélcio e Hélio. Em 1935, Sena faleceu e Herivelto formou nova dupla com Nilo Chagas. No ano seguinte, o casamento terminou e Herivelto conheceu Dalva de Oliveira. Em 1937 nasceu Pery Ribeiro, que viria a ser cantor, e em 1940, Ubiratã.
No fim da década de 1940, acaba o casamento e o Trio de Ouro, formado pelo casal e Nilo Chagas. O Trio deixou 22 discos e seis aparições em filmes nacionais. Inspirado pela dor da separação, Herivelto escreve belas canções retratando seu momento. Começa o duelo musical com Dalva. De um lado, Herivelto e David Nasser; de outro, Dalva, com letras e músicas de Ataulfo Alves, Nelson Cavaquinho, Mário Rossi, J. Piedade e Marino Pinto.
Tudo começou com o samba Cabelos Brancos, respondido por Dalva com Tudo acabado. Seguiram-se Caminhemos, Quarto Vazio, Caminho Certo e Segredo, de Herivelto; rebatidas por Calúnia, Errei sim e Mentira de Amor, cantadas por Dalva.
Em 1950, Herivelto formou um novo trio. Seriam várias formações até a década de 80. Em 1952, casou-se com a terceira esposa com quem teve três filhos.
Herivelto Martins faleceu aos 80 anos, em setembro de 1992, em consequência de uma embolia pulmonar.