Сильвер начал музыкальную карьеру как саксофонист. Он играл в клубах в штате Коннектикут, где его впоследствии обнаружил Стэн Гетц, который к тому моменту уже был известным музыкантом.
После того как Сильвер переехал в Нью-Йорк в 1950-х годах, он стал играть на фортепиано и выступать в легендарном джазовом клубе Blue Note.
Многие из композиций Сильвера стали одними из самых известных в джазе, в том числе Song for my Father, The Preacher и Filthy McNasty.
Сильвер выступал с такими легендами джаза, как Лестер Янг, Майлз Дэвис и Арт Блэйки.