Secondo il Liber Pontificalis, dopo la sua morte, i fedeli che visitavano la sua tomba già lo invocavano. In tempi successivi fu venerato come santo. La prima prova di questa venerazione si trova in un elenco dei santi dell’XI secolo (Mélanges d’archéologie et d’histoire, 1893, 169).

Anche il Martyrologium di Petrus de Natalibus del XIV secolo, contemplava la sua festa che, nel vigente Martirologio Romano, ricorre il 2 dicembre.

La nomina di S. Silverio a patrono dell’isola, avvenne nel 1772 ad opera del Vescovo di Gaeta Mons. Carlo Pergamo. Il vescovo accostò alla figura di San Silverio anche la Santa, vergine e martire Flavia Domitilla (I° secolo D.C.), nipote del pretore romano Domiziano, anch’essa relegata esule a Ponza e poi bruciata viva in quella che con il tempo diverrà l’attuale Terracina.

Le date dei festeggiamenti, sono strettamente correlate alle date della nomina a Papa (8 Giugno del 536) e della nomina a vescovo di Roma (20 Giugno del 536). Queste date, sono anche molto vicine al periodo in cui Papa Silverio esule, mise per la prima volta piede a Ponza, cioè nel mese di Giugno. Nella seconda metà del 1800, gli abitanti della frazione di “Le Forna” decisero di spostare, la festa di S. Silverio all’ultima domenica di febbraio. Secondo alcuni anziani, lo spostamento venne effettuato per permettere all’allora quasi totale popolazione di pescatori di festeggiare il Santo Patrono. Infatti in passato, i pescatori ponzesi partivano dai primi di marzo alla fine di settembre e si trasferivano in Sardegna, in Tunisia, in Spagna, in Francia o in Toscana per poter avere un commercio del pesce più redditizio.

La festa di San Silverio, senza esagerazione, oramai ha una risonanza mondiale. Dovunque emigri un ponzese, vi é una statuetta di San Silverio ed in casi limite anche delle chiese di una certa rilevanza, sia per numero di fedeli che per profilo architettonico.