El dia 9 de Maig es celebra la festivitat de Sant Gregori, un dels patrons de la ciutat. Segons compta la tradició, aquesta festa es realitza en honor a aquest sant que alliberà els habitants de Benicarló de plagues mortals.

Aquesta festa comença la nit anterior a l’ermita, on algunes associacions de la ciutat disposen d’una barra i de la possibilitat de realitzar una torrada.

L’endemà, de bon matí, comença la festa grossa, amb la romeria del sant des de l’Església de Sant Bartomeu fins a l’ermita, situada a uns 2 km. Els benicarlandos i visitants acompanyen el sant a peu o, fins i tot, amb carruatges i cavalls, i es reparteixen les tradicionals paperines amb confits. A l’entorn de l’ermitori hi ha una petita fira i es cuinen paelles. La festa dura fins a la vesprada. Una vegada cau el sol, els visitants tornen de nou a peu fins a la població.