El santo nació en la ciudad de Matera (que en aquel entonces pertenecía al reinado de Nápoles) en Italia hacia el 1070.

Cuando era todavía un niño, Juan soñó con vivir como ermitaño.

Un día se le acusó de haberse apropiado del bien de una iglesia y fue enviado a la cárcel tras ser acusado ante el gobernador de la provincia. A poco de estar en la prisión, escapó en una forma que nadie podía explicarse, por lo que se dijo que había sido liberado por un ángel. Llegó hasta Cápua y tuvo que seguir su camino, porque los pobladores no le permitieron quedarse.

En Bari San Juan de Matera fue acusado de hereje por la austeridad que predicaba, pero fue liberado después de defenderse brillantemente en los tribunales.