圣若望·克利马古出身不详，相传他原籍巴勒斯坦，为圣额我略·纳齐盎的门徒。年方16岁入西乃山修院。经过4年的考验，获准发圣愿，由玛蒂禄负责指导其神修生活。他在玛蒂禄的指导下，一人独居隐修，控制自己的意志，从不与人争执。玛蒂禄去世后，若望改往多肋，远离尘嚣，与世隔绝。附近有一圣堂，若望与其他隐修士往该堂唱经祈祷，参与弥撒圣祭。他一连度了40年的隐修生活，圣德日进，暇时勤读圣经及教父遗著，为沙漠地区最博学圣人之一。可是他常谦卑自下，不愿炫示自己的才学。为了不使旁人注意，他所食的物品，与其他隐修士一样，但食不求饱，浅尝即止。他常与主密契神谈，时常一人独居斗室，念经祈祷，赞美天主。

众人知他圣德卓著，常请他指示神修方法。有的隐修士说他废话太多，圣若望虚心接受，作为补赎，一连12个月，闭口不言。后来，应其他隐修士的请求，继续担任神师，为人解决灵魂上的各种问题。

同会修士常将他与梅瑟相比，“因为他在默想中与天主时相晤对，将修炼纯德的梯阶传授给别人，就如梅瑟从西乃山下来，将天主的诫命传给众人一样。”所谓修炼纯德的梯阶，系指他撰写的《天国梯阶》那本书。该书将修炼纯德的方法，分成30阶段，由浅入深，由易至难，讲解甚详。

天主赋予圣若望解决他人灵魂困难的奇能。有一位修士常受肉情诱惑的困扰，内心异常苦闷。圣若望嘱他一同念经祈祷，自该时起，肉情诱惑不再困扰他了。

某日，他的门徒搬运泥土，种植蔬菜，疲乏不堪，倚在岩石上休息，不觉瞌睡起来。突然间，他朦胧中听见老师叫他的声音，就惊醒了，一跃而起，奔往圣若望处。他刚移身，上面一块巨石坠下，真是险不可言。原来圣若望在神视中目睹巨石摇摇欲坠，立即求天主引门徒脱免此难。

若望年届古稀，被公推为西乃山隐修院院长。教宗大圣额我略很器重圣若望的才德，常致书请他代为祈祷。圣若望管理会务四年，自请辞职。他曾说：“祈祷时，不要搜索华丽词藻，小孩子的呀呀学语天主才最喜欢听。”605年3月30日逝世。逝世时已达八旬高龄。圣人的遗著《天国梯阶》为中古时代最流行的神修读物之一。