Rodil se je leta 1024 blizu Clunyja v južni Franciji. Že zgodaj ga je mikalo, da bi šel med menihe slavnega samostana tega mesta, a ga je oče od tega odvračal. Z materino pomočjo je končno le premagal očetov odpor in z osemnajstimi leti postal redovnik, z dvajsetimi duhovnik, s petindvajsetimi leti pa šesti opat samostana v Clunyju. To službo je opravljal šestdeset let.

Čeprav je rad ostajal doma, je moral pogosto potovati. Klicali so ga na vse pomembne sinode, papež in cesar sta mu zaupala pomembna poslanstva. Leta 1059 je bil v Rimu, ko so sprejemali pogumne sklepe o neodvisnih papeških volitvah. V Canossi je leta 1077 dosegel vsaj začasno spravo med cesarjem Henrikom IV. in papežem Gregorjem VII. Zraven je bil, ko je papež Urban II. v Clermontu leta 1095 razglasil začetek križarskih vojn. Reševanja prepirov z orožjem Hugo ni nikoli odobraval. Zvesto je podpiral papeža pri odpravi simonije in drugih razvad med duhovščino, vendar je clunyjevska reforma uporabljala le duhovna sredstva.

Zdi se, da se je Hugo veliko več namučil z vzdrževanjem pravega duha v silni clunyjski redovni organizaciji kakor z zunanjim delom. Prvi čas je še sprejemal nove samostane v skupnost, potem pa je začel podpirati neodvisna redovna središča v oddaljenih deželah, posebno na Španskem in Angleškem. Največ je pripomogel k ohranitvi pravega duha v svojem redu z osebnim zgledom. Z molčečnostjo, molitveno zbranostjo in ostro spokornostjo je dosegel zaupanje sobratov in mogel tako ohraniti trdnost reda, ki je bil tedaj na vrhuncu moči, pojavljale pa so se že tudi razdiralne sile. Ustanovil je prvi ženski samostan po clunyjskih pravilih in je imel na stara leta z njim veselje, ko je videl, da dobro uspeva.

Pridevek Veliki si je pridobil ne samo z izjemnimi državniškimi uspehi in zaradi zvez z najbolj znanimi in slavnimi ljudmi tistega časa, temveč tudi s posebnim darom, da se je znal približati preprostim ljudem in jim postreči.

Na veliki četrtek leta 1109 je zadnjič govoril menihom in jim umival noge. Na veliko noč je zbolel. V torek se je le še malo zavedal. Zato ga je sobrat vprašal, ali še ve, kdo je navzoč v sv. hostiji. Razločno je povedal, da je to Jezusovo telo in dodal: »Poznam ga in molim.« Potem ni več spregovoril.

Umrl je 29. aprila in na ta dan tudi goduje.