Монастырь был основан в начале V века неподалеку от могил святых массалийских мучеников, одному из которых – Святому Виктору, он и посвящен. После распада Римской империи он оказался на территории, за которую боролись франки, бургунды и вестготы. В VII веке начинается рост влияния монастыря, который в ту пору был значительным религиозным и культурным центром, избавившись от репутации обители ереси, полученной еще при римлянах.
В конце VIII века Сен-Виктор, как и расположенный неподалеку женский марсельский монастырь были разрушены сарацинами. Долгое время аббатство было заброшено, однако на рубеже X-XI веков здесь появляется сначала часовня, а затем происходит и само возрождение монастыря. В ходе Реконкисты южный берег современной Франции снова стал частью христианских государств (в частности, Прованса и Священной Римской империи). В XIV веке главная церковь была перестроена в романском стиле, свой внешний вид и планировку она сохранила до сих пор.
Монастырь оказывал существенное духовное влияние во всей Бургундии от времени своего основания до начала второго тысячелетия. В течение многих веков в Сен-Виктор направлялись паломники и богомольцы. Однако во второй половине XVI века аббатство утрачивает свой авторитет и теряет библиотеку. В 1739 году папа Климент XII упразднил аббатство.
Во времена Революции территории монастыря, в отличие от многих иных церковных владений по всей Франции, практически не пострадало, а уже в 1840 году бывшее аббатство было классифицировано как исторический памятник.
Сегодня посетители могут увидеть склеп и катакомбы, фрагменты древнего христианского храма, скульптуру Черной мадонны, саркофаги, барельефы.
