Szent Ferenc első társaival az Assisi melletti Rivo Torto egyszerű kunyhójában költözött, sikerült részben meglátogatni a felújítás alatt álló szentélyt melyről így ír A Három Társ legendája:

A boldogságos atya akkoriban fiaival egyetemben Assisi közelében egy Rivo Tortónak nevezett helyen tartózkodott, ahol egy mindenektől elhagyott pajta állott. A pajta olyan szűk volt, hogy állni vagy ülni alig lehetett benne. Itt igen gyakran még mindennapi kenyerük is hiányzott, és kénytelenek voltak beérni répával, melyet itt-ott sikerült összekoldulniuk. Isten embere a pajta gerendájára felírta mindegyik testvér nevét, hogy ha pihenni vagy imádkozniakarnak, megtalálják helyüket, és így semmi fölös zaj, ami egyébként a hely szűk volta miatt alig volt elkerülhető, ne zavarja a lélek csendjét.

Egy napon azonban, mikor a testvérek éppen a mondott helyen tartózkodtak, odajött egy szamaras parasztember azzal a nyilvánvaló szándékkal, hogy szamarának a pajtában készítsen helyet. Hogy pedig a testvérek meg ne akadályozzák szándékában, egyenesen behajtott szamarával, s közben így beszélt hozzá: „Lépj be, lépj be csak bátran, itt jól érezzük majd magunkat.” A szent atya, amikor hallotta a paraszt szavait és megértette szándékát, egy kissé felindult ellene, főleg azért, mivel nagy lármát csapott szamarával és zavarta a testvéreket, akik valamennyien mély csendben imádkoztak. Azért az Isten embere így szólt a testvérekhez: „Tudom, testvéreim, hogy Isten nem azért hívott bennünket, hogy istállót készítsünk egy szamárnak, vagy hogy az emberek látogatásait fogadjuk, hanem hogy prédikálással és üdvös tanácsok adásával megmutassuk az embereknek az üdvözülés útját, főleg pedig, hogy ne szűnjünk meg imádkozni és hálát adni.”

A pajtát tehát otthagyták a szegény leprások használatára, maguk pedig a Sancta Maria de Portiuncula templom mellé költöztek át, ahol egyszer – még mielőtt a templom birtokjogát megkapták volna – már laktak az ott levő nyomorúságos viskóban.