Пустельництво
Першим ділом братія спорудили собі невеличку хатину. Вони набрали досить багато підручного матеріалу, і з дерева, гілок і глини вийшло скромне житло, в якому було три приміщення. Два з них браття взяли собі під келії, одне залишили для ієромонаха, час від часу відвідував їх місце усамітнення. Виявивши неподалік зруйновану церкву святого Іоанна Хрестителя, Йосип і Арсеній відновили її своїми силами.
На 30 наступних років калива в гірських печерах стала місцем притулку однодумців від мирської суєти. Удвох, незважаючи на те, що місця для житлових приміщень катастрофічно не вистачало, і положення оселі було обрано досить невдало, Йосип і Арсеній проводили свої дні в молитвах і працях. Незважаючи на голод, невпорядкованість і невелику площу приміщень, браття відчували себе комфортно. Тут були створені всі умови для того, щоб вести усамітнене життя, без надмірностей і спокус.
Незабаром до каливе стали приходити інші подвижники. Це були здебільшого молоді ченці, які прагнули вступити на шлях чернецтва і шукали наставника в особі старця Йосипа Исихаста. І знову Йосип і його брат у Христі змінюють місце проживання. Цього разу вони просто перебираються ближче до берега. Тут, у каливе святих Безсрібників, що в Новому скиту, вони продовжують вести відокремлений спосіб життя.
Батько Йосип відчув наближення хвороби, коли йому було 59 років. Важка недуга не злякав і не зломив старця, але сили з кожним днем покидали його. Все почалося з серйозного нариву на шиї, який викликав побоювання за здоров’я Йосипа. Якийсь час старець відмовлявся від медичної допомоги поза каливы, не бажаючи відступати від шляху чернечих подвигів, але все ж, внемля умовлянням своїх духовних вихованців, врешті-решт погодився.
