Отец Антоний неоднократно просил уволить его на покой, но лишь в 1853 году, по ходатайству святителя Филарета, эта просьба была выполнена, и преподобный Антоний вернулся в скит Оптиной пустыни, где прожил еще двенадцать лет.
В течение этого времени он жил в Оптиной пустыни как лицо, находящееся на покое, и не вмешивался во внутренние дела монастыря и скита и даже избегал давать советы. Только утешал в скорбях приходивших к нему.
Несмотря на ухудшение здоровья, преподобный Антоний посещал все церковные службы и неукоснительно совершал келейное правило, посвящая свободное время чтению творений святых отцов. Был неустанным молитвенником и строгим постником. Невзирая на любовь к уединению, старец никогда не отказывал приходящим к нему за духовной помощью и советом, однако на исповедь принимал в исключительных случаях, число его постоянных духовных детей было ограничено. Как духовник, преподобный Антоний, был снисходителен к человеческим немощам; успокаивая, а не обличая людей, он незаметно приводил их к искреннему покаянию. Он обладал необыкновенным красноречием - случалось, что в течение одной беседы со старцем человек духовно перерождался.