磐司と万三郎は兄弟で、栃木県日光山麓に生まれ、北関東から奥羽山脈一円の山々を駆けめぐり、狩猟生活（マタギ）をつづけながら二口峠（磐司岩）に住みついたという。
弟の万三郎は狩りの名人で、狙った獲物は逃がさないといった凄腕であったが、兄の磐司は鷹揚ではあったが狩り下手だったという。
ある夜、磐司の小屋に苦しげな身重の女が訪ねてきて一晩の宿を乞うてきた。磐司は快く女を小屋に入れ親切に介抱してやった。聞けば彼女は、先に万三郎の小屋を訪ねたのだが厳しく断られたという。磐司は狩の名人である万三郎がマタギの掟を遵守したのは当然であると感じつつ、自分の行った行為もまた然るべきという寛容さもよしと考えていた。
翌朝無事出産を済ませた彼女は、お礼に獲物がたくさん捕れるという呪文（山に入る時に「磐司磐司磐司」と３回唱える）を磐司に授け、自らを山の神と名のりどこへともなく立ち去ったという。磐司はそれからというもの多くの獲物に恵まれ、一方の万三郎は逆に獲れなくなったという。
この頃比叡山延暦寺の僧慈覚大師円仁が、諸国行脚の途中山深い奥羽の地に布教をしようと二口峠（磐司岩）を旅する。大師は奇岩がそそり立つ壮観な景色（現山寺）に心を引かれるとともに、ここに精舎を開こうと土地の事実上の主である磐司と面会、布教活動の許しと土地の借用を願った。磐司は大師の功徳と説法に感動、弟万三郎とともに殺生の所業を止め、その教化に従いながら立石寺開山に全面的に協力したと伝わる。
立石寺には、地主として円仁に協力した磐司の人徳を祀った「磐司祠」と「磐司像」がある。
