信武の次男信成が甲斐守護に専念し、嫡男の氏信が安芸の守護として銀山城に定住した。　時は南北朝争乱期、氏信は将軍足利尊氏の命で、安芸南朝方の総師足利直冬（尊氏の4男）に従属する安芸の諸将を攻略し､南朝方に属した殆どの豪族を従属させた。　この時、本拠地甲斐国からも有力家臣が続々と銀山城へ移動してきた。　これをみて、防長の大内弘世が安芸国西部に進出し、牽制をかけるようになる。　その後、足利直冬退治の失敗と九州探題今川了俊の軍事力強化を理由に守護を解任されるが、10年後には安芸の分郡守護が与えられた。