源頼義の3男で新羅三郎義光ともいう。　　新羅というのは三井寺（円城寺）<滋賀県大津市>の北院の鎮守「新羅明神」を祭る「新羅善神堂」の前において元服したことにちなむもので、兄も八幡太郎義家、賀茂次郎義綱とそれぞれ元服した神前に由来する名を別に持っている。
　義家は兵法に通じ、弓馬などの武勇にすぐれ、また教養や思いやりをもった人物でもあった。　　後三年の役（1083-1087）には兄の義家を助ける為、奥州に出向いて清原氏を破り、戦勝に貢献している。