征夷大将军在日本历史上原为大和朝廷为对抗虾夷族所设立的临时军事职位，平定后即功成身退。“夷”其实是指曾在本州和北海道居住的虾夷族（爱奴族），而将军一词，意指军阶中的领导职。

公元1192年，源赖朝出任“征夷大将军”后，一时间能够统领各地武士，号令天下，及后便一直保留着将军之名衔，故以后的幕府皆袭用征夷大将军这名衔。

征夷大将军的政府，称为幕府，故俗称其为幕府将军，在日本，也常简称其为将军。

在12世纪末，幕府将军转为所有武士的首领、代表。由1192年镰仓幕府开始，大部分幕府将军，取代日本皇室与天皇，掌握日本实际政权，直到1868年明治维新。

由于将军为首的幕府掌握实权，天皇仅是傀儡，所以后来欧洲人东来，一直误以为“将军”就是日本的皇帝。直到幕末，美国派到日本的特使也还没有弄清楚。