山口组是黑社会，它的的头目叫做组长（代目），副组长叫做若头，高级干部叫做舍弟，一般成员叫做若众。

日本“淡路岛津名郡”从事渔业出身的“山口春吉”，在1906年前往神户港转行担任海运业“仓桥组”的小工头。

1912年加入港湾人工供给业的“大岛组”（组长及副组长为人称运河亲分的大岛秀吉及其妻青山冴子）担任现场监督保镖。

1915年3月、“山口春吉”在神户市兵库区西出町与另外约50名的码头装卸工创立山口组，成为当时博徒系大岛组系的一支。

1925年，山口春吉隐退，由他的长子“山口登”继承二代目组长。

1925年，“山口登”与子分成员34人，在神户市须磨的料理亭完成家业传承仪式。

1929年，因上纳金问题，“山口登”被大岛秀吉破门、逐出大岛组。

1930年，山口组为了取得神户市计划预定建设“神户中央批发市场”的利益，将事务所迁移至兵库区切户町、神户中央批发市场预定地的附近，为此，山口组与大岛组正式对立，事后，流血冲突不断。

1932年7月，大岛组杀害“山口登”的计划失败，畏于日本军国主义政权兴起的疑虑，从此中止对山口组的冲突事件后，“山口登”急需拓展山口组新的经济来源，开始介入“浪曲兴行”的演出事业，在与神户市议会议员福森庄太郎协商后，同年7月，“山口登”在四国替“松风轩荣乐の花”举办演出活动；事后山口组成立了兴行部（演出事业部）取代了“松风轩荣乐の花”，并将该兴行负责人庄村吉之助安插为山口组兴行部经理。同年12月神户中央批发市场开业，山口组获得营业权，并在市场内经营赌场。

在山口组介入演艺事业后不久，除了在各地举办公开演出外，亦曾介入日本的国技馆当保安；“山口登”也经常为浪曲师调停演出的纠纷并为吉本兴业进入东京的事业作担保。

1934年8月，发生“海员争议”，“山口登”被委托担任调停纠纷的角色；山口登的代理人（舍弟）却在与工会协商时，与工会的右翼团体及总会屋发生冲突被杀害，当时的山口组组员冈精义与见习员田冈一雄付命前往处理，田冈就用日本刀把工会长杀成重伤，随后被捕入狱；同年10月，山口组为了争取一知名浪曲师广泽虎造的演出权，开始积极说服他从“浪花家金蔵”转入吉本兴业。

1935年10月，田冈一雄从刑务所出所，隔年1936年1月，正式成为“山口登”的子分组员。

1937年2月，田冈一雄因斩杀同组组员大长八郎，再度入所服刑8年。大长八郎的兄长山口组的若头大长一雄，至此求去。

1940年，山口组为吉本兴业代理解决浪曲师广泽虎造演出权转移的争议问题与浅草的“浪花家金蔵”幕后组织篭寅组产生对立冲突；同年8月，“山口登”前往浅草“浪花家金蔵”的处所与篭寅组协商广泽虎的演出权不成，被篭寅组5人袭击重伤。

1942年10月，山口登因伤病逝。