山东省足球代表队成立于1956年4月10日，是山东省在中华人民共和国建国后的第一支省级男子足球队，隶属于山东省体委。
1993年12月2日，中国职业足球联赛开始前夕，球队改组为山东泰山足球俱乐部，即后来的山东鲁能泰山足球俱乐部。山东省足球代表队转而成为一只选拔集训队，主要参加全运会等赛事。球员主要来自山东鲁能泰山足球俱乐部，还包括青岛中能足球俱乐部和其他俱乐部中优秀的山东籍球员。
山东省足球代表队于1957年开始参加乙级联赛。1977年成功升级，1978年开始参加甲级联赛。1979年球队获得四运会冠军，这是山东足球历史上第一个全国冠军。1989年甲级联赛分为A、B两组，当年球队降入甲B联赛，1990年又降入乙级联赛。1991年球队获得乙级联赛冠军，重新冲回甲B联赛。1992年球队获得甲B联赛第3名，1993年各级联赛因举行七运会而暂停一年。
由于中国足协决定将在1994年实行足球职业化，甲A联赛扩军，球队以1992年甲B联赛第3名的身份获得1994年中国职业足球甲A联赛的参赛资格。
1993年12月2日，经过职业化改组，山东泰山足球俱乐部成立。1994年，中国足球联赛实行职业化，山东队成为中国职业足球甲A联赛创始球队之一。1998年1月5日，鲁能集团入主，山东鲁能泰山足球俱乐部成立，球队脱离了与山东省体委的隶属关系。
职业化时期，山东省足球代表队以全运会足球队的名义参加中华人民共和国全国运动会中的男子足球比赛，并经常以山东足协为名参加中国足协举办的各级青少年足球赛事。球员主要来自山东鲁能泰山，还有青岛中能等俱乐部及其梯队。此外，还包括与其他省市互相交流而来的非山东籍球员。
