上海少数民族联合会成立于1991年5月。其前身是上海市少数民族联络委员会。从1979年底起，上海市各区（县）先后开始筹建少数民族联络组。至1987年8月，区、县、局、大专院校及所属单位先后建立了208个联络组，联络员1429人。在此基础上，1987年9月成立了上海市少数民族联络委员会，协调和指导各区、县、局、大专院校和科研单位少数民族联络组的工作。1991年5月由上海市民政局复查登记为社团法人群众组织，同时更名为“上海市少数民族联合会”。
市民族联目前有团体会员50个，其中包括16个区县、15个局（集团公司）、18所大专院校，1个科技系统；218个少数民族联分会（联络组），近3000名少数民族志愿者（联络员），形成了一个覆盖全市的民族联工作网络。
市民族联成立以来，坚持各民族共同团结奋斗，共同繁荣发展的民族工作主题，与各级民族联组织共同努力，在学习宣传和贯彻党的民族政策、维护少数民族合法权益、促进民族团结、协助政府做好社会稳定工作等方面做了大量工作，发挥了积极作用，先后荣获中共中央、国务院“上海世博会先进集体”、国务院“全国民族团结进步模范单位”、国家民委“全国民族团结进步先进集体”、中共上海市委、市政府“上海世博工作优秀集体”等光荣称号。
市民族联现任会长沈炜。