海社會主義青年團出現(xiàn)于20世紀20年代。五四運動前，陳獨秀曾長期在上?；顒?。1915年，他在上海創(chuàng)辦了《青年雜志》（后改名《新青年》），使得上海在新文化運動中占有重要地位。

在共產(chǎn)國際的幫助下，中國工人階級最密集的中心城市上海首先建立了共產(chǎn)主義小組。在這個黨的早期組織的籌建過程中，共產(chǎn)黨的發(fā)起人李大釗、陳獨秀等人就對發(fā)展中國青年運動、在青年中培養(yǎng)和挑選預備黨員的工作給予了極大的關注。因此，上海共產(chǎn)主義小組一成立，陳獨秀便指派小組內(nèi)最年輕的成員俞秀松組建社會主義青年團。

1920年，8月22日，上海社會主義青年團由俞秀松、施存統(tǒng)等8人正式發(fā)起建立。俞秀松擔任了中國第一個地方青年團組織的書記，團的機關就設在當時上海法租界的一個普通民居——霞飛路漁陽里6號。為了聯(lián)系和團結(jié)進步青年，上海共產(chǎn)黨和青年團組織就在這里開辦了中國黨、團組織的第一所培養(yǎng)青年革命者的學校——外國語學社，并且在這個學社的學員中發(fā)展青年團員。

1921年2月至4月間，一大批上海社會主義青年團團員陸續(xù)離滬赴蘇維埃俄國，在上海的團員參加了由上海的共產(chǎn)黨早期組織領導的紀念“五一國際勞動節(jié)”活動。

5月1日，負責工人工作的李啟漢帶領部分群眾在上海閘北、天后宮、永安公司等處散發(fā)傳單，外國語學社的學生參加了這次活動。在此之后，由于團的大批骨干赴俄，加上黨的早期組織籌備召開黨的一大，加之漁陽里6號因為遭到巡捕房的搜查而無法開展活動，青年團的活動逐漸處于“無形停頓”狀態(tài)。

1921年7月，中國共產(chǎn)黨正式成立后，決定加強對青年團的領導。8月，從蘇俄參加青年共產(chǎn)國際“二大”回來的張?zhí)祝瑤Щ厍嗄旯伯a(chǎn)國際要中國建團和在中國共產(chǎn)黨中央局的領導下恢復上海社會主義青年團的指示，并在11月制定了中國社會主義青年團臨時章程，明確規(guī)定：社會主義青年團“以研究馬克思主義、實行社會改造及擁護青年權(quán)利”為宗旨，使團的性質(zhì)得到進一步明確。同時，也比較嚴格地確定了團員的標準和義務。

此后，上海社會主義青年團內(nèi)部的思想信仰達到了初步的統(tǒng)一，上海團的活動，也進入了一個新的時期。1922年4月，團的臨時章程公布時，在附則上明確規(guī)定：團的正式中央機關未組成時，以上海機關代理中央職權(quán)。