通过长沙“俄罗斯研究会”成员贺民范的介绍，刘少奇加入了社会主义青年团，并同任弼时、萧劲光等进步青年一道前往上海，在上海外国语学社学习俄语，做赴俄勤工俭学的准备工作。
1920年初冬，刘少奇与同伴们一道，自长沙湘江码头登上了北去的火轮船，沿湘江、洞庭湖、长江而下，直抵东方大都市上海。
上海外国语学社设在这个大都市的霞飞路新渔阳里6号，是一幢两层的小洋楼，外观朴素而不显眼。该机构是以陈独秀为首的上海共产主义小组在第三国际的帮助下筹建起来的，目的是输送革命青年去苏俄学习，为即将到来的中国革命运动培养骨干。学社的具体负责人，是共产国际派来的杨明斋，学员主要由各地共产主义小组推荐。
刘少奇等人到达上海时，外国语学社已经开学。由于持有贺民范的介绍信，杨明斋和先期到达的同学们热情地接待了刘少奇一行。他们被安顿在学社厢房楼上的集体宿舍，楼下为教室和办公场所。这里的学习生活是艰苦的，每人每月按规定吃五元钱的包饭，同学们往往五个人合伙包四个人的饭，这样每人可以节省一元钱用于购买书籍。缺少床铺，他们就把铺盖摊在地板上，大家挤在一起，挨过冬日的寒夜。
在这里学习的学员不很固定，多时约有六十余人，少时仅三十余人。和刘少奇同期学习的，有任弼时、萧劲光、罗亦农等。当时，他们都是二十来岁的小伙子，血气方刚，精力旺盛，工作和学习的积极性很高。