关于湘南学联的成立过程，大致分为三步。“1918年1月，在武昌湖北外国语专门学校求学的衡阳学生廖焕星，利用寒假之机，从武昌回到衡阳，联络衡阳学生廖砚秋、蔡耀昆、黄俊章、刘平原等人，成立了衡阳最早的进步团体——新城端风团”。 并且发行了进步刊物——《端风》，《端风》第一期刊载了廖焕星为其所写的发刊词。在端风团宣言中，“本团既名端风，顾名思义，当然为一种不满意现在风俗而欲更以合理风俗之团体明矣”。端风团成立后，与湖北互助社、利群书社发生直接联系，新文化、新思想传入湘南地区，为湘南学联的成立奠定了基础。
十月革命一声炮响，给中国送来了马克思主义。毛泽东和蔡和森等人发起成立新民学会，新民学会以“革新学术，砥砺品行改良人心风俗”为宗旨。在毛泽东和新民学会的影响下，蒋先云等于1918年夏秋发起成立了学友互助会，成员有黄静源、张秋人、贺恕、夏明翰、蒋啸青等数十名进步师生。为了避免引起发动派的注意，在省立三师的湘江河畔，经常可以看到三师的进步师生在河里游泳，晒“日光浴”。他们集会讨论的内容多为提倡民主与科学，反对封建迷信；提倡新文学，反对旧文学；提倡新道德、反对旧道德；“该会规约中有不懒惰，不嫖赌，不吸鸦片烟，不好酒贪杯，不为私利图谋；凡事要以‘诚信笃实’‘公勇勤朴’‘积极进取’为要宗等条文”。 一些不明真相的同学都把它叫做“沙子会”，“沙子会”的成员后来大都成为了湘南学联的骨干。
端风团和学友互助会的成立为湘南学联的成立打下了良好的基础，而1919年五四爱国运动的爆发则是影响湘南学联成立的直接原因。随着五四爱国运动的爆发，在北京学生联合会和湖南学生联合会的进一步推动下，1919年6月17日，湘南学联于衡阳成立了。该会公布的宗旨是：“本会以联络感情，交换知识，促进文化，改良社会为宗旨”。湖南大公报刊行了其主张：“组织救国银行；组织学生义勇军；创设各种简要工厂；组织实业研究社；各学生联合会应每月开道德勉励会”。湘南学联由省立三中，第三师范，第三女师，第三甲种工业学校，成章中学，道南中学，广德中学，圣公会等学校联合组成。其中，第三师范的学生发挥了重要作用，湘南学联从创立起至大革命失败，在16届总干事中，有10届出任自省立三师，分别是杨琳、（第一届）蒋先云、（第三、四届）谭步琨、（第五届）袁痴、（第六、七届）黄静源、（第八届）向大名（第十三、十四、十五届）其处所初设于湘江东岸的“浮桥公所”。湘南学联自成立起，就成为了共产党创立初期和大革命时期湘南地区革命运动的中心和策源地，组织和参与了湘南地区的重要革命运动、对湘南地区的革命活动和早期衡阳党团组织的建立、发展产生了重要影响。