吉林是满族的发祥地(原为吉林省省会所在地)，先秦时期，吉林市附近可称为人烟稠密的地方，明代以前的吉林市，虽然为历朝所领，但并未得到充分开发。直至明永乐年间，辽东都指挥使刘清奉命率军来吉林市建厂造船运粮之后，吉林市成为明朝通往黑龙江地区以至更远地方的一个中转站，其政治、经济、军事上的地位日益显著。
清入关后，为了加强对东北地区的统治，顺治十年(1653年)在宁古塔(今黑龙江安宁)设昂邦章京镇守黑龙江、松花江广大地区，吉林市为其下属。由于军事和经济上的需要，顺治十三年(1656年)宁古塔昂邦章京沙尔虎达在吉林建船厂造船(吉林市又名船厂)，后又设水师营训练水师。
康熙元年(1662年)改昂邦章京为镇守宁古塔等处将军。康熙十年(1671年)移副都统一人进驻吉林，管理吉林军政事务，这是清政府在吉林设行政长官之始。
康熙十二年(1673年)又在吉林建城垣。康熙十五年(1676年)宁古塔将军移驻船厂，设将军衙门，当时的政治、军事、经济中心也由宁古塔移到船厂，船厂从此称吉林乌拉，为满语名称。吉林遂成为清政府统治松花江、乌苏里江、黑龙江流域的边疆重镇。康熙指挥对俄的雅克萨战役坐阵吉林督促造船、训练官兵，留下千古绝句《松花江放船歌》。
吉林建城之初尚无孔庙，据《吉林通志卷一•圣训志一》记载，雍正二年(1720xx年)七月，办理船厂事务的朝廷官员给事中赵殿最上奏皇帝，请求在吉林建文庙，遭到了雍正皇帝的严厉训斥：“我满洲人等，因居汉地，不得已与本习(武备)日以相远，惟赖乌拉(当时的吉林)宁古塔等处兵丁，不改易满洲本习耳……。”由此可见，清王朝对吉林乃至整个关外一直实行封闭政策，反对建庙兴学。
随着满汉文化的不断交融，直至乾隆元年(1736年),乾隆皇帝钦命修建永吉州文庙(吉林文庙的前身),再三叮嘱：“务令崇尚朴诚勤修武备之至意，实当永远钦尊”。据《吉林外纪》载，“乾隆七年(1742年)，永吉州知州魏士敏建庙宇黉宫，诸制略备。”永吉州文庙建成后，兴办学校之风日盛，为满汉子弟读书求仕铺设了通道，儒家文化得到了迅速传播，推动了关东政治、经济、文化的发展。
永吉州文庙建成之初，在正殿悬有康熙皇帝御书“万世师表”匾额，此匾额应系康熙十九年(1680年)以后，由康熙皇帝书成，存于宫内的。此外，在嘉庆年间，又由嘉庆皇帝赐御书“圣集大成”匾额一块，悬正殿。
光绪三十二年()，升祭孔为国之大祀。光绪三十三年()，吉林改设行省，巡抚朱家宝和提学使吴鲁认为原有文庙简陋，不足崇礼，乃聘江苏训导管尚莹去关内考察文庙，决定在东莱门外(即今址)拓建新庙(即现吉林文庙)。
宣统元年()新庙落成，其大成门、大成殿、崇圣殿及围墙均以以黄琉璃瓦覆顶。