漠河历史悠久，在旧石器时代已有远古人类聚落。漠河县地处高纬度，受太平洋影响，生态环境得天独厚，依山傍水，植物繁茂，动物繁多，是古人类理想的居住场所。境内发现的老沟和洛古河两处古遗址，是距今1万～3万年前古人类活动的遗迹，两处出土的文物证明：漠河县当时的远古人类处于母系社会阶段，过着原始的渔猎生活，并形成聚落定居。

唐虞三代漠河境域为边域荒服之地。

春秋战国，漠河境域为东胡、山戎之地。《伊尹朝商书》记载：早在商朝之初，东胡族已出现商的北方。又据《逸周书·王会篇》载：两周之初，东胡又达周的北方正东。《史记·匈奴列传》记载：“燕北有匈奴”，战国时东胡势力强盛，曾打败燕国，迫使其贤将秦开为人质，后秦开归燕，率军“袭破走东胡，东胡却千余里”。

两汉时期漠河境域属于乌桓和鲜卑之地。

魏晋南北朝时期，漠河境域为鲜卑东部之境。鲜卑为东胡族余支，其居住地在黑龙江、西伯利亚和辽水流域一带，西伯利亚即由鲜卑一音而得。南北朝时，北魏太平真君四年(公元443年)，李敞住祭石室，其地在今大兴安岭内蒙古鄂伦春自治旗首府阿里河镇西北10千米处的嘎仙洞。

隋唐时期，漠河境域属于契丹室韦之地二唐代，契丹居室韦一山，室韦山在漠河西南境，漠河一带称为室韦国，唐王朝在黑龙江西部设置室韦都督府，漠河地受其管辖。

室韦之名始见于北魏史籍，该民族分布于今天大兴安岭东西两侧，黑龙江南北两岸。据《旧唐书·室韦传》载：“东至黑水，西接突厥，南接契丹，北至于海”，与《新唐书》所载略同。唐代室韦东界到精奇里江至牛满江一带；西界在今呼伦湖一带，南界在霍林河流域，北界所到之海当为今鄂霍次克海。

室韦从唐贞观三年(公元629年)入贡，历开元、天宝、大历、贞元、太和、开成、大中、咸通朝贡不绝。唐并于室韦居住中心地区设室韦都督府管辖室韦诸郡。据《通典·边防典》、《旧唐书·室韦传》、《新唐书·室韦传》和《隋书》记载：“唐代室韦共有22部。”其中：落俎室韦，在今精奇里江东西北，黑龙江上游北岸一带。大室韦，在今额尔古纳河下游之南。蒙兀室韦，在阿尔巴西河，即今额木尔河流域(漠河县境内)。据《旧唐书·室韦传》：“其北大山之北有大室韦部落，其部落傍望建河居。其河源出突厥东北界俱伦泊，屈曲东流，经西室韦界又东经大室韦界，又东经蒙兀室韦之北、落俎室韦之南，又东流与那河、忽汗河合”。蒙兀室韦从额木尔河西迁的时间，《蒙古秘史》载：“在7世纪，成吉思汗的始祖孛儿贴亦那带领部落离开兴安丛林西迁，渡腾汲思海，到鄂嫩河的不儿罕山驻牧。”但7世纪是初唐，当时蒙兀室韦并未离开额木尔河流域，直到唐末仍在呼伦湖北一带定居。

辽时期，公元916年，居住东北的契丹族兴起，耶律阿保机统一契丹8部，平定了“奚”和“室韦”，建立了“契丹国”；后改国号为“辽”。公元10世纪，室韦各部尽属于辽朝。《契丹国志》记载：“太祖并储蕃三十六国，室韦在其中。”辽继唐在黑龙江上游地区设治管辖室韦各部。辽初，漠河地方属东京道室韦王国府管辖，到辽圣宗时，改属西北路招讨司室韦节度使管辖。

金时期，漠河为上京治下的蒲与路(路治所在今克东县境内)的西境。公元1115年，女真首领完颜阿骨打率部灭辽后，建立金国，于公元1125年统一了东北全境。

1129年(金天会七年)金在东北地区设置了上京、咸平、东京和北京4个路，蒲与路为上京管辖。《金史·地理志》载：“蒲与路，国初置万户，海陵阁罢万户，乃改置节度使。”经当代考古证实蒲与路南起今呼兰、肇州以北之地，西境以嫩江和今泰来县接壤，东境至汤旺河，北抵外兴安岭，漠河地自在其中。

元初，漠河属蒙古贵族铁木哥斡亦斤的封地，后改为辽阳行省蒲与路管辖。公元13世纪，成吉思汗灭金后，开始分封诸侯，划分领地，将今嫩江流域以北、外兴安岭以南之地，封给其三弟铁木哥斡赤斤。后诸王叛乱被平定后设立岭北行中书省，漠河地在其治下的和林总管府管辖地区内。岭北行省，管辖区域从大兴安岭以西、哲里木盟以北直至北冰洋尽属岭北行省；大兴安岭东至日本海，属辽阳行省辖地。

明时期，漠河属奴儿干都司木河卫之地。 1409年(明永乐七年)，明王朝在黑龙江下游与阿姆贡河江流处右岸的特林设立奴儿干都司，“奴儿干’’为满语的译音，汉语意为“图画”，因该地山川秀丽、风景如画，故名。奴儿干都司共辖384卫、24所、7城站、1寨，所辖区域北界至外兴安岭，东至鄂霍次克海的库页岛。

明正统(1436～1449年)后设立木河卫，对黑龙江上游地区实行有效管辖。据满文档案记载：木河卫直至1564年(明嘉靖四十年)还向明王朝请求袭职。

在清军入关前，东起鄂霍次克海、西至贝加尔湖之间的广大地区的索伦部各族都已臣服于清王朝。清初漠河为索伦达斡尔头人拉夫凯王爷的领地。因清军入关，无暇顾及东北边防，致使罗刹(沙俄)不断侵扰，居住在黑龙江上游地区的达斡尔人先后迁到嫩江流域定居。同时游猎在外兴安岭勒拿河和结雅河流域的鄂温克人和鄂伦春人，逐渐迁徙到阿木尔河、盘古河和牛耳河流域等黑龙江右岸上游一带。

1644年，清军入关后，整个东北地区由盛京总管府管辖。1653年，设立宁古塔昂邦章京。1662年(清康熙元年)，昂邦章京改为镇守宁古塔等处将军(简称宁古塔将军)，漠河地方在其管辖之下。

1674年(康熙十三年)，清政府开始在黑龙江左精奇里江口以南的黑龙江东岸(明代忽里平寨旧址)修建木城。1683年(康熙二十二年)设立黑龙江将军，黑龙江第一任将军萨布素率部戍边于瑷珲，统辖松花江左岸以北，包括漠河在内至外兴安岭的广大地区。1685年(康熙二十四年)后于黑龙江城(瑷珲)设立黑龙江副都统，漠河为黑龙江副都统所辖。1691年(康熙三十年)设布特哈总管衙门，漠河境内原为黑龙江城所辖的鄂伦春、索伦、奇勒尔等牧猎地区，改属布特哈巡查与管辖。

1882年(光绪八年)，漠河划规兴安城总管衙门。1883年俄人结伙在阿勒巴金河(今额木尔河)支流的什都哈河(今老沟河)流域盗采黄金，并成立所谓极吐尔加共和国。1885年清政府察觉后令黑龙江副都统到漠河调查，1886年(光绪十二年)派兵消灭“‘极吐尔加’共和国。1888年(光绪十四年)北洋政府于此处创办漠河金矿总局。1894年(光绪二十年)后，漠河为黑龙江副都统下库马尔路协领管辖，1907年(光绪三十三年)兴安城总管衙门裁撤黑龙江将军衙门改行省。1908年(光绪三十四年)设黑河府，今漠河地域则隶属黑河府管辖。同年，东三省总督徐世昌、黑龙江巡抚周树模奏请设立漠河直隶厅，为缓设之缺，未及实行。

宣统元年(1909年)11月17日在漠河设立总卡衙门。总卡衙门为瑷珲道所辖，委佐领文景为总卡官，同时成立漠河守备队，在黑龙江沿岸漠河境内设监视所6处，由守备队管辖。总卡官文景于1910年(宣统二年)五月初一正式接管一切地方事务，节制洛古河至安罗之间的8处卡伦。总卡衙门负责漠河一带地方政治、军事、经济、文化、税收、民事和涉外事务等职责，是军政合一的地方政权机构。是为漠河地方政权设治伊始总辖境域，西至洛古河卡伦以上8千米的额尔古纳河口，下至呼玛尔总卡所属伊西肯卡伦分界，东西长约350余千米。南以伊勒阿林山(今伊勒呼里山)山脊线与嫩江县分界；北至黑龙江主航道分界与俄罗斯隔江相望。

1912年(民国元年)6月，北洋政府撤销瑷珲兵备道，7月在黑河成立黑河道。1913年(民国二年)，北洋政府又将黑河道改为黑河观察使，漠河则先后隶属于黑河道、黑河观察使统辖。

1914年(民国三年)黑河观察使又改为黑河道。同年7月1日漠河总卡衙门改为漠河设治局，管辖额尔古纳河下游的珠尔干河和漠河两处总卡所辖区域。设治局驻漠河街，漠河设治局隶属于黑龙江省黑河道管辖。

1917年(民国六年)1月26日，漠河设治局改升为漠河县，为二等县，隶属于黑河道辖治。

1929年(民国十八年)，废道制，黑河道改为黑河市政筹备处。漠河县改由省直辖，直属黑龙江省公署，为一等县。

1912年(民国元年)冬，因呼伦贝尔蒙古独立，珠尔干河总卡宫赵春芳组织汉军二营占据吉拉林，与叛军拼死战争。呼伦蒙古独立后，唯珠尔干河总卡地不服叛乱。之后，黑龙江督军命令赵春芳率兵退守漠河，并决定将珠尔干河总卡并入漠河总卡。1914年(民国三年)初，珠尔干河总卡辖地与漠河总卡辖地完全合并后，于同年5月间成立漠河设治局，其辖境范围包括珠尔干河总卡并入辖地6．2万方里，合1．55万平方千米。辖境四至：东部以安罗卡辖界与呼玛的依西肯卡辖界接壤，西部经额尔古纳河与俄罗斯的后贝加尔州为界，东西长435千米，南至伊勒呼里阿林山与嫩江县毗邻，北至黑龙江主航道与俄罗斯的阿穆尔州为界，南北宽约375千米。据1914年(民国三年)黑河道尹调查，漠河设治局辖境总面积为22万方里，合5．5万平方千米，相当于今天漠河县总面积的3倍多。

1917年(民国六年)1月26日，漠河县成立，县辖区域与设治局区域相同，又据1928年(民国十七年)漠河县公署内务调查统计，漠河县总面积为30．36万方里，合7．59万平方千米。1929年(民国十八年)鸥浦设治建县。将漠河东北部划规鸥浦县，漠河区域变化为：东至马伦与鸥浦、呼玛县接壤，西至额尔古纳河，与俄罗斯后贝加尔州为界，东西宽345千米，南至伊勒呼里山，与嫩江县和牛耳河与呼伦贝尔的一部分为界，北至黑龙江主航道中心线与俄国阿穆尔州为界，南北宽375千米。

1931年“9·18”事变后，日本帝国主义侵入中国东三省，1932年4月1日，黑河沦陷。  1934年1月，日军讨伐队侵占漠河。同年5月，伪漠河公署成立，定为丙级县。10月，伪满政府决定将东北三省划为14省，伪满洲帝国民政部于黑河设立了黑河省，开设办事处，11月，改为黑河省筹备委员会，12月1日，伪黑河省在黑河宣告成立，漠河县直至伪满政府灭亡，均隶属伪黑河省所辖。

据伪黑河省总务厅于1935年10月调查，漠河县总面积32638．7平方千米。1939年6月，又将兴安北省北部划归漠河县管辖。其四至：东与鸥浦、呼玛两县接壤，南与兴安北省交界，西南、西部与室韦、奇乾两县毗邻，西北和北部隔黑龙江中心线主航道与俄罗斯赤塔、阿穆尔两州相望。

解放战争时期。1945年8月8日，苏联红军对日宣战。8月11日，苏军陆、海、空三军对漠河日军发起进攻，8月13日，漠河全县光复。在此期间，漠河隶属黑龙江省辖区内。1947年2月，黑龙江省和嫩江省合并为黑龙江嫩江联合省，简称黑嫩省，成立黑龙江嫩江联合政府，漠河县为其第五专署(黑河)。3月，人民解放军某部三旅挺进漠河，解放漠河全境，同时撤销县制并入呼玛县。6月，黑河专署专员许烈到漠河视察，并率章文坦、谢宝斋2人带工作队正式接收漠河，成立“建联会”，统管民主政权。9月，漠河复归黑龙江省领导。

1948年1月，因西部斯大辽克距漠河太远，交通困难，不便领导，黑河专署派“建联会”主任谢宝斋到内蒙古协商划界，将斯大辽克以西划给内蒙古管辖，划定洛古河以上第1号航标灯为内蒙古和黑龙江省的分界点，同时成为漠河西部的分界线。

1948年，土改运动结束后，在原漠河县设立呼玛县第五行政区，下辖漠河、额木尔、马伦、开库康4个乡。

中华人民共和国成立后，漠河仍为呼玛县领导。1958年，改乡成立人民公社，由黑河专区呼玛县领导。1967年，呼玛县革命委员会成立，归黑河地区革命委员会领导。1970年，呼玛县从黑河地区划出，归大兴安岭地区领导。同年8月5日，古莲区和阿木尔区成立。1976年，将阿木尔西部划出，成立图强区，三个区均为县级政企合一体制，均隶属于大兴安岭地区领导。

1981年5月14日，国务院批准成立塔河、漠河两县，将呼玛县西北部的马伦、开库康两个公社划归塔河县，将漠河、兴安两个公社和阿木尔、图强、古莲3个行政区及富克山待开发无人区均归漠河县，县人民政府于同年8月16日在西林吉镇成立，归黑龙江省大兴安岭地区行政公署领导。