稽胡正式形成于五胡十六国时期，是当时民族的产物，最早受制于汉赵国的统治，后来又先后被前秦后秦所统治。
到了北魏时期，北魏的政中心在平城，与稽胡毗邻，因而在这一时期，对于稽胡的记载逐渐多了起来，稽胡也先后发动叛乱，但最终都被北魏所镇压。在镇压的同时，北魏还对稽胡采取了怀柔政策，并设置郡县，对稽胡不断加强控制，北魏中期以来，稽胡处于相对和平的时期。
北魏末年，爆发了六镇，稽胡也趁势而起，加入到叛乱之中。也就是在这个时期，稽胡开始建立了自己的政权，稽胡部族一同推举冯宜都即皇帝位。有趣的是，冯宜都并非稽胡人，而是介休的一个汉族大户，他利用弥勒大乘教聚拢了大量的稽胡部族，自称会某种巫术，最终，冯宜都成为了稽胡的第一个皇帝。这一点非常像东汉末年的张角起，张角就是利用太平道发起的黄巾起。
稽胡在同北魏作战的过程中，由于稽胡的部分部族出现倒戈，皇帝冯宜都最终被杀，稽胡又拥立了另外一位会巫术的人为皇帝，此人叫做刘蠡升。
刘蠡升利用自己的巫术，以及崇高的个人威望，很快将混乱的稽胡团结起来，并最终被拥立称帝。
北魏末年，有很多草头王，很多起者都自立为帝，但是这些人都属于过把瘾就死的类型，没多久就都死于非命，而刘蠡升称帝，却长达十二年，这在当时是绝无仅有的。
刘蠡升之所以可以做这么久的皇帝，主要是因为稽胡大多藏匿在深山密林之中，有点类似于印第安土著，北魏朝廷很难将其剿灭。而稽胡为了生存，频繁下山劫掠，百姓深受其害，当时人称之为“胡荒”。
一直到了北魏分裂为东西魏之后，稽胡紧邻东魏，高欢决定率军讨伐稽胡，一战就大破稽胡。但是这一战役，高欢并未彻底消灭刘蠡升，高欢自己也损耗不小。
高欢又想出了假和亲的办法，许诺要将自己的女儿许配给刘蠡升的儿子，并且附赠大量的礼品，将刘蠡升的儿子诱骗到了邺城，高欢伺机而动，趁着刘蠡升未作防备，突然袭击稽胡。这次突袭，一举粉碎了稽胡的核心力量，在乱之中，刘蠡升也被自己的部下所杀害。
高欢不仅俘虏了刘蠡升的几个儿子以及皇后公卿百官，同时还收获了稽胡五万户的人口，稽胡在高欢的强大攻势之下，终于消停了。
事实上，稽胡的部落是非常之多的，被高欢所镇压的这只部族只是力量最强劲的一支，而稽胡的小部族，可谓多如牛毛。
在北周王朝统治时期，在其境内的绥州、银州、云阳谷等地，先后有稽胡作乱，虽然都是小规模游击战，威胁不了国家统治，但是这些稽胡人来去无踪，往往深居大山，根本无法从根本上予以剿灭，这也让北周统治者异常头疼。
一直到了公元577年，周武帝宇文邕率兵伐齐，在平阳之战中，宇文邕大败高纬，北齐大军瞬间溃散而逃，却把大量的兵器和辎重散落在了战场了。然而，这些兵器和辎重并没有流落到宇文邕的北周军队手中，却便宜了藏匿在山中的稽胡人，很显然，这些稽胡人是早有预谋，早就埋伏好了的，就等着鹬蚌相争渔翁得利。
此时的宇文邕，就感觉如同有一只苍蝇在他耳边飞一样，听着讨厌，却打不着，宇文邕也只能叹气了。宇文邕的主要任务是讨伐北齐，至于这些深林里的土著，宇文邕暂时也没工夫收拾，可这恰恰给了稽胡人一个绝佳的机会。
北齐在宇文邕的强大攻势之下，最终土