只要有机会，山越人就会成群结队的收割汉人的庄稼，但有反抗者，一概杀戮。这还不算完，倘若遇上了力量薄弱的县城，他们便会强行攻城。破城之后，烧杀劫掠，男人杀掉，女人抢走，房屋烧掉。
历代扬州刺史都曾经软硬兼施，先是分给他们土地，以及耕牛、农具、种子等物资，希望栖居在山林中的山越人能够下山做个老实耕种的良民，不再劫掠、骚扰汉人百姓。但山越人言而无信，收了官府的资助后，回头就把耕牛杀掉吃肉，粮食种子磨面，农具熔化了制造武器，变本加厉的劫掠汉人。
被山越人玩弄于鼓掌之中，历任扬州刺史自然不肯吃这个哑巴亏，遂派遣郡兵入山剿匪。山越人虽然甲胄不全，但却因为自幼栖居在山林之中，一个敏捷伶俐，善于攀爬，而且因为是狩猎民族，所以山越人的箭术非常了得。近二十年来，扬州的地方郡兵前前后后围剿山越贼寇不下百次，一直都是负多胜少，屡次大败而回。