有了这个启发，辽王又把目光盯上其他特殊人群。
他先是爽快地宣布，在狮子岛工地上那些由海盗、罪犯和俘虏组成的劳动大军就地获得自由，每个人还发五两银子作为安家费，既可以在原工地上干活，也可以自谋职业。
被郭英和山寿带到广宁捣乱的朝廷军队俘虏也有三万多人，分散在各岛上，大多在从事采矿和种植业。辽王也宣布，这些人从此与内地移民一视同仁，享受同工同酬或分田到户政策。家眷在内地的，由辽东海军派出船只免费将家眷接到南洋。
这样一来，不仅现有的三万多特殊劳动力积极性大大提高，还通过拖家带口，呼亲唤友又慢慢增加了上万劳动力。
南洋各岛上的原住民和来自其他地方的早期移民还有不少，由于旧习惯的影响，其中的懒人也不少，自己不爱干活，也见不得别人干活挣钱。
随着大量内地移民的涌入，一些冲突在所难免。特别是在以农耕为主的木洲岛，冲突更加频繁一些。
这里面的原因是多方面的，有的纯粹是宗教在作怪，有的是内地移民仗着辽东军的声势，强占了当地人的良田。
但是更多的冲突原因是，当地人确实太懒，又见不得内地人开荒致富，动不动就偷偷纠集族人毁坏内地移民的庄稼，烧毁他们的房屋，甚至杀死他们的耕牛。
分散在各岛上的巡防营时有出动，自然会拉偏架，袒护内地移民一方，结果导致双方矛盾越来越深。
辽王连续收到几起类似的报告后，也是很头疼。
他既然要在这里建国，就得接受这里的居民和他们的习惯。正如他最初穿越到大明时一样，也得接受大明的贫穷与落后。
最后，在黄湜大才子的提醒下，他决定借鉴当年在辽东搞军营扫盲的经验，在各洲设立一个少年军校，从当地各部落头开始，每年招收两千左右的十到十二岁的孩子，先进行三到五年的扫盲教育，符合条件的送往军营，淘汰的再进行两年的职业教育，使之掌握一技之长，培养良好的劳动习惯，送往工厂、车间或农场，使之融入一个共同的社会。
在他看来，只要抓早、抓小，让当地人从小系好勤劳的第一颗纽扣，没有教育不好的当地人。只不过要多让辽王府付出一些银子和粮食而已。
他还让郭铨建立了一个劳改农场，对于那些好逸恶劳，又屡屡闹事、屡教不改的，就分批送入农场进行强迫劳动改造。
辽王相信，辽东的劳改农场能把海盗改造成良民，这里的农场也能把懒人改造成勤快人。
这年十一月底，辽王的舅哥易信到了袋鼠岛，和徐乾、徐坤兄弟俩讨价还价。
“大徐、小徐，你们兄弟俩个准备好没有三日之内跟我去火洲”
易信刚问了一句，徐乾兄弟俩就叽哩哇啦说了一大堆
“易将军，我们刚在这里没安顿几年，实在不想再搬家了。”
“易将军，这里气候其实挺好的，我们只想在这里保家人平安。”
“易将军，我们已经把那几艘大点的军舰全给你了。你就放过我们吧。”
“易将军，再说我们已经帮你看好了那些俘虏，采了那么多矿石。”
“易将军，我把我们这几年攒的银子都给你，你就放过我们吧”
自从洪武三十年浙江都司徐司马自杀后，徐乾坤兄弟俩个为了避祸，竟然带着东海舰队的两艘主力舰“福州号”和“苏州号”，还有大约两千人的部属及部分家眷，逃到南洋陆宋岛以南的几个海岛