说起哈里，人们的第一印象是正直、诚实、忠诚、爱国。海瑞是世界上最诚实的官员。他虽然是个二流官员，但死后一点钱也没剩下。甚至上街买两斤肉给他妈过生日，全世界都会知道。但他万万没想到的是，他的后人就在他身后。凭着自己的名气和海氏家族的名气，不顾国家利益，靠走私成为琼州首富。

据史料记载，哈里一生娶了三个妻子，但只生了一个女儿，英年早逝。受中国传统香火观念的影响，晚年他从堂弟海尔的孩子中收养了一个孩子，取名海。虽然只是个继子，海还是个正根的官二代。原则上，如果他想走上仕途，以哈里留下的威望，很容易得到提拔和重用。但看到哈里身居高位依然贫穷，他选择了另一条路，成为了一名商人，是一名专门从事走私的贸易商人。

海瑞是个穷官，但海氏家族在琼州绝对是名门望族。海瑞的叔叔海成，出身进士，最高官至四川监史，他的侄孙也参加科举，做了相当大的官。他是琼州有名的科举世家。1550年，海瑞辞官回家，娶了一个妻子，姓邱，曾祖父是秋君，历经四朝，官至礼部尚书，文渊阁大学士。她虽然没有宰相的名号，但她是宰相，后代是一堆文人。海瑞还把侄女许配给了后来的兵部侍郎梁云龙，相当于国防部副部长。家族的强大以及与秋、梁的联姻，使海氏家族成为琼州一个强大的家族。

明朝严禁出海，禁止商人与外国人私下交易。然而，海上贸易的巨大利润吸引了成群结队的商人开始走私。尽管其妹夫梁云龙当时已成为国防部副部长，但海仍未取得朝廷颁发的海上贸易许可证，只能投身走私行业。然而，任借用了哈里留下的名声和海斯家族的影响力，在海上走私与正常的贸易没有什么不同，因为没有人敢检查他的船队。据《五杂俎》的记载，海的生意主要是将海南特产槟榔运到泉州生丝，再将生丝运到南洋出售，获利100多万。这几年来，海之石积累了巨额财富，成为琼州首富。

更可怕的是，海的儿子海叔祖，虽然名字有缅怀祖父海瑞的意思，但骨子里却没有什么忠义爱国之心。当时是明朝末年，农民起义和后金入侵入侵台湾省，整个明朝不堪重负。他仍然只关心自己的走私，他从走私者升级为航海家，建造大船为走私者运送货物。离谱的是，他不满足于现在的财富积累速度，彻底从走私犯变成了海盗。根据公元0755年至79000年的记载，海曙祖建造了一艘堪比郑和下西洋的大船，运送38名走私者出海进行贸易。到了海上，他用船上的器官杀光了所有的商人，把贷款据为己有，在南洋卖成珠宝，才回国。这完全没有人性！

史的传记里明确记载“瑞无子”，一般他不希望这样的后人侮辱他的清名！