双屿港在六横岛发展历史中一度有着十分重要的地位，其兴衰与明朝政府的“海禁”政策有关。明朝规定“片板不能入海”，沿海居民与海外商船进行贸易更是被视为大逆不道，舟山群岛等一些沿海岛屿上的居民都被强行迁到内地。但是贸易是无论如何也禁止不了的，江南发达的手工业以及内地丰富的商品都在寻找着海外更大的市场，而海外商人也对中国精美的商品和高额的利润垂涎三尺，于是就有了私下交易。

　　六横地处中国沿海的中部，交通便利，面朝太平洋，与日本、琉球等非常近，背靠富足的江浙地区，因此选择在这里进行贸易似乎是一件顺理成章的事情；据考证，六横最初的贸易有点像自由市场的性质，后来才慢慢形成规模。

　　葡萄牙人、中国人、暹罗人、婆罗洲人、琉球人在这里和平相处，自由贸易。最繁华的时候，葡萄牙人在这里建有两座教堂、一座市政厅、两家医院和上千幢私宅；而且因为六横岛平地少，当时的房价也贵得惊人；当时双屿常住人口达3000多人，光葡萄牙人就有1200多人，再加上每天数以千计的往来商贩，市场极为繁华。宁波等浙闽一带的居民，更是将双屿港作为贸易获利的重要地方，曰：“一叶之艇，送一瓜，运一罐，率得厚利……三尺童子，亦知双屿为衣食父母。”日本学者藤田丰八将之称为“十六世纪的上海”，这里也成为了远东冒险家的乐园。

　　而双屿港的没落又极具偶然性，据说起因是一个叫佩雷拉的葡萄牙法官来双屿做生意，他将几千得克（葡萄牙货币）的货物交给了一个中国商人，交货之后，这个中国人便杳无音讯。佩雷拉非常气愤，想从岛上得到补偿，于是他纠集了一群无赖，趁夜深人静，跑了几里地，到六横岛上的另一个村庄，抢劫了十几户人家，并掳走了他们的妻子儿女，将十几位村民杀死。此事动了朝野，龙颜大怒，于是朝廷派名将朱纨统一指挥浙闽两军，对双屿港进行围剿；为防止泄露行动机密，朱纨放弃了浙江兵不用，而是动用从福建带来的亲信部队围攻双屿。朱纨率武装船队，利用夜色掩护，堵住双屿港口，将里面的船只烧毁，并登岛烧毁了建筑物和仓库。但即使是这样，据记载仍然有1290艘船只幸运逃脱，这也可以从侧面反映当时双屿港的贸易之盛。