海上絲綢之路從古至今，隨著航海技術和造船技術的發展而不斷發展。起先是陸上絲綢之路的輔助，但是后來到了隋唐時期，尤其是唐代中期以后，海上絲綢之路逐漸扶搖而上取代了陸上絲綢之路的地位，在中國歷史上起著重要作用。
（一）先秦時期海上絲綢之路的狀況
據我國古代文獻記載，我們的祖先很早就已發明了船。古書《世本》中記載：“古者觀落葉因以為舟。”《淮南子》中則認為：“見寂木浮而為舟。”由此可知人們最早從落葉或枯木浮于水面，受到啟發而發明造船術。
先秦和越國時期嶺南地區海上交往為海上絲綢之路的形成奠定了基礎。早在距今六千年前，嶺南先民已經利用獨木舟在近海活動。距今5000—3000年前，東江北岸近百公里的惠陽平原，已經形成以陶瓷為紐帶的貿易交往圈，并通過水路將其影響擴大到沿海和海外島嶼。
春秋戰國時沿海地區航海活動日益頻繁，位于海邊的齊、吳、越等國往往利用自己的海上優勢，相互進行海戰。位于錢塘江口的越國“以舟為車，以楫為馬，往各飄然，去則難從”。《禹貢》成書于戰國末期，它記載了我國遠古時代最早的海上航路。這條航路從北方的河水入海口和濟水入海口，環繞今山東半島向南，以達淮水入海口和江水入海口，從而構成了一條相當完整的海上交通線。向北可以航海通向東北方面今遼東半島一帶；向南可以航海通向今浙江、福建一帶，這是我國航海史上最早的一頁。
從戰國末年即公元前3世紀的《禮記》和《呂氏春秋》中所記風的分類來看，在公元前3世紀以前我國航海者已能利用季風來進行海上航行。這比西方傳說中的希巴洛斯和公元前1世紀的埃及商船認識季風都要早兩個多世紀。
早在商末周初，曾封箕子于朝鮮。隨后遷徙去朝鮮的人員日益增多。早期與朝鮮半島的交往，主要是從山東半島沿著渤海海峽中的廟島群島與遼寧南岸航行到達朝鮮。再順著朝鮮半島沿岸便可駛達朝鮮半島的南部與東南部了。到戰國時，《山海經》中記：“東海之內，北海之隅，有國名曰朝鮮。”可見當時對朝鮮已頗為了解，并把朝鮮、日本視作屬于燕的勢力范圍。近年在朝鮮半島南部多次發現具有我國戰國時期文物特色的銅劍等實物出土，正是說明當時相互交往的密切。
至于與日本的交往，最早是從朝鮮半島南岸，靠對馬暖流與間宮寒流在日本海南部交匯而成的左旋海流為動力，這種自然漂流的航路只是單向的，很少有人從日本冒險逆向來中國。當時的航路可能是從朝鮮半島南端越海，中經對馬、遠瀛（今沖之島）、中瀛（今大島），到達筑前胸形（今北九州宗像）的橫渡朝鮮海峽的航路，在《日本書紀》中稱之為“北海道中”或“道中”航路。在日本備后國三原町附近發現有我國戰國時期的銅劍和燕國的明刀錢、安陽布等；在日本本州島西岸的山陰、北陸地區發現不少與我國先秦時期古鐘相類似的祭祀器具；在北九州沿海地區發現具有中國特色的銅劍等遺物。這些文物的出土，正是當時中日交往的實物見證，中國移民到了日本，帶去了先進的金屬文化與水稻栽培技術，使日本開始從原始的漁獵生活的繩文文化向使用金屬工具和進行水稻種植的彌生文化飛躍發展。
通過對海船和出土陶器，以及有肩有段石器、銅鼓和銅鉞的分布區域的研究得知，先秦時期的嶺南先民已經穿梭于南中國海乃至南太平洋沿岸及其島嶼，其文化間接影響到印度洋沿岸及其島嶼。
對出土遺物的研究表明，南越國已能制造25—30噸的木樓船，并與海外有了一定的交往。
南越國的輸出品主要包括：漆器、絲織品、陶器和青銅器。南越國的輸入品包括古文獻所列舉的“珠璣、犀（牛）、玳瑁、果、布之湊”。主要的貿易港口有番禺（今廣州）和徐聞。
（二）秦漢時期海上絲綢之路的萌芽
秦漢時期，我國政治統一、經濟發展，為海外貿易奠定了基礎。秦始皇統一六國后，發兵經略嶺南，就是為了得到越之犀角、象牙、翡翠、珠璣，只是當時南海貿易及航線的詳情還不太清楚。但是那時已經有秦始皇為尋找長生不老之藥，派方士徐福出海尋藥的故事。
我國古代文獻中關于南海、印度洋上的航路第一個較為完整的記錄見于《漢書·地理志》。這是因為在西漢武帝時，國力強盛，經濟富庶，曾兩次派張騫出使西域，將我國的絲綢帶到了西方，遠達地中海東部一帶，開辟了橫跨歐洲大陸的陸上絲綢之路，擴大了漢王朝的聲威和影響。由于陸路交通易受匈奴等部族的阻礙，漢武帝開拓了南海的對外交通與貿易活動，從而開辟了海上絲綢之路。
《漢書·地理志》記載，漢武帝派遣譯長（屬黃門的中官）率載貨的船舶從日南（今越南順化靈江口）、合浦郡的徐聞縣（今廣東湛江徐聞縣）出發，航行五個月即可到達都元國（今馬來半島東南部或蘇門答臘島西北部的八昔河附近），再繼續航行四個月，可先后抵達邑盧沒國（今緬甸南部錫唐河入海口附近的勃固一帶），又行二十余日，到諶離國（今緬甸伊洛瓦底江沿岸），然后棄舟步行十余日可到達夫甘都盧國（今緬甸伊洛瓦底江中游東岸蒲甘城附近），從此處再乘船航行二月余，最后到達黃支國（今印度半島東岸馬德拉斯附近）。回程從黃支國起始，利用季風，先到南邊的已程不國（今斯里蘭卡），繼續航行可抵達中途的皮宗（今馬來半島克拉地峽的帕克強河口），過皮宗后，轉向東北航行回國。沿途用帶去的黃金、雜繒（即各種絲綢織物）等，向那些國家交換明珠和其他珍奇異物，一路受到沿途各國的熱情接待，有時還有當地海船護送。由此可見這條航線，是我國開辟最早的一條遠洋航線，已經到達了印度洋孟加拉灣附近，主要以商品貿易為主。這標志著我國古代對外貿易的海上“絲綢之路”的開辟，一直沿續到南朝未有改變。南朝著名高僧法顯就乘船走這條航線由斯里蘭卡和印度回國，在他的著作《佛國記》中曾有記載。
就在西漢王朝統一中國時，西方羅馬人也統一了意大利半島，建立了強大的羅馬帝國（漢時稱大秦，又稱犂靬）。東西方兩大帝國間，在中亞地區有大月氏和安息兩大國相隔，所以中國絲綢雖已從陸上絲綢之路遠銷到羅馬，但兩國間無法直銷，其間由安息商人進行轉銷，牟取暴利。漢武帝開辟海上絲綢之路的主要目的就是為了從海上經由印度溝通與羅馬的貿易往來。由于當時航海技術和條件所限，中國西漢船隊到了印度東海岸和斯里蘭卡等地就折返回航，印度和斯里蘭卡便成了海上絲綢之路上歐亞貿易的中轉港。至于印度以西的航路則由西方航海者開拓。
到了東漢時期，羅馬方面的西方航海者也在積極了解東方“絲國”，1世紀末，有一位居住在埃及亞歷山大港的商人撰寫了《紅海回航記》，記述了西方商船經常往來于紅海、波斯灣、印度次大陸東西兩岸，特別記載了中國，稱作“秦”國，這里“出產絲、絲線和名為絲綢的布”，所以又稱為“絲國”。在中國古籍中也不乏對這條航線的記載，成書比《后漢書》還早一個多世紀的《魏略》中就記述了當時大秦直通中國的兩條主要航道，一條是直接通往我國古代南方大港，在今越南北部及雷州半島的徐聞、合浦，一條是以今緬甸南部的海口為航行終點，然后經伊洛瓦底江等河谷北上，進入我國西南部，通過云南的永昌郡與內地溝通。《后漢書·西域傳》記載：“桓帝延熹九年，大秦王安敦遣使自日南徼外獻象牙、犀角、玳瑁，始乃一通焉。”這是中國同羅馬帝國之間直接進行友好交往的最早記錄，突破了以往通過斯里蘭卡的中轉，第一次疏通了東西方海上運輸大動脈，連接歐亞大陸的海上絲綢之路真正建立起來了。
隨著漢代種桑養蠶的普及和紡織業的發展，絲織品成為這一時期的主要輸出品。乳香（薰爐）和家內奴仆（托燈俑）在以往輸入品中尚未見到。
由于兩漢版圖擴張到今東南亞的部分地區，政府加強了海上絲綢之路沿海港市的管理，例如在今徐聞“置左右候官，在縣南七里，積貨物于此，備其所求，與交易”。也出現了一些比較重要的商業城市，例如番禺、徐聞、合浦（今合浦附近）、龍編（今越南河內）、廣信（今梧州）、布山（今貴港）和桂林等。
（三）魏晉時期海上絲綢之路的發展
魏晉南北朝時期，先后有東吳、東晉、宋、齊、梁、陳等六朝政權立足江南，使江南經濟得到深度開發。與此同時，六朝政府實行積極發展海外關系的政策，因而海上絲綢之路也得以迅速發展。
六朝時期，占統治地位的是一批擁有無上政治、經濟特權的世襲大族。而自漢末以來的社會大動蕩，又使他們深感世事無常，他們中的大多數人缺乏政治上的進取性，茍且偷安，放縱其物質貪欲，奢侈無度，海外舶來品——各種奇珍異寶成了他們競相追逐的對象，由此產生了對海外貿易的較大需求。而六朝政府要擴大其政治威望，也必須發展對外關系。傳統的對外貿易通道——陸上絲綢之路受阻于北國，因而只有致力于海上拓展。
孫權黃武五年（226年），孫權派出以從事朱應、中郎將康泰為首的外交使團出訪東南亞各國，歷時十余年，“其所經及傳聞則由百數十國”，由此了解了南海各國政治、經濟特別是貿易及物產情況。回國后，朱應、康泰分別撰寫了《扶南異物志》及《吳時外國傳》。朱應、康泰分別出使東南亞，不但增強了中國人對東南亞的了解，而且直接推動了雙方的貿易往來。史稱自朱應、康泰出使后“扶南、林邑、堂明諸王，各遣使奉貢”。東晉南朝時，遣使出訪之事不絕于書。
六朝時期的外交活動都具有經濟色彩，為獲得南方短缺的物資，同時也為了增加更多的財政收入，六朝政府多次派遣大規模船隊出海開展貿易活動。232年，孫權遣將軍周賀、校尉裴潛率領船隊“多持貨物”，沿東海、黃海北上遼東地區，與遼東沿海百姓“貿遷有無”，而割據遼東地區的公孫淵也以遼東名馬與東吳易貨；233年，吳遣使節至朝鮮，高句麗王“貢貂皮千枚，鹖雞皮十具”；235年，孫權派謝宏出使高句麗“賜衣物珍寶”，高句麗回贈名馬，謝宏“載馬八十匹而還”。
六朝政府為了適應水路交通及航海業的需要，都非常重視造船業。在造船及航海水平提高的基礎上，在六朝政府積極發展海外關系的政策推動下，海上絲綢之路得到進一步發展，主要體現在南海絲路的擴展以及東海絲路的延伸兩個方面。
這一時期，南海絲綢之路的發展主要體現在兩方面：一是廣州港的興起，從而取代徐聞與合浦成為中國主要的對外貿易港；二是海上絲綢之路在漢代的基礎上繼續向西方延伸。西漢時海上絲綢之路的起點在徐聞、合浦。三國時吳在嶺南設廣州以后，珠江流域經濟得到迅速發展，加上造船、航海業的進步，廣州很快以其特有的區位優勢取代徐聞、合浦的地位。廣州與徐聞、合浦相比，其優勢在于：徐聞、合浦無內河與內地聯系，通往內地的交通也較困難，缺乏大量吞吐貨物的條件。而廣州不但是嶺南的經濟中心，且與內地聯系更為便利，通過珠江水系可達湘、贛、閩等地。漢代時徐聞、合浦之所以作為對外貿易港口，主要是受當時船舶規模及航海技術的限制，海船尚不能遠離海岸，而從嶺南的經濟中心番禹出發，難以渡過海南東部的七洋洲等危險水域，因而出海便利的徐聞、合浦充當了漢代對外貿易港口的角色。到六朝初年，隨著船舶體積的增大及航海技術的提高，海船可以遠離海岸航行。因此，從廣州出發，不必經瓊州海峽，而可經海南東部海面和西沙群島海域，直航東南亞、南亞各地，從而使廣州成為我國海外貿易中心，海上絲綢之路的起點也因此移至廣州。