馬云沒聽他們的，第二天一早，就拿出六七千元，向妹妹、妹夫借了1萬多元，湊足2萬元。然后，馬云給杭州電子工學院計算機教師何一兵打了電話：“你聽說過Internet嗎？我們一起干Internet吧。”
1995年4月，中國第一家互聯網商業公司杭州海博電腦服務有限公司成立。3名員工是馬云、馬云的夫人張瑛和何一兵。此時離中國電信的互聯網開通還有4個月。
1995年5月9日，中國黃頁上線，馬云開始從身邊的朋友做生意。他的生意經是，先向朋友描述Internet怎么怎么好，然后，向他們要資料，通過EMS寄到美國，美國的合作伙伴將homepage做好，打印出來，再快遞寄回杭州。馬云將網頁的打印稿拿給朋友看，并告訴朋友在Internet能看到。
此時，離中國能上Internet還有3個月。
由于不能實際地看到，朋友懷疑馬云在編故事。馬云說：“你可以給法國的朋友打電話，給德國的朋友打電話，或者給美國的朋友打電話，電話費我出。如果他說沒有，那就算了；如果他說有，證明是有了，你要付我們一點點錢。”中國黃頁當時的收費標準是，一個homepage3000字外加一張照片，收費2萬元，其中1.2萬元給美國公司。
1995年，互聯網上的中國網站太少，所以，中國黃頁的效果很好。望湖賓館是當時網上能看到的唯一的中國賓館，時逢世界婦女代表大會，許多世界婦女代表到杭州后，專程過去看望湖賓館。錢江律師事務所上線之后，留的是家里電話，于是總有業務咨詢電話在半夜三更打過來。
經歷了風風雨雨，馬云的中國黃頁越做越好，越做越厲害，到1995年8月，中國電信開始在上海做了，馬云也馬上緊跟著做。馬云說，當時他們的注冊號是第七號。那時候撥號用長途，他一點兒都不懂用PPT，要寫下一大堆的東西。
從此，馬云挺直了腰，也開始有了收入。他們在全國27個城市一個一個地開拓業務，在所有沒有互聯網的城市，他們都被視為騙子。但馬云仍然像瘋子一樣不屈不撓，他天天都先這樣提醒自己：“互聯網是影響人類未來生活30年的3000米長跑，你必須跑得像兔子一樣快，又要像烏龜一樣耐跑。”然后出門跟人侃互聯網，說服客戶，說服記者。業務就這樣艱難地開展了起來。
在成功地發布了無錫小天鵝、北京國安足球俱樂部等中國第一批互聯網主頁后，中國黃頁開始在圈子里小有名氣了。就在1997年年底，網站的營業額竟不可思議地做到了700萬元！追溯起來，阿里巴巴網站的雛形應該就是中國黃頁網站。
馬云的成功，得益于他那個極其出色的團隊。當初，在那個房間里，后來被稱為“十八羅漢”的創始人并未聚齊。當時，戴珊正在老家海南過春節，孫彤宇、彭蕾也身在重慶。
1996年年初，杭州一場招聘會現場，一個學生走到一個人數不多的公司面前，想咨詢一下情況。這家公司叫中國黃頁，負責面試工作的，是它的技術總監何一兵。這個學生又是誰呢，他就是阿里巴巴大名鼎鼎的李琪。
那年，李琪剛從中山大學計算機系畢業，回到家鄉杭州探親，無意中看見這場招聘會。這次是中國黃頁第一次大規模招新人，幾天之后，李琪就到中國黃頁去上班了。
后來，馬云去美國出差（當時中國黃頁的服務器在美國），把李琪也帶上了。在那里，他們一起參觀了中國黃頁租用了1年多的服務器，并到硅谷考察，參觀了當時蒸蒸日上的網景、雅虎等公司，接觸到許多國內沒有的新東西、新技術。
回國后，李琪立即著手建設中國黃頁自己的網站和服務器，并很快做出了中國黃頁自成立以來自主開發的第一個頁面。馬云說：“那時候第一個網頁做得丑死了，但我們很高興，因為我們畢竟能夠自己做網頁了。過了一段時間之后，我就跟合作伙伴斷絕了關系。”
另一個要提到的重要人物，叫孫彤宇。
孫彤宇當時在杭州一家小廣告公司上班。有一天在報紙上他發現了一篇報道——《中國黃頁闖世界》，廣告人的敏銳直覺告訴他，“這有可能是個大客戶。”放下報紙，孫彤宇立馬去拜訪中國黃頁，想“搞定這個大客戶”，為其做廣告宣傳。
孫彤宇敲開中國黃頁的大門以后，就開始跟副總何一兵談，而馬云則坐在他們的對面聽。孫彤宇的熱情與敬業深深吸引了馬云。幾天之后，孫彤宇就接到了馬云的電話：“小孫，我覺得你是個很有潛力的人才，來中國黃頁發展怎么樣？”
1996年的4月份，孫彤宇加盟了中國黃頁。孫彤宇加入中國黃頁后，充分展示了其在策劃、宣傳和業務推廣上的天分，為中國黃頁后來的市場開拓立下了汗馬功勞。不僅如此，他還極力鼓動自己的女友彭蕾也加入中國黃頁。這樣，彭蕾成為馬云手下一員叱咤風云的得力“女將”。
后來，陸續加入中國黃頁的還有馬云的學生蔣芳（1996年5月進入中國黃頁）、后來被蔣芳冠以綽號“吳媽”的網絡高手吳泳銘（1996年年底進入中國黃頁）、韓敏（1997年進入中國黃頁），以及后來歷任阿里巴巴銷售總監、資深總監的謝世煌。
從杭州城開始，馬云就吸引了這些后來跟隨其先后北上、南下的親密伙伴，而日后常被人們提起的阿里巴巴“十八羅漢”，也是從中國黃頁時代開始陸續發展起來的。
北上，加盟外經貿部
1996年，互聯網開始成為各大媒體的熱點，成為新經濟最有力的代表。馬云的中國黃頁在一夜之間冒出來了許多“敵人”，這當中還包括亞信。亞信差點成了中國黃頁的死敵，幸好亞信覺得做這塊不但與中國黃頁比沒有優勢，就是與杭州電信比也說不清鹿死誰手，于是就退出了。
與馬云競爭最激烈的是杭州電信。這是一場實力懸殊的戰爭，杭州電信注冊資本3億多元，馬云注冊資本僅2萬元；這也是一場你死我活的戰爭，杭州就這么大一個廟，容不下兩個和尚，正所謂“一山不容二虎”。杭州電信有著非常好的社會資源和政府資源，馬云卻一樣都沒有。不僅企業，就是老百姓，也覺得馬云是非正規軍、游擊隊，頂多也就算得上是“土八路”，沒有人肯相信他們。除此之外，杭州電信利用中國黃頁（chinapage.com）已有的名聲，做了一個名字很近的網站chinesepage.com，也叫“中國黃頁”，頗有大軍壓境之勢。
聯想到自己勢單力薄，并且也為了使中國黃頁繼續活下去，馬云決定同杭州電信合作。1996年3月，中國黃頁將資產折合成60萬元人民幣，占30％的股份；杭州電信投入資金140萬元人民幣，占70％的股份。
馬云與杭州電信的合作是不得已而為之的選擇，不久雙方合作就出了問題。馬云認為，做互聯網公司猶如養孩子，要慢慢地培養，等它有能力賺錢時再放手大干。但是，杭州電信一門心思地想立刻大賺一筆。
這樣，雙方爭論不休，分歧日深，資本和權勢高的一方自然有更多的話語權，大家開始情緒激動地處事，先是何一兵要辭職，然后中國黃頁的全體員工要辭職，最后馬云也要辭職了。整個事件甚至驚動了《人民日報》。
為了中國黃頁的前途，各方面都想讓馬云回去，但馬云心里委屈，覺得自己真不容易，打南打北打到頭沒自己的地兒了！馬云不得不和杭州電信分道揚鑣，放棄了自己的中國黃頁，開始下定決心執意要走。
馬云離開中國黃頁時，一屋子坐滿了跟馬云一起做事的哥們兒，有人抱怨，不甘心辛辛苦苦2年就這么完了；有人覺得待在失去了馬云的中國黃頁沒勁，哭著鬧著要跟馬云一起走。馬云也覺得委屈，也覺得不甘心，但最后，他還是硬起心腸說：“不行，中國黃頁還得活下去，你們走了中國黃頁怎么辦？”
一向不在乎金錢的馬云把當時所擁有的中國黃頁21％的股份，全數送給了一起做事的員工，只為讓他們能為自己好好耕耘，好好收獲。
1997年，帶著并不一帆風順的經歷，內心無比悲憤的馬云離開了重組后的中國黃頁。這是馬云職業生涯中的第一次失敗。
馬云遭遇了人生中第一次重大挫折，但他從不因失敗而掉淚，他承受的各種白眼和閉門羹難以計數。“這些事太多太多。每次打擊，只要你扛過來了，就會變得更加堅強。我又想，通常期望越高，結果失望越大，所以我總是想明天肯定會倒霉，一定會有更倒霉的事情發生；那么明天真的有打擊來了，我就不會害怕了。你除了重重地打擊我，又能怎樣？來吧，我都扛得住。抗打擊能力強了，真正的信心也就有了。”“所以我現在最欣賞兩句話，一句是丘吉爾先生對遭受重創的英國公眾講的話：Never nevernever give up（永不放棄！）另一句就是，‘滿懷信心地上路，遠勝過到達目的地’。”
馬云從摔倒之處爬起來，舔干血跡重新上路了。1997年，當馬云離開中國黃頁時，外經貿部對馬云說：“到北京來吧，來這兒你能干得更好！”
那么，馬云來北京加盟外經貿部究竟要做什么呢？這里，不得不提到外經貿部中國國際電子商務中心的歷史。1996年2月，中國國際電子商務中心正式成立，英文簡稱為CIECC。盡管早在1996年2月便成立，但CIECC的正式運營，卻要等到近1年之后1997年1月。
當時，外經貿部要做的是一個大內網加上一個官方政府網站（MOFTEC網站）。對于大內網的架構，領導們的設想是這樣的：在全國范圍內鋪設光纖，在外經貿部下屬的各個分支機構分別設立接口網點，所有的網點互聯起來就構成了一個大內網。在這個大內網上，外經貿部及其下屬機構可以為企業辦理所有與外貿相關的審批手續；同時，也可以通過這個大內網向外貿企業發布相關的外貿政策法規。整個大內網項目的開發則由外經貿部下屬的中國國際電子商務中心來負責。而且，這也是一個聯合國提供資金支持的項目。
有政府的支持，鋪設光纖等基礎網絡架設工作并不復雜，而外經貿部高層最關心是：找到優秀的，最合適的人才來經營這個項目。那么，什么樣的人才是最合適的呢？起步階段的中國互聯網，最缺乏的是懂得經營，懂得把互聯網當做生意來做的人才。于是，在杭州因為經營中國黃頁而名氣大震的馬云，成了外經貿部領導眼中理想的人選。
1997年12月，馬云再次率隊踏上了北去的列車。這一次，隨同他一起北上的有7個人：張瑛、孫彤宇、吳泳銘、盛一飛、麻長煒、樓文勝、謝世煌。當然，這些只是先遣部隊的成員。再過不久，還會有另外一批人陸續加盟，他們是彭蕾、韓敏、蔣芳、戴珊和周悅紅。此次北上的13個人（包括馬云在內）中，有兩對夫妻，一對是馬云和張瑛，另一對便是孫彤宇和彭蕾。
作為馬云的夫人，張瑛跟隨夫君北上自然是義不容辭的，跟著馬云一路折騰來、折騰去，她是沒少吃苦，盡管她自己并不覺得苦。至于彭蕾，就在幾個月之前，單位剛剛開始分房子，為了追隨馬云（當然也包括丈夫孫彤宇），她毅然放棄了這大好機會，踏上了北去的征程。
為了能挖到馬云，外經貿部提供了優厚的條件，給中國國際電子商務中心提供200萬元的啟動資金，并承諾給馬云團隊30％的股份。馬云團隊主要負責開發外經貿部官方網站（大內網），也是當初馬云受邀的主要任務。
對于大內網的設想，馬云一開始并不同意，但最終還是屈從于官方的意志，硬著頭皮做起來了。
馬云手下的12個人，個個身懷絕技，有幾個人還是在網絡江湖摔打了好幾年的。因此，做網站開發對他們來說已是輕車熟路，何況這幫人在中國黃頁時就積累了豐富的開發經驗。在大家“一不怕苦，二不怕累”的勁頭下，網站是做好了，做得很快，也很成功。但是，到了運營的環節，問題又出來了：政府的紅頭文件下去了，業務卻非常冷清。
冷清的原因是，外經貿部的這個大內網實際上有些像今天的“電子政務”系統，它的功能也很簡單：外經貿部及其下屬機構可以為企業辦理所有與外貿相關的審批手續；同時，也可以通過這個大內網向外貿企業發布相關的外貿政策法規。
盡管EDI（將商業或行政事務處理按照一個公認的標準，形成結構化的事務處理或報文數據格式，從計算機到計算機的電子傳輸方法）做的大內網工程也是一個聯合國提供資金支持的項目，但它的商業運營模式是行不通的。
面對困局，馬云開始不斷游說EDI高層擴大內網，改建互聯網。1998年7月，經外經貿部高層批準，EDI成立了合資的國富通信息發展有限公司，辦公地點在崇文門的新世界飯店，總經理由馬云出任，并擁有合資公司的一定股份。即便如此，馬云每月還是只拿固定工資。國富通成立以后，馬云就帶領團隊開發一個叫做“網上中國商品交易市場”的項目，這是一個真正的互聯網項目，也是馬云真心想做的。于是，馬云又帶領團隊轉移陣地。
無論是從架構還是從實際的經營運作來看，網上中國商品交易市場都算是當時中國電子商務領域非常成功的一個項目。盡管網上中國商品交易市場也是收費的業務，但收費的辦法已經不像做大內網時那么老土（用政府的紅頭文件推廣）了，而是采用更市場化的方法。