程序員必須知道的電腦知識(3)

　　再講一個搜索引擎的故事：

　　很久以前，我要給一個程序添加搜索功能。剛開始使用sql查詢實現，發現實在太慢了。后來找了開源的Lucene項目。它使用反向索引技術，通過在文件中創建反向索引，大大提高了搜索速度。

　　Google的兩位創始人發現了html中link的秘密，他們發現可以通過html頁面的link關系來為每一個html頁面設置權重。也就是PageRank算法。于是，Google的自動搜索引擎擊敗了Yahoo人工分類的搜索引擎。

　　OK，利用反向索引技術和PageRank，以及一個簡單的html爬蟲機器人，我們就可以創建一個搜索引擎了。但是，互聯網很大，每天產生大量新網頁，要為整個互聯網建立反向索引是很困難的。

　　若干年后Google又公開了三篇論文：Googlefs、Mapreduce、Bigtable。于是Lucene項目的開發者根據Google的Mapreduce論文開發了Hadoop項目。MapReduce就是使用大量計算機存儲數據并計算，最后匯總結果。使用Hadoop+反向索引+PageRank，就可以創建搜索引擎了。Yahoo,Baidu等公司紛紛基于Hadoop開發了自己的搜索引擎。

　　但是，其他公司的搜索引擎效果還是沒法和Google相比。這一點我們程序員最清楚。像我，就總是翻薔出去，只為了Google一下。

　　Google黑板報上發表了吳軍博士的一些文章，其中介紹了很多機器學習方面的知識。從文中可以知道，Google其實使用機器學習來分析搜集到的頁面。Google明顯不會把這個公式公開出來。即使有一天Google真的公開了這個公式，那么可以想見Google肯定又研發出了更加犀利的秘籍，山寨貨的搜索引擎效果還是比不上Google的。

　　山寨是通向創新的必由之路。在成為領域的領頭羊和領導者之前，必然要經過學習，模仿的階段。但要成為行業的老大，成為Champion，必須勇于彎道超車，勇敢地走上創新之路，成為真正的科學家，真正的大牛!

　　總結

　　編程能力可分為兩個維度：一個是編程技能水平，另一個是領域知識水平。

　　有些程序員可能把精力都花在提升編程技能上了，領域知識知之甚少，這其實在日常工作中也是極其有害的。有些需求可能早已經有了現成、開源免費的解決方案，或者只需要組合幾個現有軟件就可以快速搞定，而他們卻不得不自己花大量時間去開發。另外，缺少領域知識，在程序出現非預期狀況時，很難快速定位到問題的根源，很難解決bug。