爬蟲從原理上來，簡單來講就是發(fā)送http/https請求+解析html頁面，獲取頁面上的目標數(shù)據(jù)。所以任何一個編程語言理論上都可以寫爬蟲，不過寫起來可用的庫或者難易程度有所不同罷了！

用python可以用別人封裝好的爬蟲框架如scrapy。不用框架，也可以用requests + beautifusoup，其中requests是用來建立http請求的，beautifusoup是用來解析頁面的；當然也可以用其他各種庫來完成類似的操作；

用java也一樣，既可以直接用框架如WebMagic，也可以自己發(fā)送http請求+html頁面解析，譬如發(fā)送http請求可以用apache的httpclient，也可以用java自帶的HttpURLConnection，html解析可以用jsoup等；

c/c++也一樣，本質(zhì)上還是發(fā)請求+html解析，但是到這里，可用的開源庫相比于python/java來說，就會少很多，如果不用開源庫、自己發(fā)請求 + 自己來解析html。

如果你的業(yè)務(wù)是以下這些：

每日采集百萬量級電商頁面，或者數(shù)億量級數(shù)據(jù)點，以滿足市場調(diào)查和競品分析的需要

采集數(shù)千個網(wǎng)站并降低規(guī)則失效率

采集整個互聯(lián)網(wǎng)并建立搜索引擎、信息流產(chǎn)品或者知識圖譜

開發(fā)一款供非技術(shù)人員用的“數(shù)據(jù)采集器”

但是每個語言都有各自的優(yōu)勢和不足，python支持異步處理，Java用線程也還好，但是用c語言的話就有點難受了，但是c語言比Java和python的計算性能好，python有強大而豐富的文本處理，上手比較容易，而且python抓取網(wǎng)頁文檔的接口更加簡潔，，現(xiàn)在python也是比較成熟的，如果你是新手小白可以從python入手，編程語言各有所長，盡量取其精華，抑其短處。