爬蟲(chóng)從原理上來(lái)，簡(jiǎn)單來(lái)講就是發(fā)送http/https請(qǐng)求+解析html頁(yè)面，獲取頁(yè)面上的目標(biāo)數(shù)據(jù)。所以任何一個(gè)編程語(yǔ)言理論上都可以寫爬蟲(chóng)，不過(guò)寫起來(lái)可用的庫(kù)或者難易程度有所不同罷了！

用python可以用別人封裝好的爬蟲(chóng)框架如scrapy。不用框架，也可以用requests + beautifusoup，其中requests是用來(lái)建立http請(qǐng)求的，beautifusoup是用來(lái)解析頁(yè)面的；當(dāng)然也可以用其他各種庫(kù)來(lái)完成類似的操作；

用java也一樣，既可以直接用框架如WebMagic，也可以自己發(fā)送http請(qǐng)求+html頁(yè)面解析，譬如發(fā)送http請(qǐng)求可以用apache的httpclient，也可以用java自帶的HttpURLConnection，html解析可以用jsoup等；

c/c++也一樣，本質(zhì)上還是發(fā)請(qǐng)求+html解析，但是到這里，可用的開(kāi)源庫(kù)相比于python/java來(lái)說(shuō)，就會(huì)少很多，如果不用開(kāi)源庫(kù)、自己發(fā)請(qǐng)求 + 自己來(lái)解析html。

如果你的業(yè)務(wù)是以下這些：

每日采集百萬(wàn)量級(jí)電商頁(yè)面，或者數(shù)億量級(jí)數(shù)據(jù)點(diǎn)，以滿足市場(chǎng)調(diào)查和競(jìng)品分析的需要

采集數(shù)千個(gè)網(wǎng)站并降低規(guī)則失效率

采集整個(gè)互聯(lián)網(wǎng)并建立搜索引擎、信息流產(chǎn)品或者知識(shí)圖譜

開(kāi)發(fā)一款供非技術(shù)人員用的“數(shù)據(jù)采集器”

但是每個(gè)語(yǔ)言都有各自的優(yōu)勢(shì)和不足，python支持異步處理，Java用線程也還好，但是用c語(yǔ)言的話就有點(diǎn)難受了，但是c語(yǔ)言比Java和python的計(jì)算性能好，python有強(qiáng)大而豐富的文本處理，上手比較容易，而且python抓取網(wǎng)頁(yè)文檔的接口更加簡(jiǎn)潔，，現(xiàn)在python也是比較成熟的，如果你是新手小白可以從python入手，編程語(yǔ)言各有所長(zhǎng)，盡量取其精華，抑其短處。