|
||||
近日,360公司和搜索巨頭公司關於搜索引擎爬蟲行為爭議再度引發業界關注。分析人士認為,Robots協議不是行業法規或標准,不存在違反與不違反的問題,更不應該成為用於搜索市場競爭的武器。
據了解,Robots協議由荷蘭籍網絡工程師Martijn Koster於1994年首次提出,是一個被放置在網站中的.TXT文件,為搜索引擎爬蟲做出提示,設置允許與不允許兩種語句,網絡爬蟲據此“自覺地”抓取或者不抓取該網頁內容。但Robots並不是一個規范,而只是一個約定俗成的協議。Robots協議創始人明確提出Robots協議是一個未經標准組織備案的非官方標准,不屬於任何商業組織。
事實上,國際上從來沒有任何組織或專家把Robots協議當成規范,甚至主動拒絕。歐美電信專家認為,由於Robots協議包含排斥性條款,搜索巨頭可能會利用Robots協議的條款,迫使某些熱門網站與其簽署排他性協議,從而將後起競爭者擋在門外,維護壟斷。業內專家認為,隨著360搜索的份額提昇,以及騰訊入股搜狗可能對搜索格局帶來的影響,互聯網市場尤其是搜索行業的競爭力被激活,能夠促進創新,讓網民受益。而對於Robots協議,不能生搬硬套,更不應成為搜索巨頭濫用市場支配地位、阻擊新公司入局的不正當競爭工具。