崗位職責(zé)：1、負責(zé)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)及數(shù)據(jù)庫的設(shè)計與開發(fā)；2、維護和優(yōu)化已有的爬蟲服務(wù)；3、負責(zé)爬蟲核心算法的策略優(yōu)化研究，設(shè)計爬蟲策略和防屏蔽規(guī)則，充分利用資源，提升網(wǎng)頁抓取的效率和質(zhì)量；4、負責(zé)數(shù)據(jù)平臺建設(shè)，數(shù)據(jù)清洗、處理,提供數(shù)據(jù)服務(wù)以及數(shù)據(jù)管理；5、分析、理解大數(shù)據(jù)業(yè)務(wù)需求,設(shè)計技術(shù)方案并落地實施6、處理各個業(yè)務(wù)在使用數(shù)據(jù)平臺過程中的各種問題，分析并給出優(yōu)化方案；7、可以獨立跟進需求項目開發(fā)進度；任職資格:1、計算機相關(guān)專業(yè)，4年及以上數(shù)據(jù)采集和大數(shù)據(jù)生態(tài)開發(fā)工作經(jīng)驗；2、Python服務(wù)器應(yīng)用開發(fā)經(jīng)驗，熟悉Django/flask等web開發(fā)框架。并具有獨立搭建、維護和優(yōu)化Django/flask框架和系統(tǒng)的能力。3、掌握網(wǎng)絡(luò)爬蟲開發(fā)原理，對互聯(lián)網(wǎng)各種類型數(shù)據(jù)交互模式熟悉，知道如何處理需登錄網(wǎng)站、動態(tài)網(wǎng)頁等各種情況下的數(shù)據(jù)采集方法。4、有網(wǎng)絡(luò)爬蟲開發(fā)經(jīng)驗、有scrapy等開源抓取工具開發(fā)經(jīng)驗優(yōu)先。5．熟悉常用數(shù)據(jù)庫(MySQL/Oracle/SQLSever) ，熟悉索引技術(shù)和SQL優(yōu)化6．精通大數(shù)據(jù)生態(tài)技術(shù)：有Hadoop、Zookeeper、HBase、Hive、Flume、Kafka、Sqoop、Spark等實際項目經(jīng)驗。7、對代碼和設(shè)計質(zhì)量有嚴格要求，重視代碼檢查和審核，良好的編程習(xí)慣的標(biāo)準；8、具備良好的學(xué)習(xí)能力、溝通能力和團隊協(xié)作精神，對技術(shù)有非常強烈的熱情；

蘇州百捷信息科技有限公司隸屬于賽博威集團，廣東賽博威信息科技有限公司（以下簡稱：賽博威）是信息產(chǎn)業(yè)內(nèi)多元化發(fā)展的大型企業(yè)，自成立以來，通過信息技術(shù)革新和行業(yè)智慧創(chuàng)新，以及憑借眾多的高科技和IT專家和人才，結(jié)合超25年核心行業(yè)（大消費、房地產(chǎn)物業(yè)、石化等）經(jīng)驗，致力于為企業(yè)提供數(shù)字化咨詢、軟件技術(shù)實施與運營服務(wù)。賽博威在華南（廣州）、華東（蘇州）設(shè)有兩大交付中心，同時在華南（廣州）還設(shè)有服務(wù)中心，業(yè)務(wù)范圍面向全國，輻射亞太，目前公司員工已超過600人，其中80%為專業(yè)技術(shù)團隊人員。賽博威深耕大消費行業(yè)，憑借豐富的資源與經(jīng)驗沉淀，已形成一體化數(shù)字營銷平臺-TPM、微鏡大數(shù)據(jù)分析、新零售SBC產(chǎn)業(yè)電商平臺等企業(yè)數(shù)字賦能產(chǎn)品系列，同時面向房地產(chǎn)、物業(yè)以及石化行業(yè)，有成熟的智慧社區(qū)物管系統(tǒng)，智慧物流管理系統(tǒng)、無人值守地磅稱重系統(tǒng)等智慧科技產(chǎn)品系列。目前賽博威已成為寶潔、瑪氏、維他奶、屈臣氏、強生、小罐茶、中石化、廣州地鐵、泛海物業(yè)、珠海正方、富力地產(chǎn)、歐派等多家知名大型企業(yè)的長期IT軟件服務(wù)合作伙伴。未來，賽博威將秉承面向客戶-客戶至上、誠實守信、合作共贏，面向員工-探索創(chuàng)新、簡單快樂、彼此成就的企業(yè)價值觀以及全渠道數(shù)字營銷產(chǎn)品體系、扎實的大數(shù)據(jù)分析能力與IT建設(shè)及運維服務(wù)能力，攜手B端客戶為C端消費者提供更便捷、舒適的生活體驗，致力于成為企業(yè)數(shù)字賦能的領(lǐng)跑者。蘇州地址：工業(yè)園區(qū)啟月街288號紫金東方C座2樓216廣州：廣州市越秀區(qū)先烈中路73號穗豐大廈C座7-8樓 廣州市黃埔區(qū)科學(xué)城彩頻路11號廣東軟件園F棟10樓、12-13樓