職位描述
1、負責(zé)web端數(shù)據(jù)的爬取、清洗、解析、入庫2、熟練掌握Python編程語言,熟悉****,熟悉fastapi后端服務(wù)構(gòu)建;3、熟練使用數(shù)據(jù)庫,掌握redis、pgsql、mysql等;4、數(shù)量使用docker進行服務(wù)部署;5、熟悉各種抓取技術(shù),包括爬蟲反爬、代理、驗證碼處理;6、熟練使用正則表達式、xpath等,能夠從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息;7、掌握常見的反爬機制,精通各種反爬破解,包括但不限于:hook、Js防護、混淆、逆向分析等技能;8、參與設(shè)計與優(yōu)化分布式網(wǎng)絡(luò)爬蟲系統(tǒng),熟悉采集系統(tǒng)的調(diào)度策略,實時監(jiān)控爬蟲的進度和警報反饋;任職要求:1、編程能力:精通Python,熟悉****,能使用FastAPI構(gòu)建后端服務(wù)2、數(shù)據(jù)庫:熟練使用PostgreSQL/MySQL進行數(shù)據(jù)存儲,Redis實現(xiàn)緩存與去重3、精通XPath/正則表達式解析結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)4、掌握代理IP池構(gòu)建、請求偽裝、動態(tài)渲染等技術(shù)5、備反爬破解能力(Hook技術(shù)、JS逆向、混淆代碼分析等)6、有瑞數(shù)、國密算法逆向經(jīng)驗者優(yōu)先7、熟練使用Docker容器化部署服務(wù)
企業(yè)介紹
北京協(xié)合運維風(fēng)電技術(shù)有限公司(簡稱“協(xié)合運維”),是新能源行業(yè)綜合型技術(shù)服務(wù)龍頭企業(yè)。 公司成立于2007年,擁有超過17年的新能源電站運行維護、資產(chǎn)托管及技術(shù)服務(wù)經(jīng)驗。面向新能源發(fā)電設(shè)備、輸變電設(shè)備、綜合能源系統(tǒng),提供基于數(shù)據(jù)驅(qū)動的設(shè)備預(yù)警、智能診斷、維修決策、現(xiàn)場運維、技改優(yōu)化、備件供應(yīng)與維修等一站式服務(wù)解決方案。公司目前服務(wù)管理300多個新能源交付單元,全球在運維容量突破3000萬千瓦,擁有3000余人的專業(yè)服務(wù)團隊。客戶涵蓋大型電力集團、地方國企、民營投資商、整機制造商,以及蘋果基金等國內(nèi)外知名企業(yè)。經(jīng)過多年踐行探索,公司形成北京總部管控支持、區(qū)域服務(wù)共享、電站標準化執(zhí)行的三級管理模式,憑借強大的數(shù)據(jù)分析能力、完善的平臺支持、專業(yè)的技術(shù)人員,提供安全、專業(yè)、可靠的新能源運營服務(wù)。