职位描述：
1. 精通Java，熟练或了解Scala，了解Akaa，熟练JDK并发库，对多核编程有一定了解， 了解一致性hash算法、BloomFilter、paxos算法、Zab协议，精通Zookeeper Scala/Java client，Redis，精通或熟练Mongo，了解RPC协议，精通Netty或Nio，熟练Jetty ，熟练Java IO,熟悉或了解socket编程；
2.了解Http协议，精通Java HttpURLConnection或HTTPClient，有开发过或了解过爬虫，熟练Jsoup，Xpath，CSS Selector、Selinum；
3. 熟练使用机器学习算法，高效网页去重算法的选择,最好了解Spark，Hadoop；
4.本科以上学历。
