企业网站建设

建站知识

今日已发布信息: 59301
累计注册用户: 75915556

HtmlUnit、httpclient、jsoup爬取网页信息并剖析

概述:

1.爬取页面效果图


点击"百度一下"按钮前页面

点击"百度一下"按钮后页面



天涯社区登录页面


登录进去之后个人主页





二、具体实现代码


HtmlUnit(底层也是采用httpclient)和jsoup  API

package com.yuanhai.test; import java.io.IOException; import java.net.MalformedURLException; import org.jsoup.Connection; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.safety.Whitelist; import org.jsoup.select.Elements; import org.junit.Assert; import org.junit.Test; import com.gargoylesoftware.htmlunit.BrowserVersion; import com.gargoylesoftware.htmlunit.DefaultCredentialsProvider; import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController; import com.gargoylesoftware.htmlunit.WebClient; import com.gargoylesoftware.htmlunit.html.HtmlAnchor; import com.gargoylesoftware.htmlunit.html.HtmlButton; import com.gargoylesoftware.htmlunit.html.HtmlDivision; import com.gargoylesoftware.htmlunit.html.HtmlForm; import com.gargoylesoftware.htmlunit.html.HtmlInput; import com.gargoylesoftware.htmlunit.html.HtmlPage; import com.gargoylesoftware.htmlunit.html.HtmlSubmitInput; import com.gargoylesoftware.htmlunit.html.HtmlTextInput; //参考博文 //1.http://blog.csdn.net/zstu_cc/article/details/39250903 //2.http://blog.csdn.net/cslie/article/details/48735261 public class HtmlUnitAndJsoup {     /*      * 首先说说HtmlUnit相对于HttpClient的最明显的一个好处,      * 是HtmlUnit不仅保存了这个网页对象,更难能可贵的是它还存有这个网页的所有基本操作甚至事件。

 

  漯河建网站  打印机维修   今日推荐免费建站   分类信息   黄冈网站建设公司

 

     * 现在很多网站使用大量ajax,普通爬虫无法获取js生成的内容。

 

未雨绸缪

  其实在我以前的博客中,早就提到过:未雨绸缪,这个词。百度百科的解释如下:紧密缠缚.趁着天没下雨,先修缮房屋门窗.比喻事先做准备.(缪注意不能念错)

  为什么?

  1 你的站在百度或者google的权重不够高,不是实时更新并展现出来“沙盒效应”。(我是搜索引擎,我也会这么干。)

  2 关键字要做得快,如果已经存在以后,再去做,那么蜘蛛可能会判定你是:高度重复性的内容。(垃圾站)

  3 当关键字已经爬上风云榜或者热榜的时候,早就有了结果:你捞不到1个ip。

  4 譬如,我现在要去炒作枯叶客,这个关键字的时候。首先要保证我的关键字在各大搜索引擎的排名是数一数二的,而且得到的连接是www.365128.com,这样才能够保证,我所去做的炒作是由意义的。而且不是徒劳的。

  5 简单的说,快要到元宵了,那么就要抓紧的去做和元宵相关的关键字“长头,长尾,虚构”。

网站优化没有窍门就是实打实拼出来的

  最近自己上了一个新站,仿佛又回到了以前最痛苦的日子,每天编东西发外链,别人上班工作8小时,我是除了睡觉8小时,其余时间都在工作。有时候就在想同样是赚钱养家,为什么我的生活质量就这么差?不过大家不用担心我,我最擅长的就是自我安慰,既来之则安之,抱怨并不能解决实际的问题,而且在小猪看来,SEO就是实打实拼出来的,没有任何诀窍,想要在网站优化方面靠着自己的小聪明,短期的行,长远的话肯定得不到发展,因为现在的百度太智能了,大家懂得。

  没有投机取巧,只能围绕SEO转

  每天早上先site一下网站收录,查询一下反链,进而看一下友站的表现,对前一天的工作进行简单的总结后,就开始进入一天主要的工作了,这就是一个站长的生活,不能说机械,但也是重复性的劳动。很多时下的毕业生不想找工作,为了图轻松加入到我们站长行业,有的还做着黄金梦,结果呢?赚钱先不说,又有几个真正的坚持下来?尤其对SEO网站优化,新手的态度过于侥幸,总是想急于求成,或是买黑链,或是弄点关键词堆积一下,笔者不是老资历不能说教大家,但还是想说一下自己的看法,站长是实打实的做出来的,网站也是一点一滴积攒出来的,加入站长行业之后,我们整个的生活重心都要在这,只有怎样才能在初期打好该有的基础,为以后的盈利做准备。谁也不想整天被百度追杀吧?如果你耐不住寂寞,或是“急需要钱”,SEO或是站长行业还是不要介入的好。

  用户体验就是比谁的网站更“有用”

  用户体验从年初一直叫到了现在,仍然有很多站长搞不明白,总以为用户体验就是想尽一切办法讨好用户,让用户在体验网站的过程中感到方便舒适即可。但这只是用户体验的一个方面,大家要明白,咱们在网上和别人拼排名、拼用户体验、拼体验价值,归根结底就是在拼自己的网站内容,拼的是网站对于用户是否有利可图,就这么简单。用户粘度绝不等于用户忠诚度,访问者都是有一个“趋利”性质,而这个趋利性质就是谁的网站有利可图,他就会去哪个网站,京东便宜,她绝不会去淘宝,携程服务好,他就不会去艺龙,非生客便宜,他就不会去返还网,就是这么一个简单的道理。做网站终究是做内容,就像我的艺术培训网站一样,如果是单纯的做用户体验,我想也只有在客服和页面设计上多下点功夫,可是互联网上和我一样的网站多如牛毛,别人凭什么选择我的网站?就算我做到首页,那么还有九个网站和我比拼,我又要靠什么胜出,没错,最后拼的还是自己网站的内容,我虽然只是一个艺考网站,做的事相关培训业务,但是网站中用户可以下载到历年来主要报考学校的试题,另外,我们的客服还有一部分是专门解决访问者关于志愿填写问题的,总之,网站虽然艺考培训,但是我们尽量把艺考过程中涉及的所有内容都考虑到,而这就是小猪理解的用户体验,因此,拼的就是网站最根本的内容,你有价值,“有利可图”,这才能算得上拥有用户体验。

  和百度拼,不如给自己多留条路

  前面也说道现在做网站优化,一定不能作弊或是欺骗搜索引擎,因为这都是不负责任的行为,对于网站的发展也极为不利。所以每天固定更新全原创内容,发放高质量链接,去著名论坛投稿,或是到权重交稿的网站留下外链,都是我们工作的必须点。笔者在6月份之前,也一直重复着这样的工作,可是6、7月份的两次大更新让我一下子懵了,虽然是原创,虽然没有作弊,虽然网站环境很稳定,但自己的网站还是躺着中枪,K站到是没有,收录直接从6000掉到了600,排名更是一落千丈,最后还是通过申诉解决了问题。虽然问题解决了,但是自己还是心有余悸,倒不是说排名恢复一下就能解决问题的,这对于我们的品牌打击是无法衡量的,比如说别人是朋友介绍过来的,想搜索一下我们的网站,去怎么也找不到关键词排名,你说别人会怎么想?做网站的确要拼,但是这次我们不能硬拼了,就像当初的卢松松博客,谁能说这个博客对于我们没有帮助,可是他仍然有过被百度拔毛的情况,而且近期的两次大更新,百度也是好站坏站一起整,弄得我们直接没有反击之力,或是失去了后路。所以这次在更新之后新免于难,我的工作重点就不仅仅在百度身上了,反而向着成都本地论坛、其他搜索引擎以及微博等社会化媒体进攻,争取做到微博营销、软文营销以及口碑营销等多方面宣传,而这不是大家说说就行的,里面付出的努力也只能用一个字形容,那就是拼。

  说了这么多,其实小猪的想法也很简单,就是告诉大家SEO只能拼,没有窍门,还有一个问题就是行业的净化需要大家去努力,我写这个的目的也正是想通过文章的效用提醒一下大家做SEO的几个误区,提升行业真正的竞争水平,以此谋得大家共同的长远发展。

互联网理财如何降低风险?拍拍贷、微贷网、快投机器告诉你

  随着“互联网+”的传播和人们生活质量的不断提升,越来越多的投资人摒弃了费时费力还收益微薄的传统理财方式,转而将目光投向互联网理财。网上理财不仅便捷易操作,而且有着更大的选择空间和投资回报,对投资人来说的确更有吸引力。

  

 

  但是由于互联网跨越了时间和空间的局限,在真实性和安全性方面就显得有些虚无缥缈,怎样降低投资风险来保证资金安全成了投资人最关注的话题。接下来我们以投资反响还不错的拍拍贷、微贷网和快投机器三家平台为例,看看它们是如何做到风险把控的。

  拍拍贷:大数据+分散投资

  拍拍贷可以说是业内众多民营系平台中发展最为稳健的一家,它成立于2007年,至今已有近10年的发展历史,是P2P行业的领军平台之一。拍拍贷最大的特色在于它不为平台项目提供担保,而是通过大数据来评估借款人的逾期风险并告知投资人,由投资人根据自己的风险承受能力自行选择,适合有一定经验的投资人。除了散标之外,拍拍贷也推出了一键智能投资的理财产品,为新手或懒人投资人提供方便。

  拍拍贷的产品主要包括散标列表、彩虹计划、月月涨、拍活宝等,综合年化收益在10%左右,总体上来说表现中等。

  微贷网:车辆抵押+实体经营

  微贷网是一家有着6年运营经验的老平台,它开创了中国互联网金融车贷平台的先河,目前已接入厦门银行资金存管平台。

微贷网的投资期限1-36个月不等,既有热选标的,也有理财产品优选计划,年化收益在7%-11%之间,在业内并不出众。

  快投机器:第三方担保+高度透明

  快投机器成立于2015年,团队成员在互联网和金融行业有着丰富的从业经验,凭借安全、高效的精品项目赢得了一众投资人的好口碑。

  

 

  快投机器主打供应链金融,借款项目一般来源于供应链核心集团公司的推荐,同时推荐方也要对借款项目承担连带责任担保。快投机器有着严格的风控流程和项目审批程序,平台会对借款方做详细的实地考察,并将项目信息高度公开,借款协议、实地图片、保证合同等都以电子文件的形式披露在项目详情中,充分保证项目真实性及用户的知情权。

  快投机器的项目期限一般在1-6个月以内,中短期稳健高收,预期年化收益在12%-14%之间。用户资金交易过程由新浪支付全程托管,将平台于用户资金相隔离。同时平台也设置风险备用金来应对逾期风险,确保投资人的资金安全。

看看这些可怕的广告黑历史就知道咱们的社会进步了多少

  鼓励婴儿喝高糖分汽水,给妻子最好的圣诞礼物是吸尘器,难以想象曾经人们对此习以为常。

  

 

  七喜在50年代的广告

  广告也许最能反应一个社会的主流价值观了,为了讨好消费者,广告总要顺民心。如今的广告经常遇到价值观争议的问题,很大程度上也是因为我们正处在一个价值观迅速变化的时代,倘若我们去回顾半个多世纪前的广告,就会发现,我们已经进步太多了。看看这些国外的旧广告:种族歧视、物化女性,就这么堂而皇之地出现在不少著名大品牌的广告里。

  1920年代,一个名为Palmolive的洗护品牌在广告中宣称女性的外表比智慧更重要。广告海报赤裸裸的说着当时男人的想法——大多数男人会问“她漂亮吗?”而不是“她聪明么?”

  

 

  Palmolive

  1940年代,骆驼香烟在广告里告诉你说香烟实际上对人体有益,因为连医生也喜欢抽烟,而且他们最喜欢的品牌是骆驼,这可是有调查为证的。

  

 

  骆驼香烟

  在这个1920年代的Jello-O果冻广告中,一个黑人小孩正在一个种植园里为一个白人女子服务。

  

 

  Jello-O

  1930年代,Kellogg食品的广告鼓励女性在家里好好做家务,并称:“一个女人做家务越努力,看上去越漂亮。”

  

 

  Kellogg

  1950年代,七喜还鼓励妈妈们给婴儿喝碳酸饮料。

  

 

  七喜

  1950年代,万宝路还用婴儿来卖香烟。

  

 

  万宝路

  服装品牌Van Heusen在1950年的广告中嘲笑黑人。

  

 

  Van Heusen

  1960年代,Hoover在广告中宣称送给女性最好的礼物就是吸尘器。

  

 

  Hoover吸尘器

  Baby Soft香水在1970年让一个小女孩化妆出现在广告里,广告语还称:“天真比你想象得更性感。”根本没有意识到让儿童卖弄性感的问题。

  

 

  Baby Soft

  Old Gold香烟还把女性当成了放置香烟的底座。

  

 

  Old Gold

  NK Fairbank香皂把黑人小孩描绘成“不洁的”。

  

 

  NK Fairbank

  Lysol清洁剂把女性描绘成“疑神疑鬼的”“无知的”“压抑的”。

  

 

  Lysol

  1969年,Tab饮料还告诉女性要远离高糖可口可乐,因为你需要保持好身材你的男人才会想你。

  

 

  Tab

  香皂Pear’s Soap 在1900年代称,传播清洁的生活习惯是白人男性的责任,其中隐含的种族歧视十分明显。

  

我找了一份月薪1200元的SEO推广任务

  导读:在西安做SEO工作,工资1200元/月,没提成、没奖金、没补助,住在城中村一家旅馆加水电费大约500元左右,每天吃饭20-30元(不算其他),车费4元,因为没有直达车,每天必须走路30分钟,然后挤15分钟的公交。

  刚开始看了这篇文章我还不信,1200元/月的工作,还是在省会西安,后来我跑去和作者秦义求证。

  他说:我两个月前毕业,进入这家公司之前连SEO是什么都不知道,现在一直都是负收入,而且还参加了搜外的SEO培训,一直在自己出钱,大三的时候,我在肯德基做了一年的兼职,所以存了点钱,我就是喜欢这以行业,才这样的。

  大致对话如下:

  

 

  

 

  

 

  

 

  下面是正文:

  刚刚看到有同学对我说一定要坚持,只要坚持下去,才会实现你的理想。

  我想,在很多时候,只要谈起我们的梦想时,都会有身边的朋友和同学对我们说坚持。

  坚持是什么,也许有着很多的解释。而今天我要说的坚持是我自己的坚持,在找工作这方面的坚持。

  昨天我也说了,我现在的工作很悠闲,但是工资也就1200元/月,没提成、没奖金、没补助。

  我现在房租(城中村一家旅馆)加水电费大约500元左右

  每天吃饭必须花掉20-30元(不加其他的)

  每天车费4元

  因为去公司没有直达车,每天必须走30分钟的路,然后挤15分钟的公交车。

  算下来,我不干其他的,每个月也要花 1200-1500元之间。

  那我为什么还会选择在现在这家公司上班呢?

  只有一个原因,因为我喜欢这个公司、喜欢这个职业。

  我现在在一家家装公司,职位是网络推广。

  虽然家装跟家具方面还是有些差别,但是我总算是进入了这个行业了。

  而且对于网络方面的工作,我很喜欢,我也想往这方面发展,所以我选择了这个公司、这个职业、这个工作。

  xxxx装饰,我所在的公司名称。

  xxxx也是我最后一个面试的地方。

  本来跟往常一样,看到网络推广这个招聘职位,我也没报有太大的希望,只是想试试,找找失败的经验。

  [我在跟我一个朋友聊天的时候,给她说了这些面试的事时,她就说我有病,冒着35度以上的高温去找工作,而且还是去找刺激的那种]

  那天下午2点,我准时来到了大德,大德是一家装饰公司,所以这家公司的工作环境把我吸引住了。

  填完前台给的一份简历后,招聘经理出来了。

  其实刚开始,刚开始还是跟以前的面试一样,招聘经理把销售方面的事情介绍了一遍,然后问我是否对这方面有兴趣。

  我说我对销售方面没什么兴趣,我对网络方面很有兴趣。

  我给了她说,我会的一些网络软件,她说她不懂这些专业方面的事,然后把我带到了她们公司旗下的一个子公司(也就是一个网络团队)

  来到这个子公司,我其实还是报着试一试的态度。

  负责人:“您好,您是来面试我们公司网络推广这个职位吗?”

  我:"嗯"

  负责人:“你对这个职位有了解吗?”

  我:"没有,但是我喜欢这份工作,而且我在学校里,学习过......(各种吹嘘)"

  负责人:"嗯,你知道招标吗,对它有什么看法?"

  我:"~~~"

  我:"是不是电视上看的那个比价格?"

  负责人:"~~~"[我猜他肯定一脸草泥马]

  负责人:"你会做视频吗?"

  我:"我正在学flash"

  负责人:"你知道SEO吗?"

  我:"~~~"[我想算了,还是洗洗回去吧]

  我:"因为我毕竟不是学这个专业的,所以我对一些专业的名次还不是很了解,但是我愿意去学,我可以来你们公司做实习生,不要工资都可以。"

  负责人:"嗯,不错,其实这方面的工作学习很简单,学会也就几天时间。我看你态度很好,我也决定你留在公司实习一个月,一个月后是走是留就看你的表现了。"

  负责人:"看你是刚毕业的学生,也不容易,这样吧,你的最低薪资要求为1500元,国家规定实习期安80%的工资发放,所以这个月可以给你1200元。" (他说这句话的时候,我就感动啊~~~)

  ......

  我也在此结束了我一个星期的求职生涯。

  在这一个星期里,面对的打击太多,突然之间找到工作,对我来说,真的是来之不易。

  所以也不在乎工资到底是1200元还是0元。

  其实在求职期间,有很多公司叫我去复试,但是我都没有去。

  比如。某投资公司的销售专员

  某咨询公司的业务员

  某教育培训公司的市场策划专员(其实挺喜欢这职业的,但是根本不是策划,而是招生)

  某房产中介公司的业务员

  某机械销售公司的市场拓展员

  .......

  我其实在网上投简历的时候只投市场策划专员与网络推广这两种职业,但是很多都变成了市场与销售了(很不能接受) 。

  其实我想我能找到现在这个工作,只有三个原因。

  其一,运气好,刚好公司缺人

  其二,坚持,总会遇到一些公司需要的

  其三,要敢拒绝,不担心工作的事,平常心

  其实,当时我在面试的时候,已经把面试当成一种锻炼自己的机会,很多工作自己已经不能胜任,不可能去,但是我还是去了,反正感觉去了又不会少一块肉,最主要的是去公司还有空调吹(住的地方很热),也就是我的坚持,才有了现在的秦义SEO的存在所以各位SEO兄弟们,如果认定一件事后就不要轻易改变,努力为自己争取。

  卢松松简评:如果,你能坚持SEO的这份热爱一年以上,那么一年以后,请你在回头来看看这篇文章。我相信,你会感谢现在的自己。

http://lh.kvov.com.cn/jzxx32727.html