门户站点静态发布的设计与实现
之前写过一片文章讲述了门户首页静态发布解决方案(访问网址:http://infinite.iteye.com/blog/235109),本篇文章继续深入谈谈如何发布门户整站。门户站点的页面可大致分为以下几类:
1、 门户首页
2、 二级页面(或称栏目页)
3、 三级页面(或称文章页)
4、 全文检索结果展示页面
5、 控制台管理页面
其中需要前面三种类型的页面是需要发布成静态的,另外发布还分两种情况:
1、整站发布:从首页开始发布整个站点。
2、单页发布:根据指定的发布页,发布其及其页面上的所有链接,但页面上链接发布出来的页面上的链接不再继续发布。单页发布主要出于增量发布的需要,比如某栏目下新增加了文章,就可单独对该栏目对应的页面进行单独发布,无需每次都整站发布。
为提高性能,避免对一些不变的页面进行不必要的重新发布(比如文章页),特定以下规则:
1、如果已存在的发布页面列表不包含当前要发布的页面,则发布该页面
2、如果包含,且非文章页,则发布该页面
3、如果包含,且是文章页,且非第一个发布页面,则不再发布该页面
4、如果包含,且是文章页,且是第一个发布页面(单个文章页发布时),则发布该页面
另外对是否发布页面上链接地址,也定以下规则:
1、如果是整站发布,当前发布页面非文章页,则发布其上所有链接
2、如果是整站发布,当前发布页面为文章页,则不发布其上所有链接
3、如果是单页发布,且当前发布页是指定页本身,则发布其上所有链接
4、如果是单页发布,当前发布页非指定页本身,则不发布其上所有链接
具体的发布实现过程参照网络爬虫的原理,具体如下:
1、 从首页开始,使用HttpURLConnection模拟浏览器发起一个请求,通过读取请求响应的内容来抓取页面内容,保存到本地的静态html页面里;
2、解析该新保存的页面内容(使用一个叫HtmlParser的开源包),获取页面里的所有链接,过滤出需要发布成静态页面的url地址。
3、 对这些url地址逐个重复进行1、2两步的操作。
4、将静态页面里的动态url地址替换成新发布出来的静态html页面地址。
以上过程其实是个深度发布的过程,从首页到栏目页,再一直到文章页,从而将整个站点的所有页面都抓取下来。
分享到:
相关推荐
讯客团队从网民体验角度出发,专为信息发布类站点打造最实用,简洁而不失大气的信息发布系统,作为本地城市生活信息和行业供求的网络门户信息平台运作,拥有完善的数据分类和美观的网页界面设计,是报纸媒体分类广告...
介绍,展示,推广,销售各分类信息的产品与服务,开展网上电子商务业务,实现分类信息发布,赢利,是整站系统设计功能的最终目标。 分类信息发布系统是一个完善的分类信息发布网站系统,供求信息网站发布系统子模块,充分...
众多Seo策略,如:全站静态地址,静态内容,纯文本导航系统,自动站点地图等帮助搜索引擎更有效地收录您的站点,同时,系统内建了包括站点发布协助等专业Seo工具。 系统特性:安全:“千博装饰设计公司网站系统”...
蝉知企业门户系统(changezhiEPS)是一款开源免费的企业门户系统,专为企业营销设计!它内置了文章、产品、论坛、评论、会员、博客、手册等功能,后台操作简洁方便,前台界面美观大方。并且针对搜索引擎做了大量的...
第一类是资讯类站点,像新浪、网易、搜狐等门户网站。这类站点将为访问者提供大量的信息,而且访问量较大。因此需注意页面的分割、结构的合理、页面的优化、界面的亲和等问题。 第二类是资讯和形象相结合的网站,...
介绍,展示,推广,销售各分类信息的产品与服务,开展网上电子商务业务,实现分类信息发布,赢利,是整站系统设计功能的最终目标。 分类信息发布系统是一个完善的分类信息发布网站系统,供求信息网站发布系统子模块,充分...
只要简单的修改几个CSS文件就可以重新设计一个有成百上千页面的站点。 五、会员自助建站功能 有多套模板可供企业会员选用, 六、标签技术,使网站改版更容易 无论是商机还是新闻都可以任意、灵活的进行调用,轻松...
应用于商业网站、传媒网站、政府网站、企业门户网站以及专门信息网站与个人站点,规范网站后台信息流程、统一数据存储格式、减少网站维护的投入、加强信息披露的权限管理等方面的能力与效率,并且为降低网站建设与...
众多Seo策略,如:全站静态地址,静态内容,纯文本导航系统,自动站点地图等帮助搜索引擎更有效地收录您的站点,同时,系统内建了包括站点发布协助等专业Seo工具。 支持语种:中文、English、繁体、韩语、日语、...
JAVAPMS是JAVA门户管理系统(JAVA Portal Management System)的简称,以Sping+Hibernate+Freemarker+Html5+jQuery为技术核心架构,集系统管理、文档管理、审核工作流、基于模板的文档发布、页面静态化、内容检索、...
框架:基于开源的ThinkPHP技术架构,实现MVC、缓存等框架设计; 移植:支持当前主流的虚拟主机的Windows、IIS服务器移植应用; 开源:支持代码全部开源、二次开发以及模板定制业务需求; 2,一键式安装,快速部署...
6、支持独立子域名功能,频道、评论、用户中心等模块可绑定子域名,而且文件独立保存在各自的文件夹下,彻底实现大站点内的独立子站与轻松转移功能,让用户实现建立大型站点的梦想成为可能; 7、强大的多级管理权限...
介绍,展示,推广,销售各分类信息的产品与服务,开展网上电子商务业务,实现分类信息发布,赢利,是整站系统设计功能的最终目标。 网软志成分类信息网.NET综合风格正式版下载,能帮助用户建立一个像赶集网的专业分类信息...
界面采用标准化设计,结构清晰,缩短改版时间,只要简单的修改几个CSS文件就可以重新设计一个焕然一新的站点。 齐博B2B具有的功能特点包括: 通行证整合功能 通过通行证的整合,可以与流行的PHPWIND论坛或Discuz...
分类信息网站管理系统正式版源码有宣传,介绍,展示,推广,销售各分类信息的产品与服务,开展网上电子商务业务,实现分类信息的供求发布,营利,是整站系统设计功能的最终目标. 分类信息网赶集网风格版下载分类信息网站...
界面采用DIV CSS的标准化设计,结构清晰,缩短改版时间,只要简单的修改几个CSS文件就可以重新设计一个焕然一新的站点。 友邻B2B具有的功能特点包括: 通行证整合功能 通过通行证的整合,可以与流行的Discuz...
讯客团队从网民体验角度出发,专为信息发布类站点打造最实用,简洁而不失大气的信息发布系统,作为本地城市生活信息和行业供求的网络门户信息平台运作,拥有完善的数据分类和美观的网页界面设计,是报纸媒体分类广告...
界面采用DIV CSS的标准化设计,结构清晰,缩短改版时间,只要简单的修改几个CSS文件就可以重新设计一个焕然一新的站点。 友邻B2B具有的功能特点包括: 通行证整合功能 通过通行证的整合,可以与流行的Discuz...
2、 网站模板与程序分离,支持多种标签调用,支持DIV CSS,通过模板设计便可实现个性化网站 Art2008 CMS实现了“网站模板与程序完全分离”的新概念, JS标签跨站调用,支持不同频道、栏目、专题、内容页应用不同的...
4、 网站模板与程序分离,支持多种标签调用,支持DIV+CSS,通过模板设计便可实现个性化网站 科汛cms实现了“网站模板与程序完全分离”的新概念,独创ajax输出和JS标签跨站调用,支持不同频道、栏目、专题、内容页...