jfinal官方文档（jfinal如何实现缓存持久化）

本文目录

• jfinal如何实现缓存持久化
• 如何使用python爬虫jfinal
• jFinal在页面取值是如何做到的
• jfinal中HTML页面模板引擎

jfinal如何实现缓存持久化

Cache 缓存

1 : EhCache

EhCachePlugin是JFinal集成的缓存插件，通过使用EhCachePlugin可以提高系统的并发访问速度。

网页链接

ehcache.xml简介

EhCache的使用需要有ehcache.xml配置文件支持，该配置文件中配置了很多cache节点，每个cache节点会配置一个name属性，例如：《cache name="blog" …》，该属性是CacheKit取值所必须的。其它配置项如eternal、overflowToDisk、timeToIdleSeconds、timeToLiveSeconds详见EhCache官方文档。 cache节点配置为都写入磁盘即可.
2: Redis

RedisPlugin是支持 Redis的极速化插件。使用RedisPlugin可以极度方便的使用redis，该插件不仅提供了丰富的API，而且还同时支持多redis服务端。Redis拥有超高的性能，丰富的数据结构，天然支持数据持久化，是目前应用非常广泛的nosql数据库。对于redis的有效应用可极大提升系统性能，节省硬件成本。网页链接

3: j2cache
开源中国教主红薯的二级缓存, 性能非常高, 是 EhCache+Redis 二合一的处理方式
网页链接

如何使用python爬虫jfinal

一、gzip/deflate支持

 现在的网页普遍支持gzip压缩，这往往可以解决大量传输时间，以VeryCD的主页为例，未压缩版本247K，压缩了以后45K，为原来的1/5。这就意味着抓取速度会快5倍。

然而python的urllib/urllib2默认都不支持压缩，要返回压缩格式，必须在request的header里面写明’accept-
encoding’，然后读取response后更要检查header查看是否有’content-encoding’一项来判断是否需要解码，很繁琐琐
碎。如何让urllib2自动支持gzip, defalte呢？

其实可以继承BaseHanlder类，然后build_opener的方式来处理：

import urllib2
from gzip import GzipFile
from StringIO import StringIO
class ContentEncodingProcessor(urllib2.BaseHandler):
 """A handler to add gzip capabilities to urllib2 requests """
 
 # add headers to requests
***隐藏网址***
   req.add_header("Accept-Encoding", "gzip, deflate")
   return req
 
 # decode
***隐藏网址***
   old_resp = resp
   # gzip
   if resp.headers.get("content-encoding") == "gzip":
       gz = GzipFile(
                   fileobj=StringIO(resp.read()),
                   mode="r"
                 )
       resp = urllib2.addinfourl(gz, old_resp.headers, old_resp.url, old_resp.code)
       resp.msg = old_resp.msg
   # deflate
   if resp.headers.get("content-encoding") == "deflate":
       gz = StringIO( deflate(resp.read()) )
       resp = urllib2.addinfourl(gz, old_resp.headers, old_resp.url, old_resp.code)  # ’class to add info() and
       resp.msg = old_resp.msg
   return resp
 
# deflate support
import zlib
def deflate(data):   # zlib only provides the zlib compress format, not the deflate format;
 try:               # so on top of all there’s this workaround:
   return zlib.decompress(data, -zlib.MAX_WBITS)
 except zlib.error:
   return zlib.decompress(data)

然后就简单了，

encoding_support = ContentEncodingProcessor
opener = urllib2.build_opener( encoding_support, urllib2.HTTPHandler )
 
#直接用opener打开网页，如果服务器支持gzip/defalte则自动解压缩
content = opener.open(url).read()

二、更方便地多线程

总结一文的确提及了一个简单的多线程模板，但是那个东东真正应用到程序里面去只会让程序变得支离破碎，不堪入目。在怎么更方便地进行多线程方面我也动了一番脑筋。先想想怎么进行多线程调用最方便呢？

1、用twisted进行异步I/O抓取

事实上更高效的抓取并非一定要用多线程，也可以使用异步I/O法：直接用twisted的getPage方法，然后分别加上异步I/O结束时的callback和errback方法即可。例如可以这么干：

from twisted.web.client import getPage
from twisted.internet import reactor
 
***隐藏网址***
 
def parse_page(data,url):
   print len(data),url
 
def fetch_error(error,url):
   print error.getErrorMessage(),url
 
# 批量抓取链接
for url in links:
   getPage(url,timeout=5) \
       .addCallback(parse_page,url) \ #成功则调用parse_page方法
       .addErrback(fetch_error,url)     #失败则调用fetch_error方法
 
reactor.callLater(5, reactor.stop) #5秒钟后通知reactor结束程序
reactor.run()

twisted人如其名，写的代码实在是太扭曲了，非正常人所能接受，虽然这个简单的例子看上去还好；每次写twisted的程序整个人都扭曲了，累得不得了，文档等于没有，必须得看源码才知道怎么整，唉不提了。

如果要支持gzip/deflate，甚至做一些登陆的扩展，就得为twisted写个新的HTTPClientFactory类诸如此类，我这眉头真是大皱，遂放弃。有毅力者请自行尝试。

这篇讲怎么用twisted来进行批量网址处理的文章不错，由浅入深，深入浅出，可以一看。

2、设计一个简单的多线程抓取类

还是觉得在urllib之类python“本土”的东东里面折腾起来更舒服。试想一下，如果有个Fetcher类，你可以这么调用

f = Fetcher(threads=10) #设定下载线程数为10
for url in urls:
   f.push(url)  #把所有url推入下载队列
while f.taskleft(): #若还有未完成下载的线程
   content = f.pop()  #从下载完成队列中取出结果
   do_with(content) # 处理content内容

这么个多线程调用简单明了，那么就这么设计吧，首先要有两个队列，用Queue搞定，多线程的基本架构也和“技巧总结”一文类似，push方法和
pop方法都比较好处理，都是直接用Queue的方法，taskleft则是如果有“正在运行的任务”或者”队列中的任务”则为是，也好办，于是代码如
下：

import urllib2
from threading import Thread,Lock
from Queue import Queue
import time
 
class Fetcher:
   def __init__(self,threads):
       self.opener = urllib2.build_opener(urllib2.HTTPHandler)
       self.lock = Lock() #线程锁
       self.q_req = Queue() #任务队列
       self.q_ans = Queue() #完成队列
       self.threads = threads
       for i in range(threads):
           t = Thread(target=self.threadget)
           t.setDaemon(True)
           t.start()
       self.running = 0
 
   def __del__(self): #解构时需等待两个队列完成
       time.sleep(0.5)
       self.q_req.join()
       self.q_ans.join()
 
   def taskleft(self):
       return self.q_req.qsize()+self.q_ans.qsize()+self.running
 
   def push(self,req):
       self.q_req.put(req)
 
   def pop(self):
       return self.q_ans.get()
 
   def threadget(self):
       while True:
           req = self.q_req.get()
           with self.lock: #要保证该操作的原子性，进入critical area
               self.running += 1
           try:
               ans = self.opener.open(req).read()
           except Exception, what:
               ans = ’’
               print what
           self.q_ans.put((req,ans))
           with self.lock:
               self.running -= 1
           self.q_req.task_done()
           time.sleep(0.1) # don’t spam
 
if __name__ == "__main__":
***隐藏网址***
   f = Fetcher(threads=10)
   for url in links:
       f.push(url)
   while f.taskleft():
       url,content = f.pop()
       print url,len(content)

jFinal在页面取值是如何做到的

render系列方法

render系列方法将渲染不同类型的视图并返回给客户端。JFinal目前支持的视图类型有：JFinal Template、FreeMarker、JSP、Velocity、JSON、File、Text、Html、QrCode 二维码 等等。除了JFinal支持的视图型以外，还可以通过继承Render抽象类来无限扩展视图类型。

通常情况下使用Controller.render(String)方法来渲染视图，使用Controller.render(String)时的视图类型由JFinalConfig.configConstant(Constants constants)配置中的constants. setViewType(ViewType)来决定，该设置方法支持的ViewType有：JFINAL_TEMPLATE、FreeMarker、JSP、Velocity，不进行配置时的缺省配置为JFINAL_TEMPLATE。

此外，还可以通过 constants.setRenderFactory(IRenderFactory)来设置Controller中所有render系列方法所使用的Render实现类。

以上有很多视图, 我就说下默认的最好用的: JFinal Template 

JFinal Template Engine 采用独创的 DKFF (Dynamic Key Feature Forward)词法分析算法以及独创的DLRD (Double Layer Recursive Descent)语法分析算法，极大减少了代码量，降低了学习成本，并提升了用户体验。

与以往任何一款 java 模板引擎都有显著的不同，极简设计、独创算法、极爽开发体验，从根本上重新定义了模板引擎

JFinal 模板引擎专为 java 开发者打造，所以坚持两个核心设计理念：一是在模板中可以直接与 java 代码通畅地交互，二是尽可能沿用 java 语法规则，将学习成本降到极致。

因此，立即掌握 90% 的用法，只需要记住一句话：JFinal 模板引擎表达式与 java 是直接打通的。

1、输出指令#( )

与几乎所有 java 模板引擎不同，JFinal Template Engine消灭了插值指令这个原本独立的概念，而是将其当成是所有指令中的一员，仅仅是指令名称省略了而已。因此，该指令的定界符与普通指令一样为小括号，从而不必像其它模板引擎一样引入额外的如大括号般的定界符。

#(…)输出指令的使用极为简单，只需要为该指令传入前面6.4节中介绍的任何表达式即可，指令会将这些表达式的求值结果进行输出，特别注意，当表达式的值为null时没有任何输出，更不会报异常。所以，对于 #(value) 这类输出不需要对value进行null值判断，

#(value)
#(object.field)
#(object.field ??)
#(a 》 b ? x : y)
#(seoTitle ?? "JFinal 俱乐部")
#(object.method(), null)

更多用法, 还是要去官网看下文档: 网页链接

jfinal中HTML页面模板引擎

public void configEngine(Engine engine) {
engine.setDevMode(true);
}
模板引擎配置中只有这样，使用renderJsp(...)和renderHtml(...)的时候，#(...)都会被当做文本处理，后来直接使用 render(...)，就可以取出页面的值了，我就先这样使用一下吧，之后需要使用我会再好好研究一下Jfinal文档和代码