2010年2月11日星期四

阮一峰的网络日志

阮一峰的网络日志


关于URL编码

Posted: 11 Feb 2010 02:06 AM PST

一、问题的由来

URL就是网址,只要上网,就一定会用到。

bg2010021101.jpg

一般来说,URL只能使用英文字母、阿拉伯数字和某些标点符号,不能使用其他文字符号。因为网络标准RFC 1738做了硬性规定:

"...Only alphanumerics [0-9a-zA-Z], the special characters "$-_.+!*'()," [not including the quotes - ed], and reserved characters used for their reserved purposes may be used unencoded within a URL."

"只有字母和数字[0-9a-zA-Z]、一些特殊符号"$-_.+!*'(),"[不包括双引号]、以及某些保留字,才可以不经过编码直接用于URL。"

这意味着,如果URL中有汉字,就必须编码后使用。

但是麻烦的是,RFC 1738没有规定具体的编码方法,交给应用程序自己决定。这导致"URL编码"成为了一个混乱的领域。下面我们就来看看,它到底是怎么实现的。

二、编码方法:网址路径

让我们做几个试验,观察浏览器是怎么对URL编码的。

打开IE(我用的是8.0版),输入网址"http://zh.wikipedia.org/wiki/春节"。注意,"春节"这两个字此时是网页路径的一部分。(后面将看到,如果它出现在查询字符串的部分,将是另一种编码方式。)

bg2010021102.jpg

查看HTTP Head,会发现IE实际查询的网址是"http://zh.wikipedia.org/wiki/%E6%98%A5%E8%8A%82"。也就是说,IE自动将"春节"编码成了"%E6%98%A5%E8%8A%82"。

bg2010021103.png

我们知道,"春"和"节"的utf-8编码分别是"E6 98 A5"和"E8 8A 82",因此,"%E6%98%A5%E8%8A%82"就是按照顺序,在每个字节前加上%而得到的。(具体的转码方法,请参考我写的《字符编码笔记》。)

在Firefox中测试,也得到了同样的结果。因此,结论一就是,网址路径的编码,用的是utf-8编码。

三、编码方法:查询字符串

继续做试验。在IE中输入网址"http://www.baidu.com/s?wd=春节"。注意,"春节"这两个字此时属于查询字符串,不属于网址路径。

bg2010021104.jpg

查看HTTP Head,会发现IE将"春节"转化成了一个乱码。

bg2010021105.png

切换到十六进制方式,才能清楚地看到,"春节"被转成了"B4 BA BD DA"。

bg2010021106.png

我们知道,"春"和"节"在GB2312编码(我的操作系统Windows XP 中文版的默认编码)中分别是"B4 BA"和"BD DA"。因此,IE实际上就是将查询字符串,以其GB2312编码的格式发送出去。

Firefox的处理方法,略有不同。它发送的HTTP Head是"wd=%B4%BA%BD%DA"。也就是说,同样采用GB2312编码,但是在每个字节前加上了%。

bg2010021107.png

因此,结论二就是,查询字符串的编码,用的是操作系统的默认编码。

四、编码方法:Get和Post

前面说的是直接输入网址的情况,但是更常见的情况是,在已打开的网页上,直接用Get或Post方法发出HTTP请求。

根据台湾中兴大学吕瑞麟老师的试验,这时的编码方法由网页的编码决定,也就是由HTML源码中字符集的设定决定。

  <meta http-equiv="Content-Type" content="text/html;charset=xxxx">

如果上面这一行最后的charset是UTF-8,则URL就以UTF-8编码;如果是GB2312,URL就以GB2312编码。

举例来说,百度是GB2312编码,Google是UTF-8编码。因此,从它们的搜索框中搜索同一个词"春节",生成的查询字符串是不一样的。

百度生成的是%B4%BA%BD%DA,这是GB2312编码。

bg2010021109.jpg

Google生成的是%E6%98%A5%E8%8A%82,这是UTF-8编码。

bg2010021108.jpg

因此,结论三就是,GET和POST方法的编码,用的是网页的编码。

五、Javascript函数:escape()

为了方便编码,Javascript语言从一开始就提供了escape()函数。

但是实际上,这个函数不能直接用于URL编码。因为它返回的不是UTF-8编码,而是Unicode编码,比如"春节"的返回结果是%u6625%u8282。

bg2010021110.png

具体来说,它的规则是,除了ASCII字母、数字、标点符号"@ * _ + - . /"以外,其他所有字符都会被编码。在\u0000到\u00ff之间的符号——也就是前256个符号——被转成%xx的形式,其余符号被转成%uxxxx的形式,其中的xx为unicode编码值。它对应的解码函数是unescape()。

因此,"Hello World"的escape()编码就是"Hello%20World"。

bg2010021111.png

这里有两个地方需要注意。

首先,Javascript内部的所有字符,都以unicode码储存。所以,无论网页的原始编码是什么,一旦被Javascript编码,就都变为unicode。

bg2010021112.png

其次,escape()不对"+"编码。但是我们知道,在用户提交的表单字段中,如果有空格,则会被转化为+字符。服务器处理数据的时候,会把+号处理成空格。由于这个缺陷,escape方法并不能正确地处理表单数据。ECMAScript v3已经正式废除了escape(),建议使用其他函数取代。

六、Javascript函数:encodeURI()

encodeURI()是Javascript中真正用来对URL编码的函数。

它着眼于对URL进行整体编码,因此除了常见的标点符号以外,对其他一些在网址中有特殊含义的符号"; / ? : @ & = + $ , #",也不进行编码。

编码时,它返回utf-8编码,每个字节前加上%。

bg2010021113.png

它对应的解码函数是decodeURI()。

bg2010021114.png

需要注意的是,它不对单引号'编码。

七、Javascript函数:encodeURIComponent()

这个函数与encodeURI()的区别是,只对URL的某一部分单独编码,而不对整体编码。

因此,"; / ? : @ & = + $ , #",这些在encodeURI()中不被编码的符号,在encodeURIComponent()中统统会被编码。至于具体的编码方法,两者是一样。

bg2010021115.png

它对应的解码函数是decodeURIComponent()。

(完)