python utf8 codec cant decode（python读取文件解决‘utf8’ codec can’t decode byte 0xa1的问题）

本文目录

• python读取文件解决‘utf8’ codec can’t decode byte 0xa1的问题
• pythonutf8 codec cant decode byte oxc1怎么解决
• Python笔记——’utf-8’ codec can’t decode byte 0xc5 in position 0: invalid continuation byte
• python3出现utf-8 codec cant decode bytes in position114-115:invalid continuation byte怎么办
• UnicodeDecodeError: ’utf-8’ codec can’t decode byte 0xff in position 0: invalid start byte
• utf-8编码的codec can’t decode byte0xc1 in position0: invalid
• python|UnicodeDecodeError: ’utf-8’ codec can’t decode byte 0xd5 in position 0
• UnicodeDecodeError: ’utf8’ codec can’t decode byte 0xb2 in position 0: invalid start byte

python读取文件解决‘utf8’ codec can’t decode byte 0xa1的问题

一般这种文件存在类似字符：

如果UTF-8搞不定，可以采取ISO-8859-1编码方式解决：

最早的编码是iso8859-1，和ascii编码相似。但为了方便表示各种各样的语言，逐渐出现了很多标准编码，重要的有如下几个。

很明显，iso8859-1编码表示的字符范围很窄，无法表示中文字符。但是，由于是单字节编码，和计算机最基础的表示单位一致，所以很多时候，仍旧使用iso8859-1编码来表示。而且在很多协议上，默认使用该编码。比如，虽然"中文"两个字不存在iso8859-1编码，以gb2312编码为例，应该是"d6d0 cec4"两个字符，使用iso8859-1编码的时候则将它拆开为4个字节来表示："d6 d0 ce c4"（事实上，在进行存储的时候，也是以字节为单位处理的）。而如果是UTF编码，则是6个字节"e4 b8 ad e6 96 87"。很明显，这种表示方法还需要以另一种编码为基础。

需要说明的是，定长编码便于计算机处理（注意GB2312/GBK不是定长编码），而unicode又可以用来表示所有字符，所以在很多软件内部是使用unicode编码来处理的，比如java。

注意，虽然说utf是为了使用更少的空间而使用的，但那只是相对于unicode编码来说，如果已经知道是汉字，则使用GB2312/GBK无疑是最节省的。不过另一方面，值得说明的是，虽然utf编码对汉字使用3个字节，但即使对于汉字网页，utf编码也会比unicode编码节省，因为网页中包含了很多的英文字符。

pythonutf8 codec cant decode byte oxc1怎么解决

这个问题是python的编码问题，大概意思就是以utf8编码方式解析gbk或者gb2312时解析不了的意思，所以应该是先decode("gbk")或者decode("gb2312")即可

Python笔记——’utf-8’ codec can’t decode byte 0xc5 in position 0: invalid continuation byte

在读取数据时出现如下
’utf-8’ codec can’t decode byte 0xc5 in position 0: invalid continuation byte
该报错说明csv文件不是utf-8编码形式，有两种方法可以解决。

一种是改变csv文件的编码，可以用记事本打开csv文件再将其另存为utf-8编码形式并覆盖原文件。

另一种方法是先查看csv文件是什么编码，我的csv文件为ANSI编码，然后再添加参数encoding=’ANSI’。

python3出现utf-8 codec cant decode bytes in position114-115:invalid continuation byte怎么办

首先检查文件编码是不是utf-8；

如果是utf-8，检查是否有乱码。

这个错误就是说这两个字节的内容无法按utf-8来解码。

比如一些网站页面有部分乱码的问题存在，去掉相应的字节后就好，我是这么解决的：

def _html(url, decode):
    html = urlopen(url).read()()
    if not decode:
        decode = _testencode(html)
    while True:
        try:
            html = html.decode(decode)
            break
        except (UnicodeDecodeError,) as e:
            html = html
    return html

这里except 块里动作就是把相应不能解码的内容丢弃。对应文本文件也可以用类似的方法处理。

UnicodeDecodeError: ’utf-8’ codec can’t decode byte 0xff in position 0: invalid start byte

用python3：

Traceback (most recent call last): File "genetic_disease_filtrater.py", line 139, in intron = txt2.readlines()

  File "/usr/local/lib/python3.6/codecs.py", line 321, in decode

    (result, consumed) = self._buffer_decode(data, self.errors, final)

UnicodeDecodeError: ’utf-8’ codec can’t decode byte 0xff in position 0: invalid start byte

找了半天原因，发现是被打开文件之前写出时：encoding = "utf-16"

解决办法：

打开文件时修改一下默认值：

with open(args.whanno_txt,"r",encoding=’utf-16’)

解决了

总结：

de这个bug跨时2天~  之前也在打开时“r”改为“rb”，后面一系列有字符串的地方都要在前面加b，非常麻烦。所以先检查一下被打开的文件是不是有什么问题，可能写出这个文件的时候就不是默认的’utf-8’。

utf-8编码的codec can’t decode byte0xc1 in position0: invalid

’utf-8’ codec can’t decode byte 0xcd in position 2: invalid continuation byte是设置错误造成的，解决方法为：

1、在Geany中编译python3时，如果有添加中文注释可能会出现SyntaxError: (unicode error) ’utf-8’ codec can’t decode byte 0xc1 in position 0: invalid start byte，如下图。

2、在菜单栏中选择“文档”中的“设置文件编码”选择“Unicode(UTF-8)”。

3、对Geany软件进行如下设置：在菜单栏中选择“”中的“首选项”。

4、对“首选项”中的“文件”中的“编码”设置成 Unicode(UTF-8)就可以解决问题了。

python|UnicodeDecodeError: ’utf-8’ codec can’t decode byte 0xd5 in position 0

以上为编码解码的问题，我这个错误就是‘utf-8’不能解码位置0的那个字节（0xce），也就是这个字节超出了utf-8的表示范围了。

此问题的解决方案是：

1、打开txt文本

2、另存为这里将编码栏改为UTF-8保存覆盖原有文件就可以了。（如下图）

UnicodeDecodeError: ’utf8’ codec can’t decode byte 0xb2 in position 0: invalid start byte

print测试用例»Test就行了。

具体分析如下：

1. print 测试用例»Test就行了。

2. 或者你想测试用例»Test’.encode(’utf-8’).decode(’utf-8’)？

3. 》》》 ’»’
   ’»’
   》》》 ’»’.encode(’utf-8’)
   b’\xc2\xbb’
   》》》 ’»’.encode().decode()
   ’»’python3正常
   ------------------------------------------------------
   》》》 print ’测试用例»Test’
   Unsupported characters in input
   》》》 print(b’\xc2\xbb’.decode(’utf-8’))
   »python2确实需要转码，以上是idle中的测试，命令提示符下有问题。

4. 拓展：Python是一种面向对象、直译式计算机程序设计语言，由荷兰人Guido van Rossum发明于1989年，1991年发行第一个公开发行版。它常被昵称为胶水语言，它能够很轻松的把用其他语言制作的各种模块（尤其是C/C++）轻松地联结在一起。