“utf-8”和”utf8mb4″有什么区别,宝塔创建Mysql怎么选

mysql学习 思享 188浏览 0评论

如果你要存互联网emoji表情,例如昵称,聊天,就需要utf8mb4,而不是utf-8。

MySQL数据库的 “utf8”并不是真正概念里的 UTF-8。

首先确实utf8需要超过3个字节的长度。其次目前可见字符集都只需要3个字节,包含了所有字符。目前问题出在unicode6系列编码上,它们需要4个字节,这部分就是有名的emoji。所以,你只要不是特种编码还是unicode,且不存emoji,保证不出问题。

MySQL中的“utf8”编码只支持最大3字节每字符。真正的大家正在使用的UTF-8编码是应该能支持4字节每个字符。

MySQL的开发者没有修复这个bug。他们在2010年增加了一个变通的方法:一个新的字符集“utf8mb4”

当然,他们并没有对外公布(可能因为这个bug有点尴尬)。现在很多指南推荐用户使用“utf8”其实都错了。

简单的说:

MySQL中的 “utf8mb4” 才是 真正意义上的“UTF-8”。

MySQL的“utf8”是个“特殊的字符编码”。这种编码很多Unicode字符保存不了。

我强烈建议MySQL和MariaDB用户使用“utf8mb4”而不是“utf8”。

编码是什么?什么是UTF-8?

Joel on Software上有一遍我最喜欢的介绍,我精简描述如下:

计算机使用0和1存储文字。比如第一段第一个字符存储为“01000011”表示“C”,计算机通过以下两个步骤选择用“C”表示:

计算机读取到“01000011”后计算出这是数字67。

计算机通过查找Unicode字符集来确认67代表的“C”。

同样的事情发生在我打字输入C的时候。

计算机通过Unicode字符集将“C” 映射为67。

计算机把67编码为“01000011”发送给web服务器。

几乎所有的程序和互联网应用使用Unicode字符集。

Unicode字符集里有超过100万个字符(“C” 和 “” 是两种不同的字符。)。UTF-32是最简单的编码方式,它在表示每个字符的时候使用32个bits。这样编码简单,但是并不实用,明显浪费了太多的空间。

UTF-8相比UTF-32更加节约空间。在UTF-8中,像“C”这样的字符占用8bits,“”这样的占用32 bits。其他字符占用16或者24 bits。如本篇这样的文章用UTF-8存储比用UTF-32节省4倍左右的空间。更小的空间占用也意味着加载速度会快上4倍。

而MySQL中的 “utf8”字符集则和其他应用行为不一样。比如根本没法表示“”。

一点关于MySQL的历史

为什么MySQL的开发者开发了一个奇怪的“utf8”。我们可以通过提交的日志来揣测一下。

MySQL从4.1版开始支持UTF-8。那是在比今天UTF-8 RFC 3629标准更早的2003年。

在此之前的UTF-8标准,RFC 2279中规定6个bytes表示一个字符。MySQL的开发者在2002.3.28编码实现了RFC 2279 。并发布了pre-pre-release 的 MySQL 4.1

然后在9月出现了一个神秘的字节调整。“UTF8 now works with up to3 byte sequences only.”

是谁提交了这次更新?为什么?我无法解答。MySQL的源码移到Git后丢失了旧的作者信息(MySQL 曾经和linux内核一样使用BitKeeper)

但是我大概能猜出来原因。

回到2002年,如果用户可以保证表中的每一行具有相同的字节数,MySQL就可以提高用户的速度。为了得到这个提升,用户就需要定义保存文字的列为“CHAR”。一个“CHAR”列总是拥有相同的字符数。如果存入的字符较少则会在最后补齐空白。如果存入的数据过多则会被抛弃多余的字符。

当MySQL的开发者第一次尝试以6字节每字符实现UTF-8时,他们意识到CHAR(1)的列会占用6字节,CHAR(2)会占用12字节,以此类推。

显而易见的是,这个没有被使用的实现方式是正确的,任何一个理解UTF-8的开发者将会认同这一点。

我的猜测是:MySQL的开发者违背了“utf8”编码去帮助那些1)试图去优化空间和速度的人,2)尝试优化空间和速度失败的人。

这是个无人获益的改动。那些想要更快性能,更小空间的得到的依然是比他们曾经使用版本更大更慢的实现,而那些想要正确的“utf8”的人得到的是个“”都存储不了的实现。

MySQL发布了这个错误的版本后,在也没有修复它:因为那样很多使用者将被迫重建他们的数据库。MySQL最终在2010年更新了一个以“utf8mb4”命名的UTF-8实现。

Why it’s so frustrating

这周我过得很操蛋。我遇到一个很难发现的bug,就因为我被“utf8”这个名字给愚弄了。而且我也不是个案,我发现几乎每篇推荐使用“utf8”的文章都错了。

“utf8”的命名在mysql依然是错的。这是个专有的实现。这造成了新的问题,而且没有解决他应该解决的问题。

本文来源:【Mysql中“utf-8”和"utf8mb4"的区别与使用场景
思享SEO博客编辑转载,仅用于参考学习,如有侵权请联系本站修改删除!

扩展阅读

Mysql批量替换表中字段中的一些值

在我们采集过程中,可能会遇到html代码作为字符串输出的情况,比如表示空格的 如果在文章中感觉还好,但是如果在标题中就比较不舒服了,除了在程序上修改解决这个问题,我们还可以通过mysql命令进行替换 SQL命令如下: UPDATE ......

mysql从phpMyAdmin导出大数据提示未找到 export.php 错误

最近出售了一个采集站,在导出数据的时候,发现总是export.php 错误,随后找了一个测试站点的数据库导出,发现又成功了,最后在网上找到了解决办法,记录一下,方便以后使用 在测试的时候从 phpMyAdmin 中导出数据库,却遇到了“can’t f......

Navicat for MySQL 数据库管理工具破解版免费下载

Navicat for MySQL 是管理和开发 MySQL 或 MariaDB 的理想解决方案。它是一套单一的应用程序,能同时连接 MySQL 和 MariaDB 数据库,并与 Amazon RDS、Amazon Aurora、Oracle Clo......

avatar
发表我的评论
取消评论

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址