后台服务在运行时发现一个问题,运行一段时间后,接口请求报错;

pymysql.err.InterfaceError: (0, ”)

排查到原因是数据库操作对象实例未注销,但是持有的数据库连接已经过期,导致后续数据库操作不能正常进行;

出现问题的代码

class MysqlConnection(object):

“””
mysql操作类,对mysql数据库进行增删改查
“””

def __init__(self, config):
# Connect to the database
self.connection = pymysql.connect(**config)
self.cursor = self.connection.cursor()

def Query(self, sql):
“””
查询数据
:param sql:
:return:
“””
self.cursor.execute(sql)
return self.cursor.fetchall()

在分析问题前,先看看Python 数据库的Connection、Cursor两大对象

Python 数据库
Connection()的参数列表
host,连接的数据库服务器主机名,默认为本地主机(localhost)
user,连接数据库的用户名,默认为当前用户
passwd,连接密码,没有默认值
db,连接的数据库名,没有默认值
conv,将文字映射到Python类型的字典
cursorclass,cursor()使用的种类,默认值为MySQLdb.cursors.Cursor
compress,启用协议压缩功能
named_pipe,在windows中,与一个命名管道相连接
init_command,一旦连接建立,就为数据库服务器指定一条语句来运行
read_default_file,使用指定的MySQL配置文件
read_default_group,读取的默认组
unix_socket,在unix中,连接使用的套接字,默认使用TCP
port,指定数据库服务器的连接端口,默认是3306

排查:可能是因为对象属性cursor引起的
网上有提到cursor引起的,其实不一定,为了排除这个假设,我在每个操作数据库的方法里都重新引用connect.curser()

cursor = connection.cursor()
cursor.execute(query)
cursor.close()

去掉__init__方法里的self.cursor,运行一段时间后,还是出现异常,所以可以断定跟cursor没有关系;
##排查:查看数据库对象
调试代码,将超时时间设置较长

self.connection._write_timeout = 10000

发现并没有生效,使用try…except… 方法捕获失败后重新连接数据库

try:
self.cursor.execute(sql)
except:
self.connection()
self.cursor.execute(sql)

直接抛出异常,并没有执行except代码段
打印self.connection ,输出如下:

<pymysql.connections.Connection object at 0x0000000003E2CCC0>

抛出异常重新connect是不行的,因为connections 仍存在未失效,也就是我们找到的原因:对象持有的数据库连接断开了

解决
找到一种方法可以解决问题,在每次连接之前,判断该链接是否有效,pymysql提供的接口是 Connection.ping()

#这个该方法的源码
def ping(self, reconnect=True):
“””Check if the server is alive”””
if self._sock is None:
if reconnect:
self.connect()
reconnect = False
else:
raise err.Error(“Already closed”)
try:
self._execute_command(COMMAND.COM_PING, “”)
return self._read_ok_packet()
except Exception:
if reconnect:
self.connect()
return self.ping(False)
else:
raise

所以每次处理数据库的时候,可以这么操作,现实发现方案有效;

class DataSource(object):

def __init__(self):
self.conn = self.to_connect()

def __del__(self):
self.conn.close()

def to_connect(self):
return pymysql.connections.Connection(params)

def is_connected(self):
“””Check if the server is alive”””
try:
self.conn.ping(reconnect=True)
print “db is connecting”
except:
traceback.print_exc()
self.conn = self.to_connect()
print “db reconnect”

补充
数据库之所以断开连接,是因为数据库默认的wait_timeout=28800,这个单位是秒,换算后是8小时,也就是原来我的服务启动8小时后,就会被mysql自动断开,如果我没有重连机制那就真的是不能用,这个不像java的一些orm框架都能做连接存活处理,其实python对应的orm框架sqlalchemy也有这个处理,但是我选择了pymysql,所以需要自己处理。

–查询数据库的各项超时指标
show variables like ‘%timeout%’;

来源:jwensh