python分布式锁

在进行某些比较耗时的查询时,为了避免进行重复计算,可以采用分布式锁服务,
在同一个时间只有一个操作在进行,同类的操作进行等待重试.
下面的代码(fetch_with_dist_lock)定义了一个fetcher,一个updater.
如果fetcher获取不到数据,则使用updater进行更新.更新成功之后通过fetcher返回结果.
也有一些情况,我们只想更新某个数据,更新者是多个,但是更新操作不是原子的.那么
我们会通过update_with_dist_lock来进行.

def fetch_with_dist_lock(mc_store, mutex_key, fetcher, updater,
                        lock_time=3*60*1000, sleep_time=100, retry_times=3):
    i = 0
    while i < retry_times:
        i += 1
        need_update, results = fetcher()
        if need_update:
            if(mc_store.add(mutex_key, lock_time)):
                try:
                    updater()
                    continue
                finally:
                    #release the distribute mutex anyway
                    mc_store.delete(mutex_key)
            else:
                time.sleep((sleep_time*1.0)/1000)
                continue
        return results
    #too much tries, but failed still.
    return None
def f_wrapper(f, *args, **kwargs):
    def _():
        return f(*args, **kwargs)
    return _
def update_with_dist_lock(mc_store, mutex_key, updater, lock_time=60*1000, sleep_time=100, retry_times=5):
    i = 0
    while i < retry_times:
        i += 1
        if (mc_store.add(mutex_key, lock_time)):
            try:
                updater()
                return True
            finally:
                mc_store.delete(mutex_key)
        else:
            time.sleep((sleep_time*1.0)/1000)
            continue
    return False