Linux多级时间轮定时器(C语言版)

上图是5个时间轮级联的效果图。中间的大轮是工作轮，只有在它上的任务才会被执行；其他轮上的任务时间到后迁移到下一级轮上，他们最终都会迁移到工作轮上而被调度执行。

多级时间轮的原理也容易理解：就拿时钟做说明，秒针转动一圈分针转动一格；分针转动一圈时针转动一格；同理时间轮也是如此：当低级轮转动一圈时，高一级轮转动一格，同时会将高一级轮上的任务重新分配到低级轮上。从而实现了多级轮级联的效果。

多级时间轮应该至少包括以下内容：

• 每一级时间轮对象
• 轮子上指针的位置关于轮子上指针的位置有一个比较巧妙的办法：那就是位运算。比如定义一个无符号整型的数：

通过获取当前的系统时间便可以通过位操作转换为时间轮上的时间，通过与实际时间轮上的时间作比较，从而确定时间轮要前进调度的时间，进而操作对应时间轮槽位对应的任务。

为什么至少需要这两个成员呢？

• 定义多级时间轮，首先需要明确的便是级联的层数，也就是说需要确定有几个时间轮。
• 轮子上指针位置，就是当前时间轮运行到的位置，它与真实时间的差便是后续时间轮需要调度执行，它们的差值是时间轮运作起来的驱动力。

多级时间轮对象的定义

//实现5级时间轮范围为0~(2^8*2^6*2^6*2^6*2^6)=2^32
structtvec_base
{
unsignedlongcurrent_index;
pthread_tthincrejiffies;
pthread_tthreadID;
structtvec_roottv1;/*第一个轮*/
structtvectv2;/*第二个轮*/
structtvectv3;/*第三个轮*/
structtvectv4;/*第四个轮*/
structtvectv5;/*第五个轮*/
};

我们知道每一个轮子实际上都是一个哈希表，上面我们只是实例化了五个轮子的对象，但是五个轮子具体包含什么，有几个槽位等等没有明确(即struct tvec和struct tvec_root)。

#defineTVN_BITS6
#defineTVR_BITS8
#defineTVN_SIZE(1<<TVN_BITS)
#defineTVR_SIZE(1<<TVR_BITS)
structtvec{
structlist_headvec[TVN_SIZE];/*64个格子*/
};

structtvec_root{
structlist_headvec[TVR_SIZE];/*256个格子*/
};

此外，每一个时间轮都是哈希表，因此它的类型应该至少包含两个指针域来实现双向链表的功能。这里我们为了方便使用通用的struct list_head的双向链表结构。

定时器的主要工作是为了在未来的特定时间完成某项任务，而这个任务经常包含以下内容：

• 任务的处理逻辑(回调函数)
• 任务的参数
• 双向链表节点
• 到时时间

定时任务对象的定义

typedefvoid(*timeouthandle)(unsignedlong);

structtimer_list{
structlist_headentry;//将时间连接成链表
unsignedlongexpires;//超时时间
void(*function)(unsignedlong);//超时后的处理函数
unsignedlongdata;//处理函数的参数
structtvec_base*base;//指向时间轮
};

在时间轮上的效果图：

在时间轮上我们采用双向链表的数据类型。采用双向链表的除了操作上比单链表复杂，多占一个指针域外没有其他不可接收的问题。而多占一个指针域在今天大内存的时代明显不是什么问题。至于双向链表操作的复杂性，我们可以通过使用通用的struct list结构来解决，因为双向链表有众多的标准操作函数，我们可以通过直接引用list.h头文件来使用他们提供的接口。

struct list可以说是一个万能的双向链表操作框架，我们只需要在自定义的结构中定义一个struct list对象即可使用它的标准操作接口。同时它还提供了一个类似container_of的接口，在应用层一般叫做list_entry，因此我们可以很方便的通过struct list成员找到自定义的结构体的起始地址。

关于应用层的log.h, 我将在下面的代码中附上该文件。如果需要内核层的实现，可以直接从linux源码中获取。

多级时间轮效果图：

提到双向链表，很多的源码工程中都会实现一系列的统一的双向链表操作函数。它们为双向链表封装了统计的接口，使用者只需要在自定义的结构中添加一个struct list_head结构，然后调用它们提供的接口，便可以完成双向链表的所有操作。这些操作一般都在list.h的头文件中实现。Linux源码中也有实现（内核态的实现）。他们实现的方式基本完全一样，只是实现的接口数量和功能上稍有差别。可以说这个list.h文件是学习操作双向链表的不二选择，它几乎实现了所有的操作：增、删、改、查、遍历、替换、清空等等。这里我拼凑了一个源码中的log.h函数，终于凑够了多级时间轮中使用到的接口。

#if!defined(_BLKID_LIST_H)!defined(LIST_HEAD)
#define_BLKID_LIST_H
#ifdef__cplusplus
extern"C"{
#endif
/*
*Simpledoublylinkedlistimplementation.
*
*Someoftheinternalfunctions("__xxx")areusefulwhen
*manipulatingwholelistsratherthansingleentries,as
*sometimeswealreadyknowthenext/preventriesandwecan
*generatebettercodebyusingthemdirectlyratherthan
*usingthegenericsingle-entryroutines.
*/
structlist_head{
structlist_head*next,*prev;
};
#defineLIST_HEAD_INIT(name){(name),(name)}
#defineLIST_HEAD(name)\
structlist_headname=LIST_HEAD_INIT(name)
#defineINIT_LIST_HEAD(ptr)do{\
(ptr)->next=(ptr);(ptr)->prev=(ptr);\
}while(0)
staticinlinevoid
__list_add(structlist_head*entry,
structlist_head*prev,structlist_head*next)
{
next->prev=entry;
entry->next=next;
entry->prev=prev;
prev->next=entry;
}
/**
*Insertanewelementafterthegivenlisthead.Thenewelementdoesnot
*needtobeinitialisedasemptylist.
*Thelistchangesfrom:
*head→someelement→...
*to
*head→newelement→olderelement→...
*
*Example:
*structfoo*newfoo=malloc(...);
*list_add(newfoo->entry,bar->list_of_foos);
*
*@paramentryThenewelementtoprependtothelist.
*@paramheadTheexistinglist.
*/
staticinlinevoid
list_add(structlist_head*entry,structlist_head*head)
{
__list_add(entry,head,head->next);
}
/**
*Appendanewelementtotheendofthelistgivenwiththislisthead.
*
*Thelistchangesfrom:
*head→someelement→...→lastelement
*to
*head→someelement→...→lastelement→newelement
*
*Example:
*structfoo*newfoo=malloc(...);
*list_add_tail(newfoo->entry,bar->list_of_foos);
*
*@paramentryThenewelementtoprependtothelist.
*@paramheadTheexistinglist.
*/
staticinlinevoid
list_add_tail(structlist_head*entry,structlist_head*head)
{
__list_add(entry,head->prev,head);
}
staticinlinevoid
__list_del(structlist_head*prev,structlist_head*next)
{
next->prev=prev;
prev->next=next;
}
/**
*Removetheelementfromthelistitisin.Usingthisfunctionwillreset
*thepointersto/fromthiselementsoitisremovedfromthelist.Itdoes
*NOTfreetheelementitselformanipulateitotherwise.
*
*Usinglist_delonapurelisthead(likeintheexampleatthetopof
*thisfile)willNOTremovethefirstelementfrom
*thelistbutratherresetthelistasemptylist.
*
*Example:
*list_del(foo->entry);
*
*@paramentryTheelementtoremove.
*/
staticinlinevoid
list_del(structlist_head*entry)
{
__list_del(entry->prev,entry->next);
}
staticinlinevoid
list_del_init(structlist_head*entry)
{
__list_del(entry->prev,entry->next);
INIT_LIST_HEAD(entry);
}
staticinlinevoidlist_move_tail(structlist_head*list,
structlist_head*head)
{
__list_del(list->prev,list->next);
list_add_tail(list,head);
}
/**
*Checkifthelistisempty.
*
*Example:
*list_empty(bar->list_of_foos);
*
*@returnTrueifthelistcontainsoneormoreelementsorFalseotherwise.
*/
staticinlineint
list_empty(structlist_head*head)
{
returnhead->next==head;
}
/**
*list_replace-replaceoldentrybynewone
*@old:theelementtobereplaced
*@new:thenewelementtoinsert
*
*If@oldwasempty,itwillbeoverwritten.
*/
staticinlinevoidlist_replace(structlist_head*old,
structlist_head*new)
{
new->next=old->next;
new->next->prev=new;
new->prev=old->prev;
new->prev->next=new;
}
/**
*Retrievethefirstlistentryforthegivenlistpointer.
*
*Example:
*structfoo*first;
*first=list_first_entry(bar->list_of_foos,structfoo,list_of_foos);
*
*@paramptrThelisthead
*@paramtypeDatatypeofthelistelementtoretrieve
*@parammemberMembernameofthestructlist_headfieldinthelistelement.
*@returnApointertothefirstlistelement.
*/
#definelist_first_entry(ptr,type,member)\
list_entry((ptr)->next,type,member)
staticinlinevoidlist_replace_init(structlist_head*old,
structlist_head*new)
{
list_replace(old,new);
INIT_LIST_HEAD(old);
}
/**
*list_entry-getthestructforthisentry
*@ptr:thestructlist_headpointer.
*@type:thetypeofthestructthisisembeddedin.
*@member:thenameofthelist_structwithinthestruct.
*/
#definelist_entry(ptr,type,member)\
((type*)((char*)(ptr)-(unsignedlong)(((type*)0)->member)))
/**
*list_for_each-iterateoverelementsinalist
*@pos:thestructlist_headtouseasaloopcounter.
*@head:theheadforyourlist.
*/
#definelist_for_each(pos,head)\
for(pos=(head)->next;pos!=(head);pos=pos->next)
/**
*list_for_each_safe-iterateoverelementsinalist,butdon'tdereference
*posafterthebodyisdone(incaseitisfreed)
*@pos:thestructlist_headtouseasaloopcounter.
*@pnext:thestructlist_headtouseasapointertothenextitem.
*@head:theheadforyourlist(notincludediniteration).
*/
#definelist_for_each_safe(pos,pnext,head)\
for(pos=(head)->next,pnext=pos->next;pos!=(head);\
pos=pnext,pnext=pos->next)
#ifdef__cplusplus
}
#endif
#endif/*_BLKID_LIST_H*/

这里面一般会用到一个重要实现：container_of, 它的原理这里不叙述

这个头文件实际上不是必须的，我只是用它来添加调试信息(代码中的errlog(), log()都是log.h中的宏函数)。它的效果是给打印的信息加上颜色，效果如下：

log.h的代码如下：

#ifndef_LOG_h_
#define_LOG_h_
#include<stdio.h>
#defineCOL(x)"\033[;"#x"m"
#defineREDCOL(31)
#defineGREENCOL(32)
#defineYELLOWCOL(33)
#defineBLUECOL(34)
#defineMAGENTACOL(35)
#defineCYANCOL(36)
#defineWHITECOL(0)
#defineGRAY"\033[0m"
#defineerrlog(fmt,arg...)do{\
printf(RED"[#ERROR:ToenySun:"GRAYYELLOW"%s:%d]:"GRAYWHITEfmtGRAY,__func__,__LINE__,##arg);\
}while(0)
#definelog(fmt,arg...)do{\
printf(WHITE"[#DEBUG:ToenySun:"GRAYYELLOW"%s:%d]:"GRAYWHITEfmtGRAY,__func__,__LINE__,##arg);\
}while(0)
#endif

/*
*毫秒定时器采用多级时间轮方式借鉴linux内核中的实现
*支持的范围为1~2^32毫秒(大约有49天)
*若设置的定时器超过最大值则按最大值设置定时器
**/
#include<stdio.h>
#include<stdlib.h>
#include<string.h>
#include<unistd.h>
#include<pthread.h>
#include<sys/time.h>
#include"list.h"
#include"log.h"
#defineTVN_BITS6
#defineTVR_BITS8
#defineTVN_SIZE(1<<TVN_BITS)
#defineTVR_SIZE(1<<TVR_BITS)

#defineTVN_MASK(TVN_SIZE-1)
#defineTVR_MASK(TVR_SIZE-1)

#defineSEC_VALUE0
#defineUSEC_VALUE2000

structtvec_base;
#defineINDEX(N)((ba->current_index>>(TVR_BITS+(N)*TVN_BITS))TVN_MASK)

typedefvoid(*timeouthandle)(unsignedlong);


structtimer_list{
structlist_headentry;//将时间连接成链表
unsignedlongexpires;//超时时间
void(*function)(unsignedlong);//超时后的处理函数
unsignedlongdata;//处理函数的参数
structtvec_base*base;//指向时间轮
};

structtvec{
structlist_headvec[TVN_SIZE];
};

structtvec_root{
structlist_headvec[TVR_SIZE];
};

//实现5级时间轮范围为0~(2^8*2^6*2^6*2^6*2^6)=2^32
structtvec_base
{
unsignedlongcurrent_index;
pthread_tthincrejiffies;
pthread_tthreadID;
structtvec_roottv1;/*第一个轮*/
structtvectv2;/*第二个轮*/
structtvectv3;/*第三个轮*/
structtvectv4;/*第四个轮*/
structtvectv5;/*第五个轮*/
};

staticvoidinternal_add_timer(structtvec_base*base,structtimer_list*timer)
{
structlist_head*vec;
unsignedlongexpires=timer->expires;
unsignedlongidx=expires-base->current_index;
#if1
if((signedlong)idx<0)/*这里是没有办法区分出是过时还是超长定时的吧?*/
{
vec=base->tv1.vec+(base->current_indexTVR_MASK);/*放到第一个轮的当前槽*/
}
elseif(idx<TVR_SIZE)/*第一个轮*/
{
inti=expiresTVR_MASK;
vec=base->tv1.vec+i;
}
elseif(idx<1<<(TVR_BITS+TVN_BITS))/*第二个轮*/
{
inti=(expires>>TVR_BITS)TVN_MASK;
vec=base->tv2.vec+i;
}
elseif(idx<1<<(TVR_BITS+2*TVN_BITS))/*第三个轮*/
{
inti=(expires>>(TVR_BITS+TVN_BITS))TVN_MASK;
vec=base->tv3.vec+i;
}
elseif(idx<1<<(TVR_BITS+3*TVN_BITS))/*第四个轮*/
{
inti=(expires>>(TVR_BITS+2*TVN_BITS))TVN_MASK;
vec=base->tv4.vec+i;
}
else/*第五个轮*/
{
inti;
if(idx>0xffffffffUL)
{
idx=0xffffffffUL;
expires=idx+base->current_index;
}
i=(expires>>(TVR_BITS+3*TVN_BITS))TVN_MASK;
vec=base->tv5.vec+i;
}
#else
/*上面可以优化吧*/;
#endif
list_add_tail(timer->entry,vec);
}

staticinlinevoiddetach_timer(structtimer_list*timer)
{
structlist_head*entry=timer->entry;
__list_del(entry->prev,entry->next);
entry->next=NULL;
entry->prev=NULL;
}

staticint__mod_timer(structtimer_list*timer,unsignedlongexpires)
{
if(NULL!=timer->entry.next)
detach_timer(timer);

internal_add_timer(timer->base,timer);

return0;
}

//修改定时器的超时时间外部接口
intmod_timer(void*ptimer,unsignedlongexpires)
{
structtimer_list*timer=(structtimer_list*)ptimer;
structtvec_base*base;

base=timer->base;
if(NULL==base)
return-1;

expires=expires+base->current_index;
if(timer->entry.next!=NULLtimer->expires==expires)
return0;

if(NULL==timer->function)
{
errlog("timer'stimeoutfunctionisnull\n");
return-1;
}

timer->expires=expires;
return__mod_timer(timer,expires);
}

//添加一个定时器
staticvoid__ti_add_timer(structtimer_list*timer)
{
if(NULL!=timer->entry.next)
{
errlog("timerisalreadyexist\n");
return;
}

mod_timer(timer,timer->expires);
}

/*添加一个定时器外部接口
*返回定时器
*/
void*ti_add_timer(void*ptimewheel,unsignedlongexpires,timeouthandlephandle,unsignedlongarg)
{
structtimer_list*ptimer;

ptimer=(structtimer_list*)malloc(sizeof(structtimer_list));
if(NULL==ptimer)
returnNULL;

bzero(ptimer,sizeof(structtimer_list));
ptimer->entry.next=NULL;
ptimer->base=(structtvec_base*)ptimewheel;
ptimer->expires=expires;
ptimer->function=phandle;
ptimer->data=arg;

__ti_add_timer(ptimer);

returnptimer;
}

/*
*删除一个定时器外部接口
*
**/
voidti_del_timer(void*p)
{
structtimer_list*ptimer=(structtimer_list*)p;

if(NULL==ptimer)
return;

if(NULL!=ptimer->entry.next)
detach_timer(ptimer);

free(ptimer);
}
/*时间轮级联*/
staticintcascade(structtvec_base*base,structtvec*tv,intindex)
{
structlist_head*pos,*tmp;
structtimer_list*timer;
structlist_headtv_list;

/*将tv[index]槽位上的所有任务转移给tv_list,然后清空tv[index]*/
list_replace_init(tv->vec+index,tv_list);/*用tv_list替换tv->vec+index*/

list_for_each_safe(pos,tmp,tv_list)/*遍历tv_list双向链表，将任务重新添加到时间轮*/
{
timer=list_entry(pos,structtimer_list,entry);/*structtimer_list中成员entry的地址是pos,获取structtimer_list的首地址*/
internal_add_timer(base,timer);
}

returnindex;
}

staticvoid*deal_function_timeout(void*base)
{
structtimer_list*timer;
intret;
structtimevaltv;
structtvec_base*ba=(structtvec_base*)base;

for(;;)
{
gettimeofday(tv,NULL);
while(ba->current_index<=(tv.tv_sec*1000+tv.tv_usec/1000))/*单位：ms*/
{
structlist_headwork_list;
intindex=ba->current_indexTVR_MASK;/*获取第一个轮上的指针位置*/
structlist_head*head=work_list;
/*指针指向0槽时，级联轮需要更新任务列表*/
if(!index(!cascade(ba,ba->tv2,INDEX(0)))(!cascade(ba,ba->tv3,INDEX(1)))(!cascade(ba,ba->tv4,INDEX(2))))
cascade(ba,ba->tv5,INDEX(3));

ba->current_index++;
list_replace_init(ba->tv1.vec+index,work_list);
while(!list_empty(head))
{
void(*fn)(unsignedlong);
unsignedlongdata;
timer=list_first_entry(head,structtimer_list,entry);
fn=timer->function;
data=timer->data;
detach_timer(timer);
(*fn)(data);
}
}
}
}

staticvoidinit_tvr_list(structtvec_root*tvr)
{
inti;

for(i=0;i<TVR_SIZE;i++)
INIT_LIST_HEAD(tvr->vec[i]);
}


staticvoidinit_tvn_list(structtvec*tvn)
{
inti;

for(i=0;i<TVN_SIZE;i++)
INIT_LIST_HEAD(tvn->vec[i]);
}

//创建时间轮外部接口
void*ti_timewheel_create(void)
{
structtvec_base*base;
intret=0;
structtimevaltv;

base=(structtvec_base*)malloc(sizeof(structtvec_base));
if(NULL==base)
returnNULL;

bzero(base,sizeof(structtvec_base));

init_tvr_list(base->tv1);
init_tvn_list(base->tv2);
init_tvn_list(base->tv3);
init_tvn_list(base->tv4);
init_tvn_list(base->tv5);

gettimeofday(tv,NULL);
base->current_index=tv.tv_sec*1000+tv.tv_usec/1000;/*当前时间毫秒数*/

if(0!=pthread_create(base->threadID,NULL,deal_function_timeout,base))
{
free(base);
returnNULL;
}
returnbase;
}

staticvoidti_release_tvr(structtvec_root*pvr)
{
inti;
structlist_head*pos,*tmp;
structtimer_list*pen;

for(i=0;i<TVR_SIZE;i++)
{
list_for_each_safe(pos,tmp,pvr->vec[i])
{
pen=list_entry(pos,structtimer_list,entry);
list_del(pos);
free(pen);
}
}
}

staticvoidti_release_tvn(structtvec*pvn)
{
inti;
structlist_head*pos,*tmp;
structtimer_list*pen;

for(i=0;i<TVN_SIZE;i++)
{
list_for_each_safe(pos,tmp,pvn->vec[i])
{
pen=list_entry(pos,structtimer_list,entry);
list_del(pos);
free(pen);
}
}
}


/*
*释放时间轮外部接口
**/
voidti_timewheel_release(void*pwheel)
{
structtvec_base*base=(structtvec_base*)pwheel;

if(NULL==base)
return;

ti_release_tvr(base->tv1);
ti_release_tvn(base->tv2);
ti_release_tvn(base->tv3);
ti_release_tvn(base->tv4);
ti_release_tvn(base->tv5);

free(pwheel);
}

/************demo****************/
structrequest_para{
void*timer;
intval;
};

voidmytimer(unsignedlongarg)
{
structrequest_para*para=(structrequest_para*)arg;

log("%d\n",para->val);
mod_timer(para->timer,3000);//进行再次启动定时器

sleep(10);/*定时器依然被阻塞*/

//定时器资源的释放是在这里完成的
//ti_del_timer(para->timer);
}

intmain(intargc,char*argv[])
{
void*pwheel=NULL;
void*timer=NULL;
structrequest_para*para;


para=(structrequest_para*)malloc(sizeof(structrequest_para));
if(NULL==para)
return0;
bzero(para,sizeof(structrequest_para));

//创建一个时间轮
pwheel=ti_timewheel_create();
if(NULL==pwheel)
return-1;

//添加一个定时器
para->val=100;
para->timer=ti_add_timer(pwheel,3000,mytimer,(unsignedlong)para);

while(1)
{
sleep(2);
}

//释放时间轮
ti_timewheel_release(pwheel);

return0;
}

peng@ubuntu:/mnt/hgfs/timer/4.timerwheel/2.多级时间轮$ls
a.outlist.hlog.hmutiTimeWheel.c
toney@ubantu:/mnt/hgfs/timer录/4.timerwheel/2.多级时间轮$gccmutiTimeWheel.c-lpthread
toney@ubantu:/mnt/hgfs/timer/4.timerwheel/2.多级时间轮$./a.out
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100
[#DEBUG:ToenySun:mytimer:370]:100

从结果可以看出：如果添加的定时任务是比较耗时的操作，那么后续的任务也会被阻塞，可能一直到超时，甚至一直阻塞下去，这个取决于当前任务是否耗时。

这个理论上是绝不能接受的：一个任务不应该也不能去影响其他的任务吧。但是目前没有对此问题进行改进和完善，以后有机会再继续完善吧。