2020年2月10日星期一

利用Lua实现基于延迟动态调整HAProxy服务器权重(weight),优先选择延迟低的服务器

将下面的Lua代码上传到路由器上,假设命名为dynamic_set_weight.lua。
local function calculate_weight(ping_value,eresp)
    -- from 1 to 256
    return math.ceil(256/math.exp(0.1*(ping_value+eresp)))+1
end
local function adjust_weight()
    while true do
        for _, backend in pairs(core.backends) do
            for _, server in pairs(backend.servers) do
                local stat = server:get_stats()
                if stat['check_desc'] == 'Layer4 check passed' and stat['bin'] > 1000 then
                    -- adjust weight based on the ping value and the number of eresp
                    server:set_weight(calculate_weight(stat['check_duration'],stat['eresp']))
                end
            end
        end
        core.msleep(10000) -- 10s
    end
end

core.register_task(adjust_weight)
假设上传的位置为/usr/bin,则在HAProxy的配置文件里,在global下添加一行
lua-load /usr/bin/dynamic_set_weight.lua
重启HAProxy(OpenWRT上的命令为/etc/init.d/haproxy restart),一段时间后效果如图所示:
HAProxy Statistics Report

可以看到权重已经根据延迟做了调整。调整每10s进行一次,可以修改core.msleep括号内的数字对运行间隔进行调整。


2019年12月28日星期六

在路由器上定时预解析DNS,解决加密DNS(DNS-over-TLS)解析时间长的问题

下载地址

预备条件

  • Perl 5 
  • dnsmasq

使用方法

  1. 修改/etc/dnsmasq.conf,添加以下几行以启用日志记录功能,并把DNS解析最短过期时间调整为1小时
    log-async=20
    log-queries
    log-facility=/var/log/dnsmasq.log

    min-cache-ttl=3600

  2. get_popular_websites.pl, prefetch_domains.pl, env_var三个文件下载到路由器上,一般放在/usr/bin文件夹。
  3. 修改/etc/crond/root,将cron文件的内容添加到末尾。

原理与细节

通过定时提取dnsmasq的日志文件,统计每个域名的解析次数。大于ceil(exp($today/10 + 1))即把该域名作为经常访问的域名,并加入预解析名单。其中$today为当天的日数

解决OpenWRT上搭建PPTP服务器,Android客户端无DNS解析的问题

问题出在dnsmasq的设置上。在LuCI管理界面DHCP and DNS设置里,找到







2018年4月4日星期三

用 Heavy Hitter Filter (HHF) qdisc 有效解决多线程下载软件霸占网速问题

  多线程下载软件,例如迅雷和IDM,在有效提升下载速度、压榨下行全部潜力的同时,也给其他网络活动带来了灾难性的后果。BBR拥塞控制算法的使用,更使得本来狭小的网络空间变得缓慢不堪。一旦局域网内一个用户开始下载,其他用户的网页浏览都将受到严重影响,甚至一分钟都无法显示网页首屏,体验十分糟糕。
  fq_codel、pie、cake等调度器的使用,在一定程度上缓解了这种情况,但并不能解决多线程下载软件和BBR的“强势进攻”。即使提高丢包率(如降低target,提高αβ),也无法降低对正常的网络活动的影响。若能有这样一个调度器,能把大流量下载流量和正常流量区分开来,并给予正常流量极大的优先级,将会极好地解决这一问题。
  Heavy Hitter Filter (HHF) 的诞生,解决了大流量和小流量的区分问题。在一系列参数的控制下,HHF能够自动地把大流量连接和正常流量连接区分开来,分配到两个队列中,并赋予不同的传输优先级,具体介绍可以看这里

HHF的关键参数介绍:
  1. reset_timeout:重置计数器的间隔时间,HHF以一个间隔时间内连接传输的流量为标准来判断该连接是否为大流量连接。默认为40ms。
  2. hhf_admit_bytes:将连接分类为大流量连接的阈值。默认为131072Bytes(128KBytes)。
  3. non_hh_weight:正常流量的权重。默认为2(2:1)。设置为1000以上时对霸占网速的连接遏制有良好的效果
当连接速度超过hhf_admit_bytes/reset_timeout时(默认参数下为128KB/40ms=25.6Mbps),该连接即被分类为大流量连接。若要设置为速度大于1Mbps时连接被定义为大流量连接,可将hhf_admit_bytes设为1Mbps×40ms=5120Bytes。

最后的命令,与htb配合使用:
tc qdisc add dev $dev parent x:y hhf limit 1024 non_hh_weight 1000 admit_bytes 5120

2017年10月30日星期一

解决自编译pdnsd在Padavan下无法将缓存保存到硬盘上的问题

最近为了IPV6 DNS的需求自己编译了一份pdnsd,thread-lib选择的是NPTL。发现在Padavan下出现了无法保存缓存到硬盘上的问题,结合帮助文档以为是NPTL的问题,遂换成LinuxThread重新编译,结果照旧。
于是分析pdnsd的源代码,首先从处理缓存的cache.c源代码入手,找到read_disk_cache()函数,发现如下代码:
  if(memcmp(buf,cachverid,sizeof(cachverid))) {
   log_warn("Cache file %s ignored because of incompatible version identifier",path);
   goto free_data_fclose;
  }
结合日志中出现了这样一条错误信息,初步认为是pdnsd.cache文件开头少了“pd13”,加上后,查看除错日志,没有报错,但仍旧无法保存。
继续研究代码,发现write_disk_cache()函数,这个函数实现了把缓存写入硬盘的功能。回到main.c,来到这行代码:

 if(sig) DEBUG_MSG("Signal %i caught.\n",sig);
 write_disk_cache();

这个函数被执行的条件是sig不等于0。突然想起平时结束进程用的都是 kill -9(强制终止),怀疑是进程没有接收到信号就被终止了。于是将9改成15,果然缓存能够保存到硬盘上了。

2017年2月23日星期四

Padavan固件定时命令改变信号强度,夜间节能

  利用cron定时命令,实现夜间路由器无线信号自动降低功率,节能环保。

  • 2.4G
    nvram set rt_TxPower=100 && nvram commit
  • 5G
    nvram set wl_TxPower=100 && nvram commit

  其中100是信号强度,范围0-100。

2017年2月4日星期六

交叉编译适用于Padavan的Transmission 2.92

  Padavan路由器固件自带的Transmission版本比较老旧,为了使用新特性,可以自行编译transmission使用。
  使用Padavan提供的toolchain编译Transmission之前,需要先编译以下几个依赖
  其中openssl使用1.1.0编译会报错,不知是什么原因,故使用1.0.2版本进行编译。也可以用polarssl代替openssl,但性能会有所损失。
  编译libevent和curl,执行以下命令(toolchain目录自行修改):
./configure --host=mipsel-linux-uclibc --prefix=/opt/rt-n56u/toolchain-mipsel/toolchain-3.4.x
  编译zlib,需用export CC=mipsel-linux-uclibc-gcc指定gcc编译器。
  编译openssl,执行以下命令
./Configure no-asm shared --prefix=/opt/rt-n56u/toolchain-mipsel/toolchain-3.4.x linux-mips32
  然后手动修改Makefile,找到以下部分,按如下所示修改
CC= mipsel-linux-uclibc-gcc
AR= mipsel-linux-uclibc-ar $(ARFLAGS) r
RANLIB= mipsel-linux-uclibc-ranlib
NM= mipsel-linux-uclibc-nm
  编译transmission,需要指定lib和include所在位置,执行以下命令
./configure OPENSSL_LIBS="-L/opt/rt-n56u/toolchain-mipsel/toolchain-3.4.x/lib -lcrypto -lssl" OPENSSL_CFLAGS="-I/opt/rt-n56u/toolchain-mipsel/toolchain-3.4.x/include/" LIBCURL_LIBS="-L/opt/rt-n56u/toolchain-mipsel/toolchain-3.4.x/lib -lcurl " LIBCURL_CFLAGS="-I/opt/rt-n56u/toolchain-mipsel/toolchain-3.4.x/include/" LIBEVENT_LIBS="-L/opt/rt-n56u/toolchain-mipsel/toolchain-3.4.x/lib" LIBEVENT_CFLAGS="-I/opt/rt-n56u/toolchain-mipsel/toolchain-3.4.x/include" --enable-lightweight --prefix='/opt/transmission-binaries/' --with-zlib=/opt/rt-n56u/toolchain-mipsel/toolchain-3.4.x/ LDFLAGS="-L/opt/rt-n56u/toolchain-mipsel/toolchain-3.4.x/lib -levent -ldl" --disable-nls --without-gtk --host=mipsel-linux-uclibc
  configure成功后,执行 make && make install,完成生成可执行文件。如果在make的时候出现"undefined reference to"错误,说明没有正确指定lib和include所在位置,执行make distclean,检查目录是否正确,然后重新configure。
  生成的可执行文件体积非常大,用 mipsel-linux-uclibc-strip * 减小体积,可减小到450KB左右。