hp-socket 是一套通用的高性能 tcp/udp 通信框架,包含服务端组件、客户端组件和 agent 组件,广泛适用于各种不同应用场景的 tcp/udp 通信系统,提供 c/c 、c#、delphi、e(易语言)、java、python 等编程语言接口。hp-socket 对通信层实现完全封装,应用程序不必关注通信层的任何细节;hp-socket 提供基于事件通知模型的 api 接口,能非常简单高效地整合到新旧应用程序中。
为了让使用者能方便快速地学习和使用 hp-socket,迅速掌握框架的设计思想和使用方法,特此精心制作了大量 demo 示例(如:push 模型示例、pull 模型示例、性能测试示例以及其它编程语言示例)。hp-socket 目前运行在 windows 平台,将来会实现跨平台支持。
----------------------------------------------------------------
通用性
- hp-socket 的唯一职责就是接收和发送字节流,不参与应用程序的协议解析等工作。
- hp-socket 与应用程序通过接口进行交互,并完全解耦。任何应用只要实现了 hp-socket 的接口规范都可以无缝整合 hp-socket。
易用性
易用性对所有通用框架都是至关重要的,如果太难用还不如自己重头写一个来得方便。因此,hp-socket 的接口设计得非常简单和统一。
hp-socket 完全封装了所有底层通信细节,应用程序不必也不能干预底层通信操作。通信连接被抽象为 connection id,connection id 作为连接的唯一标识提供给应用程序来处理不同的连接。
高性能
hp-socket 作为底层的通用框架,性能是关键指标,绝对不能成为系统的瓶颈。hp-socket 在设计上充分考虑性能、使用场景、复杂性和易用性等因素,作出以下几点设计决策:
- client 组件:基于 event select 通信模型,在单独线程中执行通信操作,避免与主线程或其他线程相互干扰。每个组件对象管理一个 socket 连接。
- server 组件:基于 iocp 通信模型,并结合缓存池、私有堆(private heap)等技术,支持超大规模连接,在高并发场景下实现高效内存管理。
- agent 组件:对于代理服务器或中转服务器等应用场景,服务器自身也作为客户端向其它服务器发起大规模连接,一个 agent 组件对象同时可管理多个 socket 连接;agent 组件与 server 组件采用相同的技术架构,可以用作代理服务器或中转服务器的客户端部件。
伸缩性
应用程序能够根据不同的容量要求、通信规模和资源状况等现实场景调整 hp-socket 的各项性能参数(如:工作线程的数量、缓存池的大小、发送模式和接收模式等),优化资源配置,在满足应用需求的同时不必过度浪费资源。
(项目凯发推荐主页:,下载地址:)
*** v3.3.1更新 ***
> 组件接口调整:
------------------ iclientlistener 监听器接口用 iclient* 参数取代 connid 参数标识 client 组件对象
- 增加 ipullclient 接口,用作 pull client 组件的基接口
- ipullsocket 和 ipullclient 接口增加 peek() 方法用于窥探缓冲区数据(不会移除缓冲区数据)
- 增加 icomplexsocketlistener 监听器接口,用作 server/agent 组件的监听器基接口
- icomplexsocketlistener 提供 onshutdown 通知方法取代 server/agent 组件原来的 onservershutdown/onagentshutdown
- iclient组件增加 get/setextra() 方法用于保存自定义附加数据
-
iserver 和 iagent 组件增加“静默连接处理”相关方法:
1) disconnectsilenceconnections():// 断开超过指定时长的静默连接 2) getsilenceperiod():// 获取某个连接静默时间(毫秒) 3) setmarksilence():// 设置是否标记静默时间 4) ismarksilence():// 检测是否标记静默时间
> 增加 udpcast 通信组件:
------------------ udpclient / udpserver 用于 c/s 模式的点对点单播通信,但在某些应用场景下,需要用到组播或广播通信
-
udpcast 实现了组播或广播通信,udpcast 提供 iudpcast 接口,该接口继承自 iclient,有以下接口方法:
/* 1) 通知接口方法: */ onprepareconnect(iclient* pclient, socket socket) onconnect(iclient* pclient) onsend(iclient* pclient, const byte* pdata, int ilength) onreceive(iclient* pclient, const byte* pdata, int ilength) onclose(iclient* pclient) onerror(iclient* pclient, ensocketoperation enoperation, int ierrorcode) /* 2) 主要操作方法: */ start(lpctstr pszbindaddress = nullptr, bool basyncconnect = true /*该参数被忽略*/) stop() connect(lpctstr pszremoteaddress, ushort usport, connid* pdwconnid = nullptr) send(connid dwconnid, const byte* pbuffer, int ilength, int ioffset = 0) sendpackets(const wsabuf pbuffers[], int icount)
- 增加 udpcast 使用示例:testudpcast
> 升级说明:
------------------ hp-socket v3.3.1 在功能上兼容 hp-socket v3.2.3 版本,但代码级别不完全兼容
-
hp-socket v3.2.3 升级到 hp-socket v3.3.1 需要注意以下调整:
1) client 组件 a) iclientlistener 监听器接口调整,所有通知方法的参数有调整 b) pull client 用 ipullclient 作为基接口,fetch()/peek()方法参数有调整 2) agent/server 组件 a) onshutdown 取代 onservershutdown/onagentshutdown
*** v3.2.3更新 ***
> common-src 优化:
------------------ 优化通信组件的同步机制
- 整体性能提升约 10%
> 升级说明:
------------------ 使用 hp-socket v3.2.2 及以前版本的应用程序可以安全升级到 hp-socket v3.2.3
*** v3.2.2 更新 ***
> 增加若干帮助方法:
------------------
批量发送方法 sendpackets()
1) iclient/iserver/iagent 增加方法 sendpackets(dwconnid, pbuffers[], ibuffercount) 2) 对于 tcp 组件 - 顺序发送所有数据包 3) 对于 udp 组件 - 把所有数据包组合成一个数据包发送(总长度不能大于 udp 包最大长度)
-
小文件发送方法 sendsmallfile()
1) itcpclient/itcpserver/itcpagent 增加方法 sendsmallfile(lpszfilename, phead, ptail) 2) 通过 phead 和 ptail 参数,可以分别在文件数据的头部和尾部加入自定义数据 3) sendsmallfile() 只能发送 4096 kb 以内大小的文件
-
hpsocket.dll 和 hpsocket4c.dll 增加以下导出方法
1) sys_wsagetlasterror():调用系统的 wsagetlasterror() 2) sys_setsocketoption():调用系统的 setsockopt() 3) sys_getsocketoption():调用系统的 getsockopt() 4) sys_ioctlsocket() :调用系统的 ioctlsocket() 5) sys_wsaioctl() :调用系统的 wsaioctl()
> 升级说明:
------------------ 使用 hp-socket v3.2.1 及以前版本的应用程序可以安全升级到 hp-socket v3.2.2
*** v3.2.1 更新 ***
> 增加 tcpagent / tcppullagent 通信组件:
------------------ 对于代理服务器或中转服务器等应用场景,服务器自身也作为客户端向其它服务器发起大规模连接
- tcpclient / tcppullclient 基于 event select 通信模型,每个组件对象管理一个 socket,并开启一个线程,不适合上述应用场景
- tcpagent / tcppullagent 基于 iocp 通信模型,一个组件对象管理多个 socket,适合用作代理服务器或中转服务器的客户端通信组件
-
tcpagent / tcppullagent 的使用方式依然简单,提供以下接口方法:
/* 1) 通知接口方法 */ onprepareconnect(connid dwconnid, socket socket) onconnect(connid dwconnid) onsend(connid dwconnid, const byte* pdata, int ilength) onreceive(connid dwconnid, const byte* pdata, int ilength) //(push 模型) onreceive(connid dwconnid, int ilength) //(pull 模型) onclose(connid dwconnid) onerror(connid dwconnid, ensocketoperation enoperation, int ierrorcode) onagentshutdown() /* 2) 主要操作方法 */ start(lpctstr pszbindaddress = nullptr, bool basyncconnect = true) stop() connect(lpctstr pszremoteaddress, ushort usport, connid* pdwconnid = nullptr) send(connid dwconnid, const byte* pbuffer, int ilength) disconnect(connid dwconnid, bool bforce = true) fetch(connid dwconnid, byte* pdata, int ilength) //(pull 模型)
- 增加 tcpagent / tcppullagent 使用示例:agent-pfm / agent-pull / agent-4c
- 增加 tcpagent tcpserver 实现的 http 代理服务器示例:httpproxy
> 增加 hpsocket for java sdk:
------------------ 提供 java 开发包:hpsocket-3.2.1.jar(通过 jna 实现,目前只支持 windows 平台)
- 运行环境:jdk 1.6 ,jvm 运行在 server 模式("java -server",在 client 模式下性能受影响)
- mbcs 和 unicode 版本分布位于包 org.jessma.hpsocket.mbcs 和 org.jessma.hpsocket.unicode
-
hpsocket for java sdk 提供以下通信组件:
1) tcpserver:tcp 通信服务端组件,支持 push/pull 模型 2) tcpclient:tcp 通信客户端组件,支持 push/pull 模型 3) tcpagent :tcp 通信 agent 组件,支持 push/pull 模型 4) udpserver:udp 通信服务端组件,支持 push 模型 5) udpclient:udp 通信客户端组件,支持 push 模型
-
hpsocket4j 的使用方法(以 tcpagent 为例):
/* 0: 应用程序加入 hpsocket-3.2.1.jar 和 jna-4.1.0.jar */ /* 1: 创建通信组件对象 */ tcpagent agent = tcpagent.create(mode.push); /* 2: 设置回调函数对象 */ // (可选) agent.setcallbackonprepareconnect(new onprepareconnectimpl()); // (可选) agent.setcallbackonconnect(new onconnectimpl()); // (必须)push 模型需要设置 onreceive 回调函数对象 agent.setcallbackonreceive(new onreceiveimpl()); // (必须)pull 模型需要设置 onpullreceive 回调函数对象 // agent.setcallbackonpullreceive(new onpullreceiveimpl()); // (可选) agent.setcallbackonsend(new onsendimpl()); // (必须) agent.setcallbackonclose(new oncloseimpl()); // (必须) agent.setcallbackonerror(new onerrorimpl()); // (可选) agent.setcallbackonagentshutdown(new onagentshutdownimpl()); /* 3:启动通信组件 */ agent.start("127.0.0.1", false); /* 4:连接服务器 */ agent.connect("localhost", (short)5555, pdwconnid); /* 5:处理通信数据 */ // 响应 onreceive / onpullreceive 事件接收数据 // 使用 agent.send(dwconnid, data, data.length) 发送数据 /* 6:关闭通信组件 */ agent.stop(); /* 7:销毁通信组件 */ tcpagent.destroy(agent);
- 增加示例工程 testecho-4j,展示 hpsocket4j 的使用方法(包括 pull 模型示例和性能测试示例)
> 优化数据收发策略:
------------------
server 和 agent 组件提供以下三种数据发送策略
1)pack - 打包模式(默认):尽量把多个发送操作的数据组合在一起,增加传输效率 2)safe - 安全模式 :尽量把多个发送操作的数据组合在一起,控制传输速度,避免缓冲区溢出 3)direct - 直接模式 :对每一个发送操作都直接投递,适用于负载不高但要求实时性较高的场合
-
server 和 agent 组件提供以下两种数据接收策略
1)serial - 串行模式(默认):顺序触发同一连接的 onreceive 和 onclose/onerror 事件 2)parallel - 并行模式:在不同的通信线程中同时触发同一连接的 onreceive 和 onclose/onerror 事件
*** v3.1.3 更新 ***
> 增加其它语言 demo:
------------------ c#
- delphi
- e 语言
> bug fix:
------------------
修复 ip 地址判断错误 bug
1) 客户端连接服务器时,如果服务器 ip 地址满位(12个数字:‘aaa.bbb.ccc.ddd’),ip 地址解析错误 2) 影响组件:所有 tcp/udp 客户端组件 3) 影响版本:v3.1.2 及之前所有版本
-
修复域名或主机名的 ip 地址解析错误 bug
1) 客户端组件通过域名或主机名连接服务器时,可能会解析到错误的 ip 地址 2) 影响组件:所有 tcp/udp 客户端组件 3) 影响版本:v3.1.2 及之前所有版本
*** v3.1.2 更新 ***
> 修改 server 组件的 onclose() / onerror() 事件的触发规则:
------------------ 以前版本的 tcp/udp server 组件中,当关闭一个连接时可能会同时触发一个 onclose() 事件和若干个 onerror() 事件
- 由于存在上述可能性,所以应用程序需要对 onclose() / onerror() 的处理事件代码段进行同步
- 从 v3.1.2 开始,当多个 onclose() / onerror() 事件同时发生时,组件只会向应用程序通知第一个事件,后续事件则忽略
- 因此,应用程序在处理 onclose() / onerror() 事件时不必处理同步,减少了出错的可能和编写同步及检测代码的负担
-
示例代码
/* 示例代码一:*/ /*----------------------------------------------------------------------------*/ isocketlistener::enhandleresult cserverdlg::onclose(connid dwconnid) { // 以前版本:有可能存在并发的 onclose()/onerror(),要把代码放在临界区中并检测返回值 ccriseclock locallock(m_cspkginfo); // <-- 临界区 pvoid pinfo = nullptr; // <-- 检测返回值 if(m_server->getconnectionextra(dwconnid, &pinfo) && pinfo != nullptr) { m_server->setconnectionextra(dwconnid, nullptr); delete pinfo; } } /* 示例代码二:*/ /*----------------------------------------------------------------------------*/ isocketlistener::enhandleresult cserverdlg::onclose(connid dwconnid) { // v3.1.2 版本:只会接收到一个 onclose()/onerror() 事件,能安全地移除临界区代码和检测代码 pvoid pinfo = nullptr; m_server->getconnectionextra(dwconnid, &pinfo); assert(pinfo != nullptr); delete pinfo; }
*** v3.1.1 更新 ***
> 增加导出纯 c 函数的动态链接库 hpsocket4c.dll:
------------------ 增加代码文件 hpsocket4c.h 和 hpsocket4c.cpp,用于创建 hpsocket4c.dll
- 导出纯 c 函数,让其它语言(如:c/c#/delphi 等)能方便地使用 hpsocket
-
hpsocket4c.dll 使用方法
方法一: ------------------------------------------------------------------------------ (0) (c/c 程序)包含 hpsocket4c.h 头文件 (1) 调用 ::create_hp_xxxlistener() 函数创建监听器对象 (2) 调用 ::create_hp_xxx(plistener) 函数创建 hpsocket 对象 (3) 调用 ::hp_set_fn_xxx_onyyy(plistener, ...) 函数设置监听器的回调函数 (4) 调用相关导出函数操作 hpsocket 对象 (5) ...... ...... (6) 调用 ::destroy_hp_xxx(psocket) 函数销毁 hpsocket 对象 (7) 调用 ::destroy_hp_xxxlistener(plistener) 函数销毁监听器对象 方法二: ------------------------------------------------------------------------------ (1) 应用程序把需要用到的导出函数封装到特定语言的包装类中 (2) 通过包装类封装后,以面向对象的方式使用 hpsocket
-
动态链接库发行版本
(1) x86/hpsocket4c.dll - (32位/mbcs/release) (2) x86/hpsocket4c_d.dll - (32位/mbcs/debug) (3) x86/hpsocket4c_u.dll - (32位/unicode/release) (4) x86/hpsocket4c_ud.dll - (32位/unicode/debug) (5) x64/hpsocket4c.dll - (64位/mbcs/release) (6) x64/hpsocket4c_d.dll - (64位/mbcs/debug) (7) x64/hpsocket4c_u.dll - (64位/unicode/release) (8) x64/hpsocket4c_ud.dll - (64位/unicode/debug)
> 全面启用 buffer pool 缓存机制:
------------------ common/src 增加代码文件 bufferpool.h 和 bufferpool.cpp,实现 buffer pool 缓存机制
- 通过 buffer pool 缓存机制提升内存使用效率,减少动态内存分配和释放操作,避免内存空洞
- ictcpclient 用 citempool 和 titemlist 实现发送缓冲区
- cudpclient 用 citempool 和 titemlist 实现发送缓冲区
- ctcppullclient 用 citempool 和 titemlist 实现发送缓冲区和 pull 缓冲区
- ctcppullserver 用 cbufferpool 和 tbuffer 实现 pull 缓冲区
*** v3.0.2 更新 ***
> 把 hp-socket 编译为动态链接库:
-----------------
- 应用程序可以通过导入源代码或动态链接库方式使用 hp-socket
- 动态链接库使用方法
方法一: ------------------------------------------------------------------------------ (0) 应用程序包含 socketinterface.h 和 hpsocket.h 头文件 (1) 调用 hp_create_xxx() 函数创建 hpsocket 对象 (2) 使用完毕后调用 hp_destroy_xxx() 函数销毁 hpsocket 对象 方法二: ------------------------------------------------------------------------------ (0) 应用程序包含 socketinterface.h 和 hpsocket.h 头文件 (1) 创建 cxxxwrapper 包装器,通过包装器智能指针使用 hpsocket 对象
- 动态链接库发行版本
(1) x86/hpsocket.dll - (32位/mbcs/release) (2) x86/hpsocket_d.dll - (32位/mbcs/debug) (3) x86/hpsocket_u.dll - (32位/unicode/release) (4) x86/hpsocket_ud.dll - (32位/unicode/debug) (5) x64/hpsocket.dll - (64位/mbcs/release) (6) x64/hpsocket_d.dll - (64位/mbcs/debug) (7) x64/hpsocket_u.dll - (64位/unicode/release) (8) x64/hpsocket_ud.dll - (64位/unicode/debug)
*** v3.0.1 更新 ***
> 新增 udp 通信组件:
-----------------
- 新增两个 udp 通信组件:cudpserver 为服务端组件,cudpclient 为客户端组件
- 服务端组件 cudpserver 采用 iocp 通信模型
- 客户端组件 cudpclient 采用 event select 通信模型
- udp 通信组件的接口与原 tcp 通信组件一致,简单实用
- udp 通信组件内置通信线路自动监测机制
- 新增 udp 通信组件示例工程 testecho-udp
> 代码重构与优化:
-----------------
- 规范所有接口、类以及代码文件的命名
- 重构和优化了大量组件代码
- 服务端组件加入读写锁机制,有效平衡处理性能与安全性
- 服务端组件的 socket 对象缓存列表设置了锁定时间,提高访问的安全性
1 楼 ldcsaa 2015-02-03 02:35
16. hp-socket
上榜的软件应该可以信赖的。