架构师之路:用C++实现一个消息路由系统
liuian 2024-12-07 14:59 14 浏览
引言
设计和实现高效的消息路由系统是一名架构师的基本功和重要任务之一。本文将深入浅出探讨基于C++的消息路由的设计原则和实现方法。逐步介绍消息路由的概念、需求分析、设计思路和关键实现细节,并通过具体的示例来说明。
第一部分:消息路由的概念和需求分析
1.1 消息路由的定义
消息路由是将消息从发送者传递到接收者的过程,通常用于多个模块或进程之间的通信。在的系统中,消息可以是任何可序列化的数据结构,如JSON、Protocol Buffers等。
1.2需求分析
在设计消息路由系统时,明确需求非常关键,以下是对需求的进一步分析:
- 可靠性:为了保证可靠性,可以引入消息确认机制,发送者在发送消息后等待接收者的确认,以确保消息已被成功处理。如果没有确认,发送者可以选择重新发送消息。
- 灵活性:实现灵活的消息处理,可以考虑引入消息过滤器,订阅者可以根据消息内容、类型或其他标志来选择接收哪些消息。
- 扩展性:确保系统具有良好的扩展性,可以将订阅关系和消息队列分布在不同的节点上,以支持大规模和高并发的消息传递。
第二部分:设计思路
2.1 消息路由的架构
在设计消息路由系统的架构时,需要考虑以下几个方面:
- 消息路由器:消息路由器是系统的核心组件,负责接收和分发消息。它需要能够处理大规模和高并发的消息传递,并保证消息的可靠性。消息路由器可以采用单节点或分布式部署,以满足系统的性能和可扩展性需求。
- 订阅关系:订阅关系是消息路由器用来确定消息应该传递给哪些订阅者的重要依据。订阅关系可以由用户自行管理,也可以通过注册中心来管理。在订阅关系中,可以定义不同类型的订阅,如精确订阅、模糊订阅等,以满足用户的个性化需求。
- 消息传递协议:消息传递协议定义了消息的格式和传递方式。常见的消息传递协议有HTTP、TCP、AMQP等。选择合适的消息传递协议可以提高系统的性能和可靠性。
在下面的C++示例中,我将演示如何结合消息路由器、订阅关系和UDP消息传递协议来设计一个基本的消息路由系统。
#include <iostream>
#include <cstring>
#include <sys/socket.h>
#include <netinet/in.h>
#include <unistd.h>
#include <unordered_map>
#include <vector>
// 消息结构
struct Message {
std::string topic;
std::string content;
};
// 订阅者类
class Subscriber {
public:
Subscriber(const std::string& name) : name(name) {}
void receiveMessage(const Message& message) {
std::cout << name << " received message on topic '" << message.topic << "': " << message.content << std::endl;
}
private:
std::string name;
};
// 消息路由器类
class MessageRouter {
public:
void subscribe(const Subscriber& subscriber, const std::string& topic) {
subscribers[topic].push_back(subscriber);
}
void publish(const Message& message) {
const std::string& topic = message.topic;
if (subscribers.find(topic) != subscribers.end()) {
for (const auto& subscriber : subscribers[topic]) {
subscriber.receiveMessage(message);
}
}
}
private:
std::unordered_map<std::string, std::vector<Subscriber>> subscribers;
};
int main() {
// 创建消息路由器
MessageRouter router;
// 创建订阅者
Subscriber subscriber1("Subscriber 1");
Subscriber subscriber2("Subscriber 2");
Subscriber subscriber3("Subscriber 3");
// 订阅关系
router.subscribe(subscriber1, "news");
router.subscribe(subscriber2, "sports");
router.subscribe(subscriber3, "news");
// 创建UDP套接字
int udpSocket = socket(AF_INET, SOCK_DGRAM, 0);
if (udpSocket < 0) {
std::cerr << "Error creating UDP socket" << std::endl;
return 1;
}
// 设置服务器地址和端口
struct sockaddr_in serverAddress;
serverAddress.sin_family = AF_INET;
serverAddress.sin_addr.s_addr = INADDR_ANY;
serverAddress.sin_port = htons(9000); // 选择一个合适的端口号
// 绑定套接字到服务器地址和端口
if (bind(udpSocket, (struct sockaddr*)&serverAddress, sizeof(serverAddress)) < 0) {
std::cerr << "Error binding UDP socket" << std::endl;
return 1;
}
std::cout << "UDP server is running on port 9000" << std::endl;
// 接收和处理消息
char buffer[1024];
struct sockaddr_in clientAddress;
socklen_t clientAddressLength = sizeof(clientAddress);
while (true) {
memset(buffer, 0, sizeof(buffer));
// 接收消息
ssize_t bytesRead = recvfrom(udpSocket, buffer, sizeof(buffer), 0, (struct sockaddr*)&clientAddress, &clientAddressLength);
if (bytesRead < 0) {
std::cerr << "Error receiving message" << std::endl;
continue;
}
// 处理消息
std::string messageContent(buffer, bytesRead);
std::string messageTopic = "unknown"; // 默认主题
// 解析消息内容,假设消息格式为 "Topic: Content"
size_t separatorPos = messageContent.find(":");
if (separatorPos != std::string::npos) {
messageTopic = messageContent.substr(0, separatorPos);
messageContent = messageContent.substr(separatorPos + 1);
}
Message message = {messageTopic, messageContent};
router.publish(message); // 将消息路由到订阅者
std::cout << "Received UDP message: " << messageContent << " from " << inet_ntoa(clientAddress.sin_addr) << ":" << ntohs(clientAddress.sin_port) << std::endl;
}
// 关闭套接字
close(udpSocket);
return 0;
}
上述代码首先创建了一个消息路由器 MessageRouter,并创建了三个订阅者。然后,使用UDP协议创建了一个UDP套接字,并绑定到指定的端口(这里使用9000端口)来接收消息。当接收到UDP消息时,解析消息内容,将消息路由到相应的订阅者,同时也打印了接收到的UDP消息的内容和发送方的信息。这个示例中包含了消息路由器、订阅关系和UDP消息传递协议的集成。
2.2 订阅关系的管理
为了管理订阅关系,可以引入一个注册中心。注册中心可以使用分布式数据库或分布式键值存储来实现,以确保高可用性和可扩展性。注册中心需要提供API,让模块能够注册和查询订阅关系。
注册中心可以有以下功能:
- 注册订阅关系:订阅者可以向注册中心注册自己的订阅关系,包括订阅的主题、订阅者的标识等。注册中心将订阅关系存储起来,以便消息路由器查询和使用。
- 查询订阅关系:消息路由器可以向注册中心查询某个主题的订阅者列表,以便将消息传递给相应的订阅者。
- 更新订阅关系:订阅者可以随时更新自己的订阅关系,例如添加新的订阅、取消已有的订阅等。注册中心需要及时更新订阅关系,以保证消息的正确传递。
#include <iostream>
#include <string>
#include <cstring>
#include <sys/socket.h>
#include <netinet/in.h>
#include <unistd.h>
#include <unordered_map>
#include <vector>
// 消息结构
struct Message {
std::string topic;
std::string content;
};
// 订阅者类
class Subscriber {
public:
Subscriber(const std::string& name) : name(name) {}
void receiveMessage(const Message& message) {
std::cout << name << " received message on topic '" << message.topic << "': " << message.content << std::endl;
}
std::string getName() const {
return name;
}
private:
std::string name;
};
// 消息路由器类
class MessageRouter {
public:
void subscribe(const Subscriber& subscriber, const std::string& topic) {
subscriptions.registerSubscription({topic, subscriber.getName()});
}
void publish(const Message& message) {
const std::string& topic = message.topic;
std::vector<std::string> subscribers = subscriptions.getSubscribers(topic);
for (const auto& subscriber : subscribers) {
for (const auto& s : subscribersList) {
if (s.getName() == subscriber) {
s.receiveMessage(message);
}
}
}
}
private:
Registry subscriptions; // 使用注册中心管理订阅关系
std::vector<Subscriber> subscribersList; // 订阅者列表
};
// 订阅关系结构
struct Subscription {
std::string topic;
std::string subscriber;
};
// 注册中心类
class Registry {
public:
//注册订阅关系
void registerSubscription(const Subscription& subscription) {
subscriptions[subscription.topic].push_back(subscription.subscriber);
}
//查找订阅关系
std::vector<std::string> getSubscribers(const std::string& topic) {
if (subscriptions.find(topic) != subscriptions.end()) {
return subscriptions[topic];
}
return {};
}
//更新订阅关系
void updateSubscription(const Subscription& oldSubscription, const Subscription& newSubscription) {
auto& topicSubscribers = subscriptions[oldSubscription.topic];
for (auto it = topicSubscribers.begin(); it != topicSubscribers.end(); ++it) {
if (*it == oldSubscription.subscriber) {
*it = newSubscription.subscriber;
}
}
}
private:
std::unordered_map<std::string, std::vector<std::string>> subscriptions;
};
int main() {
// 创建消息路由器
MessageRouter router;
// 创建订阅者
Subscriber subscriber1("Subscriber 1");
Subscriber subscriber2("Subscriber 2");
Subscriber subscriber3("Subscriber 3");
// 订阅关系示例
Subscription subscription1 = {"news", "Subscriber 1"};
Subscription subscription2 = {"sports", "Subscriber 2"};
Subscription subscription3 = {"news", "Subscriber 3"};
// 注册订阅关系
router.subscribe(subscriber1, "news");
router.subscribe(subscriber2, "sports");
router.subscribe(subscriber3, "news");
// 创建UDP套接字
int udpSocket = socket(AF_INET, SOCK_DGRAM, 0);
if (udpSocket < 0) {
std::cerr << "Error creating UDP socket" << std::endl;
return 1;
}
// 设置服务器地址和端口
struct sockaddr_in serverAddress;
serverAddress.sin_family = AF_INET;
serverAddress.sin_addr.s_addr = INADDR_ANY;
serverAddress.sin_port = htons(9000); // 选择一个合适的端口号
// 绑定套接字到服务器地址和端口
if (bind(udpSocket, (struct sockaddr*)&serverAddress, sizeof(serverAddress)) < 0) {
std::cerr << "Error binding UDP socket" << std::endl;
return 1;
}
std::cout << "UDP server is running on port 9000" << std::endl;
// 接收和处理消息
char buffer[1024];
struct sockaddr_in clientAddress;
socklen_t clientAddressLength = sizeof(clientAddress);
while (true) {
memset(buffer, 0, sizeof(buffer));
// 接收消息
ssize_t bytesRead = recvfrom(udpSocket, buffer, sizeof(buffer), 0, (struct sockaddr*)&clientAddress, &clientAddressLength);
if (bytesRead < 0) {
std::cerr << "Error receiving message" << std::endl;
continue;
}
// 处理消息
std::string messageContent(buffer, bytesRead);
std::string messageTopic = "unknown"; // 默认主题
// 解析消息内容,假设消息格式为 "Topic: Content"
size_t separatorPos = messageContent.find(":");
if (separatorPos != std::string::npos) {
messageTopic = messageContent.substr(0, separatorPos);
messageContent = messageContent.substr(separatorPos + 1);
}
Message message = {messageTopic, messageContent};
router.publish(message); // 将消息路由到订阅者
std::cout << "Received UDP message: " << messageContent << " from " << inet_ntoa(clientAddress.sin_addr) << ":" << ntohs(clientAddress.sin_port) << std::endl;
}
// 关闭套接字
close(udpSocket);
return 0;
}
上述代码将 Registry 类嵌入到 MessageRouter 类中,以管理订阅关系。当订阅者通过 subscribe 方法注册订阅关系时,会将订阅信息添加到注册中心。在 publish 方法中,消息路由器会从注册中心查询订阅者列表,并将消息传递给相应的订阅者。这样,订阅关系管理被整合到消息路由系统中。
2.3 消息的传递和处理
消息路由器接收到消息后,需要将消息传递给相应的订阅者。为了实现高性能和可靠性的消息传递,可以采用以下策略:
- 多线程处理:可以为每个订阅者分配一个独立的线程来处理消息。这样可以实现并发处理,提高系统的吞吐量。需要注意线程安全性,可以采用互斥锁或其他同步机制来保护共享资源。
- 消息队列服务:可以选择使用成熟的消息队列服务,如RabbitMQ、Kafka等。它们提供了高度可靠的消息传递机制,并且能够处理大规模和高并发的消息传递。消息路由器将消息发送到消息队列中,订阅者从消息队列中取出消息并进行处理。
- 消息持久化:为了保证消息的可靠传递,可以将消息持久化到存储介质中,如数据库、文件系统等。这样即使系统发生故障,消息也不会丢失。可以使用事务或其他机制来保证消息的一致性和可靠性。
#include <iostream>
#include <string>
#include <cstring>
#include <sys/socket.h>
#include <netinet/in.h>
#include <unistd.h>
#include <unordered_map>
#include <vector>
#include <thread>
#include <mutex>
#include <queue>
#include <condition_variable>
#include <sqlite3.h> // 添加SQLite库的头文件
// 消息结构
struct Message {
std::string topic;
std::string content;
};
// 订阅者类
class Subscriber {
public:
Subscriber(const std::string& name) : name(name) {}
void receiveMessage(const Message& message) {
std::cout << name << " received message on topic '" << message.topic << "': " << message.content << std::endl;
// 处理完消息后从数据库中删除消息
deleteMessageFromDatabase(message);
}
std::string getName() const {
return name;
}
private:
std::string name;
void deleteMessageFromDatabase(const Message& message) {
sqlite3* db;
if (sqlite3_open("messages.db", &db) == SQLITE_OK) {
std::string deleteQuery = "DELETE FROM messages WHERE topic = ? AND content = ?";
sqlite3_stmt* stmt;
if (sqlite3_prepare_v2(db, deleteQuery.c_str(), -1, &stmt, NULL) == SQLITE_OK) {
sqlite3_bind_text(stmt, 1, message.topic.c_str(), -1, SQLITE_STATIC);
sqlite3_bind_text(stmt, 2, message.content.c_str(), -1, SQLITE_STATIC);
sqlite3_step(stmt);
sqlite3_finalize(stmt);
}
sqlite3_close(db);
}
}
};
// 消息队列类
class MessageQueue {
public:
void push(const Message& message) {
std::lock_guard<std::mutex> lock(mutex);
queue.push(message);
condition.notify_one();
// 消息入队后存储到数据库
storeMessageToDatabase(message);
}
Message pop() {
std::unique_lock<std::mutex> lock(mutex);
condition.wait(lock, [this] { return !queue.empty(); });
Message message = queue.front();
queue.pop();
return message;
}
private:
std::queue<Message> queue;
std::mutex mutex;
std::condition_variable condition;
void storeMessageToDatabase(const Message& message) {
sqlite3* db;
if (sqlite3_open("messages.db", &db) == SQLITE_OK) {
std::string insertQuery = "INSERT INTO messages (topic, content) VALUES (?, ?)";
sqlite3_stmt* stmt;
if (sqlite3_prepare_v2(db, insertQuery.c_str(), -1, &stmt, NULL) == SQLITE_OK) {
sqlite3_bind_text(stmt, 1, message.topic.c_str(), -1, SQLITE_STATIC);
sqlite3_bind_text(stmt, 2, message.content.c_str(), -1, SQLITE_STATIC);
sqlite3_step(stmt);
sqlite3_finalize(stmt);
}
sqlite3_close(db);
}
}
};
// 消息路由器类
class MessageRouter {
public:
MessageRouter() : queue(new MessageQueue()) {
initializeDatabase();
}
void subscribe(const Subscriber& subscriber, const std::string& topic) {
subscriptions.registerSubscription({topic, subscriber.getName()});
createThreadForSubscriber(subscriber);
}
void publish(const Message& message) {
const std::string& topic = message.topic;
std::vector<std::string> subscribers = subscriptions.getSubscribers(topic);
for (const auto& subscriber : subscribers) {
queue->push(message); // 将消息推送到消息队列
}
}
private:
Registry subscriptions; // 使用注册中心管理订阅关系
std::unique_ptr<MessageQueue> queue; // 消息队列
std::vector<Subscriber> subscribersList; // 订阅者列表
std::vector<std::thread> subscriberThreads; // 订阅者线程列表
void createThreadForSubscriber(const Subscriber& subscriber) {
// 为每个订阅者创建一个独立的线程
subscriberThreads.push_back(std::thread([this, &subscriber] {
while (true) {
// 从消息队列中取出消息并处理
Message message = queue->pop();
subscriber.receiveMessage(message);
}
}));
}
void initializeDatabase() {
// 初始化SQLite数据库
sqlite3* db;
if (sqlite3_open("messages.db", &db) == SQLITE_OK) {
const char* createTableQuery = "CREATE TABLE IF NOT EXISTS messages (topic TEXT, content TEXT)";
sqlite3_exec(db, createTableQuery, 0, 0, 0);
sqlite3_close(db);
}
}
};
// 订阅关系结构
struct Subscription {
std::string topic;
std::string subscriber;
};
// 注册中心类
class Registry {
public:
void registerSubscription(const Subscription& subscription) {
subscriptions[subscription.topic].push_back(subscription.subscriber);
}
std::vector<std::string> getSubscribers(const std::string& topic) {
if (subscriptions.find(topic) != subscriptions.end()) {
return subscriptions[topic];
}
return {};
}
void updateSubscription(const Subscription& oldSubscription, const Subscription& newSubscription) {
auto& topicSubscribers = subscriptions[oldSubscription.topic];
for (auto it = topicSubscribers.begin(); it != topicSubscribers.end(); ++it) {
if (*it == oldSubscription.subscriber) {
*it = newSubscription.subscriber;
}
}
}
private:
std::unordered_map<std::string, std::vector<std::string>> subscriptions;
};
int main() {
// 创建消息路由器
MessageRouter router;
// 创建订阅者
Subscriber subscriber1("Subscriber 1");
Subscriber subscriber2("Subscriber 2");
Subscriber subscriber3("Subscriber 3");
// 订阅关系示例
Subscription subscription1 = {"news", "Subscriber 1"};
Subscription subscription2 = {"sports", "Subscriber 2"};
Subscription subscription3 = {"news", "Subscriber 3"};
// 注册订阅关系
router.subscribe(subscriber1, "news");
router.subscribe(subscriber2, "sports");
router.subscribe(subscriber3, "news");
// 创建UDP套接字
int udpSocket = socket(AF_INET, SOCK_DGRAM, 0);
if (udpSocket < 0) {
std::cerr << "Error creating UDP socket" << std::endl;
return 1;
}
// 设置服务器地址和端口
struct sockaddr_in serverAddress;
serverAddress.sin_family = AF_INET;
serverAddress.sin_addr.s_addr = INADDR_ANY;
serverAddress.sin_port = htons(9000); // 选择一个合适的端口号
// 绑定套接字到服务器地址和端口
if (bind(udpSocket, (struct sockaddr*)&serverAddress, sizeof(serverAddress)) < 0) {
std::cerr << "Error binding UDP socket" << std::endl;
return 1;
}
std::cout << "UDP server is running on port 9000" << std::endl;
// 接收和处理消息
char buffer[1024];
struct sockaddr_in clientAddress;
socklen_t clientAddressLength = sizeof(clientAddress);
while (true) {
memset(buffer, 0, sizeof(buffer));
// 接收消息
ssize_t bytesRead = recvfrom(udpSocket, buffer, sizeof(buffer), 0, (struct sockaddr*)&clientAddress, &clientAddressLength);
if (bytesRead < 0) {
std::cerr << "Error receiving message" << std::endl;
continue;
}
// 处理消息
std::string messageContent(buffer, bytesRead);
std::string messageTopic = "unknown"; // 默认主题
// 解析消息内容,假设消息格式为 "Topic: Content"
size_t separatorPos = messageContent.find(":");
if (separatorPos != std::string::npos) {
messageTopic = messageContent.substr(0, separatorPos);
messageContent = messageContent.substr(separatorPos + 1);
}
Message message = {messageTopic, messageContent};
router.publish(message); // 将消息路由到订阅者
std::cout << "Received UDP message: " << messageContent << " from " << inet_ntoa(clientAddress.sin_addr) << ":" << ntohs(clientAddress.sin_port) << std::endl;
}
// 关闭套接字
close(udpSocket);
return 0;
}
上述代码上述代码引入了一个 MessageQueue 类来模拟消息队列的功能。每个订阅者都有一个独立的线程,从消息队列中获取消息并进行处理。消息的发布操作将消息推送到消息队列中,由订阅者线程异步处理。这样可以提高消息传递的性能和可靠性。使用了SQLite数据库来存储消息。当订阅者接收到消息后,会从数据库中删除该消息。在初始化阶段,创建了一个名为 "messages.db" 的SQLite数据库,并创建了一个名为 "messages" 的表来存储消息。
第五部分:示例
以上是一个简单的消息传递和处理系统的设计和实现思路,具体的实现细节还需要根据具体的需求和场景进行调整和完善。下面将对示例中的电商系统可以进一步细化为以下步骤:
- 商品服务将商品信息发布到消息路由器。
- 订单服务和用户服务在启动时向注册中心注册对商品信息消息的订阅关系。
- 消息路由器接收到商品信息消息后,查询注册中心,将消息分发给订单服务和用户服务。
- 订单服务和用户服务从消息队列中取出商品信息消息并进行相应的处理,例如生成订单或者更新用户信息。
首先,从创建商品服务并发布商品信息消息开始。以下是商品服务的代码示例:
// 商品服务
#include <iostream>
#include <string>
#include <unistd.h>
#include <cstring>
#include <sys/socket.h>
#include <netinet/in.h>
// 商品信息结构
struct ProductInfo {
std::string productId;
std::string name;
double price;
int stock;
};
// 函数用于发布商品信息消息
void publishProductInfo(const ProductInfo& productInfo) {
// 创建UDP套接字
int udpSocket = socket(AF_INET, SOCK_DGRAM, 0);
if (udpSocket < 0) {
std::cerr << "Error creating UDP socket" << std::endl;
return;
}
// 设置消息服务器地址和端口
struct sockaddr_in serverAddress;
serverAddress.sin_family = AF_INET;
serverAddress.sin_addr.s_addr = inet_addr("127.0.0.1"); // 假设消息服务器在本地运行
serverAddress.sin_port = htons(9000); // 选择一个合适的端口号
// 准备商品信息消息
std::string message = "ProductInfo:" + productInfo.productId + ":" + productInfo.name + ":" +
std::to_string(productInfo.price) + ":" + std::to_string(productInfo.stock);
// 发送消息
ssize_t bytesSent = sendto(udpSocket, message.c_str(), message.size(), 0, (struct sockaddr*)&serverAddress, sizeof(serverAddress));
if (bytesSent < 0) {
std::cerr << "Error sending message" << std::endl;
} else {
std::cout << "Published product information: " << productInfo.name << std::endl;
}
// 关闭套接字
close(udpSocket);
}
int main() {
// 模拟商品信息发布
ProductInfo product1 = {"123", "Product A", 19.99, 100};
ProductInfo product2 = {"456", "Product B", 29.99, 50};
// 发布商品信息消息
publishProductInfo(product1);
publishProductInfo(product2);
return 0;
}
在上述代码中,商品服务模拟了两个商品的信息,并使用UDP套接字将商品信息消息发布到消息服务器(本地地址和端口9000)。每个商品信息消息的格式是 "ProductInfo:productId:name:price:stock"。商品服务将商品信息消息发送后,消息路由器会将它分发给订阅了商品信息的服务(例如订单服务和用户服务)。
接下来,将创建订单服务和用户服务,并在它们启动时注册对商品信息消息的订阅关系。以下是订单服务和用户服务的代码示例:
订单服务(Order Service):
// 订单服务
#include <iostream>
#include <string>
#include <cstring>
#include <sys/socket.h>
#include <netinet/in.h>
#include <unistd.h>
#include <vector>
// 消息结构
struct Message {
std::string topic;
std::string content;
};
// 订阅者类
class Subscriber {
public:
Subscriber(const std::string& name) : name(name) {}
void receiveMessage(const Message& message) {
std::cout << name << " received message on topic '" << message.topic << "': " << message.content << std::endl;
// 在实际应用中,这里可以处理订单生成等业务逻辑
}
std::string getName() const {
return name;
}
private:
std::string name;
};
int main() {
// 创建订单服务
Subscriber orderService("Order Service");
// 创建UDP套接字
int udpSocket = socket(AF_INET, SOCK_DGRAM, 0);
if (udpSocket < 0) {
std::cerr << "Error creating UDP socket" << std::endl;
return 1;
}
// 设置服务器地址和端口
struct sockaddr_in serverAddress;
serverAddress.sin_family = AF_INET;
serverAddress.sin_addr.s_addr = INADDR_ANY;
serverAddress.sin_port = htons(9000); // 选择一个合适的端口号
// 绑定套接字到服务器地址和端口
if (bind(udpSocket, (struct sockaddr*)&serverAddress, sizeof(serverAddress)) < 0) {
std::cerr << "Error binding UDP socket" << std::endl;
return 1;
}
std::cout << "Order Service is running and subscribed to product information" << std::endl;
// 接收和处理消息
char buffer[1024];
struct sockaddr_in clientAddress;
socklen_t clientAddressLength = sizeof(clientAddress);
while (true) {
memset(buffer, 0, sizeof(buffer));
// 接收消息
ssize_t bytesRead = recvfrom(udpSocket, buffer, sizeof(buffer), 0, (struct sockaddr*)&clientAddress, &clientAddressLength);
if (bytesRead < 0) {
std::cerr << "Error receiving message" << std::endl;
continue;
}
// 处理消息
std::string messageContent(buffer, bytesRead);
std::string messageTopic = "unknown"; // 默认主题
// 解析消息内容,假设消息格式为 "Topic: Content"
size_t separatorPos = messageContent.find(":");
if (separatorPos != std::string::npos) {
messageTopic = messageContent.substr(0, separatorPos);
messageContent = messageContent.substr(separatorPos + 1);
}
Message message = {messageTopic, messageContent};
orderService.receiveMessage(message); // 处理消息
}
// 关闭套接字
close(udpSocket);
return 0;
}
用户服务(User Service):
// 用户服务
#include <iostream>
#include <string>
#include <cstring>
#include <sys/socket.h>
#include <netinet/in.h>
#include <unistd.h>
#include <vector>
// 消息结构
struct Message {
std::string topic;
std::string content;
};
// 订阅者类
class Subscriber {
public:
Subscriber(const std::string& name) : name(name) {}
void receiveMessage(const Message& message) {
std::cout << name << " received message on topic '" << message.topic << "': " << message.content << std::endl;
// 在实际应用中,这里可以处理用户信息更新等业务逻辑
}
std::string getName() const {
return name;
}
private:
std::string name;
};
int main() {
// 创建用户服务
Subscriber userService("User Service");
// 创建UDP套接字
int udpSocket = socket(AF_INET, SOCK_DGRAM, 0);
if (udpSocket < 0) {
std::cerr << "Error creating UDP socket" << std::endl;
return 1;
}
// 设置服务器地址和端口
struct sockaddr_in serverAddress;
serverAddress.sin_family = AF_INET;
serverAddress.sin_addr.s_addr = INADDR_ANY;
serverAddress.sin_port = htons(9000); // 选择一个合适的端口号
// 绑定套接字到服务器地址和端口
if (bind(udpSocket, (struct sockaddr*)&serverAddress, sizeof(serverAddress)) < 0) {
std::cerr << "Error binding UDP socket" << std::endl;
return 1;
}
std::cout << "User Service is running and subscribed to product information" << std::endl;
// 接收和处理消息
char buffer[1024];
struct sockaddr_in clientAddress;
socklen_t clientAddressLength = sizeof(clientAddress);
while (true) {
memset(buffer, 0, sizeof(buffer));
// 接收消息
ssize_t bytesRead = recvfrom(udpSocket, buffer, sizeof(buffer), 0, (struct sockaddr*)&clientAddress, &clientAddressLength);
if (bytesRead < 0) {
std::cerr << "Error receiving message" << std::endl;
continue;
}
// 处理消息
std::string messageContent(buffer, bytesRead);
std::string messageTopic = "unknown"; // 默认主题
// 解析消息内容,假设消息格式为 "Topic: Content"
size_t separatorPos = messageContent.find(":");
if (separatorPos != std::string::npos) {
messageTopic = messageContent.substr(0, separatorPos);
messageContent = messageContent.substr(separatorPos + 1);
}
Message message = {messageTopic, messageContent};
userService.receiveMessage(message); // 处理消息
}
// 关闭套接字
close(udpSocket);
return 0;
}
在上述代码中,订单服务和用户服务都创建了一个UDP套接字,以接收商品信息消息。它们在启动时分别注册了对商品信息消息的订阅关系,并可以在 receiveMessage 方法中处理消息,执行订单生成或用户信息更新等业务逻辑。
接下来,将创建一个消息路由器(Message Router)来处理和分发消息。消息路由器将接收商品信息消息,并将其分发给已经注册了对该消息的订阅关系的订单服务和用户服务。
// 消息路由器
#include <iostream>
#include <string>
#include <cstring>
#include <sys/socket.h>
#include <netinet/in.h>
#include <unistd.h>
#include <vector>
#include <thread>
#include <mutex>
#include <queue>
#include <condition_variable>
// 消息结构
struct Message {
std::string topic;
std::string content;
};
// 订阅者类
class Subscriber {
public:
Subscriber(const std::string& name) : name(name) {}
void receiveMessage(const Message& message) {
std::cout << name << " received message on topic '" << message.topic << "': " << message.content << std::endl;
// 在实际应用中,这里可以处理订单生成或用户信息更新等业务逻辑
}
std::string getName() const {
return name;
}
private:
std::string name;
};
// 消息队列类
class MessageQueue {
public:
void push(const Message& message) {
std::lock_guard<std::mutex> lock(mutex);
queue.push(message);
condition.notify_one();
}
Message pop() {
std::unique_lock<std::mutex> lock(mutex);
condition.wait(lock, [this] { return !queue.empty(); });
Message message = queue.front();
queue.pop();
return message;
}
private:
std::queue<Message> queue;
std::mutex mutex;
std::condition_variable condition;
};
// 消息路由器类
class MessageRouter {
public:
MessageRouter() : queue(new MessageQueue()) {}
void subscribe(const Subscriber& subscriber, const std::string& topic) {
subscriptions.registerSubscription({topic, subscriber.getName()});
createThreadForSubscriber(subscriber);
}
void publish(const Message& message) {
const std::string& topic = message.topic;
std::vector<std::string> subscribers = subscriptions.getSubscribers(topic);
for (const auto& subscriber : subscribers) {
queue->push(message); // 将消息推送到消息队列
}
}
void start() {
// 启动消息处理线程
messageProcessingThread = std::thread([this] {
while (true) {
// 从消息队列中取出消息并处理
Message message = queue->pop();
dispatchMessage(message);
}
});
}
void stop() {
// 停止消息处理线程
if (messageProcessingThread.joinable()) {
messageProcessingThread.join();
}
}
private:
Registry subscriptions; // 使用注册中心管理订阅关系
std::unique_ptr<MessageQueue> queue; // 消息队列
std::thread messageProcessingThread; // 消息处理线程
void createThreadForSubscriber(const Subscriber& subscriber) {
// 为每个订阅者创建一个独立的线程
std::thread subscriberThread([this, &subscriber] {
while (true) {
// 在实际应用中,这里可以添加处理逻辑,如消息确认机制等
Message message = queue->pop();
subscriber.receiveMessage(message);
}
});
subscriberThread.detach();
}
void dispatchMessage(const Message& message) {
// 查询注册中心,找到订阅了该消息主题的订阅者并分发消息
const std::string& topic = message.topic;
std::vector<std::string> subscribers = subscriptions.getSubscribers(topic);
for (const auto& subscriber : subscribers) {
// 这里可以实现更复杂的消息分发策略,如消息确认机制等
queue->push(message); // 分发消息给订阅者
}
}
};
int main() {
// 创建消息路由器
MessageRouter router;
// 创建订阅者
Subscriber orderService("Order Service");
Subscriber userService("User Service");
// 订阅关系示例
Subscription subscription1 = {"product_information", "Order Service"};
Subscription subscription2 = {"product_information", "User Service"};
// 注册订阅关系
router.subscribe(orderService, "product_information");
router.subscribe(userService, "product_information");
// 启动消息路由器
router.start();
// 创建UDP套接字
int udpSocket = socket(AF_INET, SOCK_DGRAM, 0);
if (udpSocket < 0) {
std::cerr << "Error creating UDP socket" << std::endl;
return 1;
}
// 设置服务器地址和端口
struct sockaddr_in serverAddress;
serverAddress.sin_family = AF_INET;
serverAddress.sin_addr.s_addr = INADDR_ANY;
serverAddress.sin_port = htons(9000); // 选择一个合适的端口号
// 绑定套接字到服务器地址和端口
if (bind(udpSocket, (struct sockaddr*)&serverAddress, sizeof(serverAddress)) < 0) {
std::cerr << "Error binding UDP socket" << std::endl;
return 1;
}
std::cout << "Message Router is running and routing product information messages" << std::endl;
// 接收和处理消息
char buffer[1024];
struct sockaddr_in clientAddress;
socklen_t clientAddressLength = sizeof(clientAddress);
while (true) {
memset(buffer, 0, sizeof(buffer));
// 接收消息
ssize_t bytesRead = recvfrom(udpSocket, buffer, sizeof(buffer), 0, (struct sockaddr*)&clientAddress, &clientAddressLength);
if (bytesRead < 0) {
std::cerr << "Error receiving message" << std::endl;
continue;
}
// 处理消息
std::string messageContent(buffer, bytesRead);
std::string messageTopic = "unknown"; // 默认主题
// 解析消息内容,假设消息格式为 "Topic: Content"
size_t separatorPos = messageContent.find(":");
if (separatorPos != std::string::npos) {
messageTopic = messageContent.substr(0, separatorPos);
messageContent = messageContent.substr(separatorPos + 1);
}
Message message = {messageTopic, messageContent};
router.publish(message); // 将消息路由到订阅者
std::cout << "Received UDP message: " << messageContent << " from " << inet_ntoa(clientAddress.sin_addr) << ":" << ntohs(clientAddress.sin_port) << std::endl;
}
// 关闭套接字
close(udpSocket);
// 停止消息路由器
router.stop();
return 0;
}
在上述代码中,创建了一个 MessageRouter 类,它维护了一个消息队列,用于存储待处理的消息。在 subscribe 方法中,订阅者会注册对特定主题的订阅关系,并为每个订阅者创建一个独立的线程来处理消息。消息路由器在 publish 方法中将接收到的消息推送到消息队列,并在单独的消息处理线程中分发消息给订阅者。
主函数中,创建了两个订阅者,订单服务和用户服务,它们都订阅了 "product_information" 主题的消息。然后,启动了消息路由器,并通过UDP(为了方便使用了UDP)套接字接收商品信息消息,将其路由给订阅者。
第五部分:总结
在编程中,消息路由是一种常见的编程范式,许多开源库和框架在其内部或作为其核心功能之一使用了消息路由。例如Apache Kafka,RabbitMQ,Apache ActiveMQ,Redis,Node.js,Spring Framework,Apache Camel,NATS,ROS1,ROS2, 百度Apollo等,它们使用消息路由来支持事件处理、消息传递和通信。消息路由是现代应用程序开发中的重要概念,它提供了一种灵活、可扩展和高性能的通信机制。学习消息路由有助于编程从业者构建更复杂、更高效和更具响应性的应用程序,适应不断变化的技术和业务要求。
待续。。。
相关推荐
- GANs为何引爆机器学习?这篇基于TensorFlow的实例教程为你解惑!
-
「机器人圈导览」:生成对抗网络无疑是机器学习领域近三年来最火爆的研究领域,相关论文层出不求,各种领域的应用层出不穷。那么,GAN到底如何实践?本文编译自Medium,该文作者以一朵玫瑰花为例,详细阐...
- 高丽大学等机构联合发布StarGAN:可自定义表情和面部特征
-
原文来源:arXiv、GitHub作者:YunjeyChoi、MinjeChoi、MunyoungKim、Jung-WooHa、SungKim、JaegulChoo「雷克世界」编译:嗯~...
- TensorFlow和PyTorch相继发布最新版,有何变化
-
原文来源:GitHub「机器人圈」编译:嗯~阿童木呀、多啦A亮Tensorflow主要特征和改进在Tensorflow库中添加封装评估量。所添加的评估量列表如下:1.深度神经网络分类器(DNNCl...
- 「2022 年」崔庆才 Python3 爬虫教程 - 深度学习识别滑动验证码缺口
-
上一节我们使用OpenCV识别了图形验证码躯壳欧。这时候就有朋友可能会说了,现在深度学习不是对图像识别很准吗?那深度学习可以用在识别滑动验证码缺口位置吗?当然也是可以的,本节我们就来了解下使用深度...
- 20K star!搞定 LLM 微调的开源利器
-
LLM(大语言模型)微调一直都是老大难问题,不仅因为微调需要大量的计算资源,而且微调的方法也很多,要去尝试每种方法的效果,需要安装大量的第三方库和依赖,甚至要接入一些框架,可能在还没开始微调就已经因为...
- 大模型DeepSeek本地部署后如何进行自定义调整?
-
1.理解模型架构a)查看深度求索官方文档或提供的源代码文件,了解模型的结构、输入输出格式以及支持的功能。模型是否为预训练权重?如果是,可以在预训练的基础上进行微调(Fine-tuning)。是否需要...
- 因配置不当,约5000个AI模型与数据集在公网暴露
-
除了可访问机器学习模型外,暴露的数据还可能包括训练数据集、超参数,甚至是用于构建模型的原始数据。前情回顾·人工智能安全动态向ChatGPT植入恶意“长期记忆”,持续窃取用户输入数据多模态大语言模型的致...
- 基于pytorch的深度学习人员重识别
-
基于pytorch的深度学习人员重识别Torchreid是一个库。基于pytorch的深度学习人员重识别。特点:支持多GPU训练支持图像的人员重识别与视频的人员重识别端到端的训练与评估简单的re...
- DeepSeek本地部署:轻松训练你的AI模型
-
引言:为什么选择本地部署?在AI技术飞速发展的今天,越来越多的企业和个人希望将AI技术应用于实际场景中。然而,对于一些对数据隐私和计算资源有特殊需求的用户来说,云端部署可能并不是最佳选择。此时,本地部...
- 谷歌今天又开源了,这次是Sketch-RNN
-
前不久,谷歌公布了一项最新技术,可以教机器画画。今天,谷歌开源了代码。在我们研究其代码之前,首先先按要求设置Magenta环境。(https://github.com/tensorflow/magen...
- Tensorflow 使用预训练模型训练的完整流程
-
前面已经介绍了深度学习框架Tensorflow的图像的标注和训练数据的准备工作,本文介绍一下使用预训练模型完成训练并导出训练的模型。1.选择预训练模型1.1下载预训练模型首先需要在Tensorf...
- 30天大模型调优学习计划(30分钟训练大模型)
-
30天大模型调优学习计划,结合Unsloth和Lora进行大模型微调,掌握大模型基础知识和调优方法,熟练应用。第1周:基础入门目标:了解大模型基础并熟悉Unsloth等工具的基本使用。Day1:大模...
- python爬取喜马拉雅音频,json参数解析
-
一.抓包分析json,获取加密方式1.抓包获取音频界面f12打开抓包工具,播放一个(非vip)视频,点击“媒体”单击打开可以复制URL,发现就是我们要的音频。复制“CKwRIJEEXn-cABa0Tg...
- 五、JSONPath使用(Python)(json数据python)
-
1.安装方法pipinstalljsonpath2.jsonpath与Xpath下面表格是jsonpath语法与Xpath的完整概述和比较。Xpathjsonpath概述/$根节点.@当前节点...
- Python网络爬虫的时候json=就是让你少写个json.dumps()
-
大家好,我是皮皮。一、前言前几天在Python白银交流群【空翼】问了一个Python网络爬虫的问题,提问截图如下:登录请求地址是这个:二、实现过程这里【甯同学】给了一个提示,如下所示:估计很多小伙伴和...
- 一周热门
-
-
Python实现人事自动打卡,再也不会被批评
-
Psutil + Flask + Pyecharts + Bootstrap 开发动态可视化系统监控
-
一个解决支持HTML/CSS/JS网页转PDF(高质量)的终极解决方案
-
再见Swagger UI 国人开源了一款超好用的 API 文档生成框架,真香
-
【验证码逆向专栏】vaptcha 手势验证码逆向分析
-
网页转成pdf文件的经验分享 网页转成pdf文件的经验分享怎么弄
-
C++ std::vector 简介
-
python使用fitz模块提取pdf中的图片
-
《人人译客》如何规划你的移动电商网站(2)
-
Jupyterhub安装教程 jupyter怎么安装包
-
- 最近发表
- 标签列表
-
- python判断字典是否为空 (50)
- crontab每周一执行 (48)
- aes和des区别 (43)
- bash脚本和shell脚本的区别 (35)
- canvas库 (33)
- dataframe筛选满足条件的行 (35)
- gitlab日志 (33)
- lua xpcall (36)
- blob转json (33)
- python判断是否在列表中 (34)
- python html转pdf (36)
- 安装指定版本npm (37)
- idea搜索jar包内容 (33)
- css鼠标悬停出现隐藏的文字 (34)
- linux nacos启动命令 (33)
- gitlab 日志 (36)
- adb pull (37)
- table.render (33)
- uniapp textarea (33)
- python判断元素在不在列表里 (34)
- python 字典删除元素 (34)
- react-admin (33)
- vscode切换git分支 (35)
- vscode美化代码 (33)
- python bytes转16进制 (35)