IO 架构
IO的。NET 的生态系统架构强调速度、有效性和效率。每个元素都经过微调，以实现快速性能，我们优先考虑可持续、环保的资源使用。
io.net Portal 的架构是一个多层、有凝聚力的结构，可提供无缝、安全和高效的用户体验。每一层都有不同的作用，协同工作以确保系统的最佳性能。该架构建立在现代技术之上，可确保可扩展性、可靠性和稳健性。
用户界面
该层是用户的视觉网关。它包括公共网站、客户区域和 GPU 提供商区域（Workers）。该设计直观且以用户为中心，确保易于导航和交互。
主要使用的技术栈：ReactJS、Tailwind、web3.js、zustand。
安全层
确保系统完整性和安全性的关键层。它包括用于网络保护的防火墙、用于用户验证的身份验证服务以及用于跟踪活动的日志记录服务。
主要使用的技术栈：防火墙（pfSense、iptables）、身份验证（OAuth、JWT）、日志记录服务（ELK Stack、Graylog）。
API 层
作为通信桥梁，该层具有多个方面：用于网站的公共 API、用于 Workers/GPU 提供商和客户的私有 API，以及用于集群管理、分析和监控/报告的内部 API。
主要使用的技术栈：FastAPI、Python、GraphQL、RESTful 服务、gunicorn、solana。
后端层
系统的动力源。它管理提供程序（工作线程）、集群/GPU 操作、客户交互、故障监控、分析、计费/使用情况监控和自动缩放。
主要使用的技术栈：FastAPI、Python、Node.js、Flask、solana、IO-SDK（Ray 2.3.0 的一个分支）、Pandas。
数据库层
系统的数据存储库。它对结构化数据使用主存储，对经常访问的临时数据使用缓存。
主要使用的技术栈：Postgres（主存储）、Redis（缓存）。
消息代理/任务层
该层协调异步通信和任务管理，确保数据流畅和任务高效执行。
主要使用的技术栈：RabbitMQ（消息代理）、Celery（任务管理）。
基础架构层
基础层。它容纳了 GPU 池，其中包含来自我们经过验证的合作伙伴的硬件。编排工具管理部署，而执行/ML 任务处理计算和机器学习操作。此外，它还提供数据存储解决方案。使用 Nvidia-smi 或 NVIDIA DCGM 监控 GPU 性能。
主要使用的技术栈：
- GPU/CPU 池
- 编排：Kubernetes、Prefect、Apache Airflow
- 执行/ML 任务：Ray、Ludwig、Pytorch、Keras、TensorFlow、Pandas
- 数据存储：Amazon S3、Hadoop HDFS
- Сontainerization： Docker
- 监控：Grafana、Datadog、Prometheus、NVIDIA DCGM
IO-SDK：IO.NET 背后的动力源
IO-SDK 是 Ray 的专用分支，是驱动 IO 的核心技术。NET 的功能。IO-SDK 采用 Ray 的原生并行性，毫不费力地并行化 Python 函数，实现动态任务执行。其内存存储可确保任务之间的快速数据共享，从而消除序列化延迟。动态自动扩缩容功能意味着IO-SDK可以快速适应计算需求。此外，它不仅限于 Python;它的语言多功能性以及与 PyTorch 和 TensorFlow 等领先 ML 框架的集成功能使其成为强大而灵活的选择。无论是在单台机器上，还是在海量的云平台上，IO-SDK都能保证IO。NET 的可扩展性和性能。
这些层由上述技术堆栈提供支持，共同构成了 IO.NET Portal 的强大且可扩展的架构，确保其满足现代用户的需求并保持面向未来。
