Incluye:
- Un conjunto de definiciones de flatbuffer. Flatbuffers son similares a los búferes de protocolo de Google, con un beneficio adicional de evitar la copia de memoria durante la deserialización. Las definiciones de Flatbuffer proporcionan un mensaje de solicitud que incluye entrada, tensores, nombres de entrada y nombres de salida.
- Pautas para servir modelos.
- Ejemplos de modelos de servidores de varios frameworks de aprendizaje automático.
- Bibliotecas de clientes para consultar modelos servidos a través de GraphPipe. Los clientes están disponibles para Python, Go y Java. Hay un complemento para biblioteca Google TensorFlow para incluir un modelo remoto dentro de un gráfico TensorFlow local.
Con GraphPipe, un modelo remoto acepta un mensaje de solicitud y devuelve un tensor por nombre de salida. El modelo también proporciona metadatos sobre tipos y formas de entradas y salidas.
