tensorflow有多种操作选择。
对于GPU,使用cuda支持。大多数操作都是用cuDNN实现的,有些使用cuBLAS,有些则使用cuda。
您也可以使用openCL而不是cuda,但您应该自己编译tensorflow。
对于CPU,intel mkl用作blas库。
我不熟悉pytorch和theano,但下面列出了一些常用的blas库: