Articles of matrix

calcular la media y la covarianza de una matriz grande (300000 x 70000)

Estoy usando Numpy y tratando de calcular la media y la covarianza de una matriz grande (300000 x 70000). Tengo memoria de tamaño de 32GB disponible. ¿Cuál es la mejor práctica para esta tarea en términos de eficiencia computacional y facilidad de implementación? Mi implementación actual es la siguiente: def compute_mean_variance(mat, chunk_size): row_count = mat.row_count […]

cómo realizar la agrupación de max / mean en una matriz 2d usando numpy

Dada una matriz 2D (M x N) y un núcleo 2D (K x L), ¿cómo devuelvo una matriz que es el resultado de la combinación máxima o media utilizando el núcleo dado sobre la imagen? Me gustaría usar numpy si es posible. Nota: M, N, K, L pueden ser par o impares y no necesitan […]

Error de memoria de corte de matriz dispersa

Tengo una matriz dispersa csr : <681881×58216 sparse matrix of type '’ with 2867209 stored elements in Compressed Sparse Row format> Y quiero crear una nueva matriz de partición como una porción de csr : csr_2 = csr[1::2,:] . Problema: cuando solo tengo la matriz csr , la memoria RAM de mi servidor está ocupada […]

python (scipy): redimensionando una matriz dispersa

Tengo problemas para cambiar el tamaño de una matriz: la función set_shape parece no tener ningún efecto: >>> M <14×3562 sparse matrix of type '’ with 6136 stored elements in LInked List format> >>> new_shape = (15,3562) >>> M.set_shape(new_shape) >>> M <14×3562 sparse matrix of type '’ with 6136 stored elements in LInked List format> […]

¿Por qué es más lenta la indexación de filas de matrices CSR scipy en comparación con matrices numpy?

No estoy seguro de lo que estoy haciendo mal, pero parece que la indexación de filas de un csr_matrix csr_matrix es aproximadamente 2 veces más lenta en comparación con las matrices numpy (consulte el código a continuación). ¿No debería ser más rápida la indexación de filas de las matrices rsr que las matrices densas porque […]

¿Cómo usar la matriz de imagen y peso para crear imágenes adversas en TensorFlow?

En la publicación del blog Breaking Linear Classifiers en ImageNet , el autor presentó un ejemplo muy simple sobre cómo modificar una imagen para engañar a un clasificador. La técnica dada es bastante simple: xad = x + 0.5w donde x es el vector 1d yw es el peso 1d. Todo esto es bueno y […]

Cómo convertir la matriz de co-ocurrencia en matriz dispersa

Estoy empezando a tratar con matrices dispersas, por lo que no soy muy competente en este tema. Mi problema es que tengo una matriz simple de co-ocurrencias de una lista de palabras, solo una matriz bidimensional de co-ocurrencia palabra por palabra contando cuántas veces ocurre una palabra en el mismo contexto. La matriz es bastante […]

Cómo hacer que la columna de matriz numpy sume hasta 1

Estoy trabajando en la construcción de una matriz de transición para implementar el algoritmo PageRank. ¿Cómo podría usar numpy para asegurarme de que las columnas se sumn a una? Por ejemplo: 1 1 1 1 1 1 1 1 1 debe ser normalizado para ser .33 .33 .33 .33 .33 .33 .33 .33 .33

Obtención de franjas diagonales de matriz automáticamente en numpy o pytorch

Necesito obtener una franja diagonal de la matriz (no estoy seguro de la terminología aquí, la franja diagonal de la matriz parece describirla mejor) Digamos que tengo una matriz de tamaño KxN, donde K y N son tamaños arbitrarios y K> N. Digamos, tengo una matriz: [[ 0 1 2] [ 3 4 5] [ […]

Transformada de perspectiva de matriz 3D

Estoy utilizando la forma del sombreado para generar un Modelo Digital de Terreno (DTM) de una imagen tomada con una cámara montada en una plataforma móvil. El algoritmo escrito en Python parece funcionar razonablemente bien, sin embargo, la salida está en una pendiente y un poco esférica, por lo que sospecho que necesito eliminar la […]