OLA-VLM: Elevating Visual Perception in Multimodal LLMs with Auxiliary Embedding Distillation

Autor: Jain, Jitesh, Yang, Zhengyuan, Shi, Humphrey, Gao, Jianfeng, Yang, Jianwei

The standard practice for developing contemporary MLLMs is to feed features from vision encoder(s) into the LLM and train with natural language supervision. In this work, we posit an overlooked opportunity to optimize the intermediate LLM representat

Externí odkaz: http://arxiv.org/abs/2412.09585

Euclid preparation. XLIX. Selecting active galactic nuclei using observed colours

Autor: Euclid Collaboration, Bisigello, L., Massimo, M., Tortora, C., Fotopoulou, S., Allevato, V., Bolzonella, M., Gruppioni, C., Pozzetti, L., Rodighiero, G., Serjeant, S., Cunha, P. A. C., Gabarra, L., Feltre, A., Humphrey, A., La Franca, F., Landt, H., Mannucci, F., Prandoni, I., Radovich, M., Ricci, F., Salvato, M., Shankar, F., Stern, D., Spinoglio, L., Vergani, D., Vignali, C., Zamorani, G., Yung, L. Y. A., Charlot, S., Aghanim, N., Amara, A., Andreon, S., Auricchio, N., Baldi, M., Bardelli, S., Battaglia, P., Bender, R., Bonino, D., Branchini, E., Brau-Nogue, S., Brescia, M., Camera, S., Capobianco, V., Carbone, C., Carretero, J., Casas, S., Castander, F. J., Castellano, M., Cavuoti, S., Cimatti, A., Congedo, G., Conselice, C. J., Conversi, L., Copin, Y., Corcione, L., Courbin, F., Courtois, H. M., Cropper, M., Da Silva, A., Degaudenzi, H., Di Giorgio, A. M., Dinis, J., Dupac, X., Dusini, S., Ealet, A., Farina, M., Farrens, S., Ferriol, S., Frailis, M., Franceschi, E., Franzetti, P., Fumana, M., Galeotta, S., Garilli, B., Gillis, B., Giocoli, C., Granett, B. R., Grazian, A., Grupp, F., Guzzo, L., Haugan, S. V. H., Holmes, W., Hook, I., Hormuth, F., Hornstrup, A., Jahnke, K., Keihänen, E., Kermiche, S., Kiessling, A., Kilbinger, M., Kitching, T., Kümmel, M., Kunz, M., Kurki-Suonio, H., Ligori, S., Lilje, P. B., Lindholm, V., Lloro, I., Maiorano, E., Mansutti, O., Marggraf, O., Markovic, K., Martinet, N., Marulli, F., Massey, R., Maurogordato, S., Medinaceli, E., Mei, S., Mellier, Y., Meneghetti, M., Merlin, E., Meylan, G., Moresco, M., Moscardini, L., Munari, E., Niemi, S. -M., Padilla, C., Paltani, S., Pasian, F., Pedersen, K., Percival, W. J., Pettorino, V., Polenta, G., Poncet, M., Raison, F., Rebolo, R., Renzi, A., Rhodes, J., Riccio, G., Romelli, E., Roncarelli, M., Rossetti, E., Saglia, R., Sapone, D., Sartoris, B., Schirmer, M., Schneider, P., Schrabback, T., Secroun, A., Seidel, G., Serrano, S., Sirignano, C., Sirri, G., Stanco, L., Surace, C., Tallada-Crespí, P., Taylor, A. N., Tereno, I., Toledo-Moreo, R., Torradeflot, F., Tutusaus, I., Valentijn, E. A., Valenziano, L., Vassallo, T., Wang, Y., Zoubian, J., Zucca, E., Biviano, A., Bozzo, E., Colodro-Conde, C., Di Ferdinando, D., Fabbian, G., Graciá-Carpio, J., Marcin, S., Mauri, N., Sakr, Z., Scottez, V., Tenti, M., Akrami, Y., Baccigalupi, C., Ballardini, M., Bethermin, M., Blanchard, A., Borgani, S., Borla, A. S., Bruton, S., Burigana, C., Cabanac, R., Calabro, A., Cappi, A., Carvalho, C. S., Castignani, G., Castro, T., Chambers, K. C., Coupon, A. R. Cooray J., Cucciati, O., Davini, S., De Lucia, G., Desprez, G., Díaz-Sánchez, A., Di Domizio, S., Dole, H., Vigo, J. A. Escartin, Escoffier, S., Ferrero, I., Finelli, F., Ganga, K., García-Bellido, J., Giacomini, F., Gozaliasl, G., Gregorio, A., Hildebrandt, H., Muñoz, A. Jiminez, Kajava, J. J. E., Kansal, V., Karagiannis, D., Kirkpatrick, C. C., Legrand, L., Loureiro, A., Macias-Perez, J., Maggio, G., Magliocchetti, M., Mainetti, G., Maoli, R., Martinelli, M., Martins, C. J. A. P., Matthew, S., Maurin, L., Metcalf, R. B., Migliaccio, M., Monaco, P., Morgante, G., Nadathur, S., Patrizii, L., Popa, V., Porciani, C., Potter, D., Pöntinen, M., Rocci, P. -F., Sánchez, A. G., Schneider, A., Sereno, M., Simon, P., Stadel, J., Stanford, S. A., Steinwagner, J., Testera, G., Tewes, M., Teyssier, R., Toft, S., Tosi, S., Troja, A., Tucci, M., Valiviita, J., Viel, M., Zinchenko, I. A.

Euclid will cover over 14000 $deg^{2}$ with two optical and near-infrared spectro-photometric instruments, and is expected to detect around ten million active galactic nuclei (AGN). This unique data set will make a considerable impact on our understa

Externí odkaz: http://arxiv.org/abs/2409.00175

Eagle: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders

Autor: Shi, Min, Liu, Fuxiao, Wang, Shihao, Liao, Shijia, Radhakrishnan, Subhashree, Huang, De-An, Yin, Hongxu, Sapra, Karan, Yacoob, Yaser, Shi, Humphrey, Catanzaro, Bryan, Tao, Andrew, Kautz, Jan, Yu, Zhiding, Liu, Guilin

The ability to accurately interpret complex visual information is a crucial topic of multimodal large language models (MLLMs). Recent work indicates that enhanced visual perception significantly reduces hallucinations and improves performance on reso

Externí odkaz: http://arxiv.org/abs/2408.15998

Euclid preparation. LI. Forecasting the recovery of galaxy physical properties and their relations with template-fitting and machine-learning methods

Autor: Euclid Collaboration, Enia, A., Bolzonella, M., Pozzetti, L., Humphrey, A., Cunha, P. A. C., Hartley, W. G., Dubath, F., Paltani, S., Lopez, X. Lopez, Quai, S., Bardelli, S., Bisigello, L., Cavuoti, S., De Lucia, G., Ginolfi, M., Grazian, A., Siudek, M., Tortora, C., Zamorani, G., Aghanim, N., Altieri, B., Amara, A., Andreon, S., Auricchio, N., Baccigalupi, C., Baldi, M., Bender, R., Bodendorf, C., Bonino, D., Branchini, E., Brescia, M., Brinchmann, J., Camera, S., Capobianco, V., Carbone, C., Carretero, J., Casas, S., Castander, F. J., Castellano, M., Castignani, G., Cimatti, A., Colodro-Conde, C., Congedo, G., Conselice, C. J., Conversi, L., Copin, Y., Corcione, L., Courbin, F., Courtois, H. M., Da Silva, A., Degaudenzi, H., Di Giorgio, A. M., Dinis, J., Dupac, X., Dusini, S., Fabricius, M., Farina, M., Farrens, S., Ferriol, S., Fosalba, P., Fotopoulou, S., Frailis, M., Franceschi, E., Fumana, M., Galeotta, S., Gillis, B., Giocoli, C., Grupp, F., Haugan, S. V. H., Holmes, W., Hook, I., Hormuth, F., Hornstrup, A., Jahnke, K., Joachimi, B., Keihänen, E., Kermiche, S., Kiessling, A., Kubik, B., Kümmel, M., Kunz, M., Kurki-Suonio, H., Ligori, S., Lilje, P. B., Lindholm, V., Lloro, I., Maiorano, E., Mansutti, O., Marggraf, O., Markovic, K., Martinelli, M., Martinet, N., Marulli, F., Massey, R., McCracken, H. J., Medinaceli, E., Mei, S., Melchior, M., Mellier, Y., Meneghetti, M., Merlin, E., Meylan, G., Moresco, M., Moscardini, L., Munari, E., Neissner, C., Niemi, S. -M., Nightingale, J. W., Padilla, C., Pasian, F., Pedersen, K., Pettorino, V., Polenta, G., Poncet, M., Popa, L. A., Raison, F., Rebolo, R., Renzi, A., Rhodes, J., Riccio, G., Romelli, E., Roncarelli, M., Rossetti, E., Saglia, R., Sakr, Z., Sapone, D., Schneider, P., Schrabback, T., Scodeggio, M., Secroun, A., Sefusatti, E., Seidel, G., Serrano, S., Sirignano, C., Sirri, G., Stanco, L., Steinwagner, J., Surace, C., Tallada-Crespí, P., Tavagnacco, D., Taylor, A. N., Teplitz, H. I., Tereno, I., Toledo-Moreo, R., Torradeflot, F., Tutusaus, I., Valenziano, L., Vassallo, T., Kleijn, G. Verdoes, Veropalumbo, A., Wang, Y., Weller, J., Zucca, E., Biviano, A., Boucaud, A., Burigana, C., Calabrese, M., Vigo, J. A. Escartin, Gracia-Carpio, J., Mauri, N., Pezzotta, A., Pöntinen, M., Porciani, C., Scottez, V., Tenti, M., Viel, M., Wiesmann, M., Akrami, Y., Allevato, V., Anselmi, S., Ballardini, M., Bergamini, P., Bethermin, M., Blanchard, A., Blot, L., Borgani, S., Bruton, S., Cabanac, R., Calabro, A., Canas-Herrera, G., Cappi, A., Carvalho, C. S., Castro, T., Chambers, K. C., Contarini, S., Contini, T., Cooray, A. R., Cucciati, O., Davini, S., De Caro, B., Desprez, G., Díaz-Sánchez, A., Di Domizio, S., Dole, H., Escoffier, S., Ferrari, A. G., Ferreira, P. G., Ferrero, I., Finoguenov, A., Fornari, F., Gabarra, L., Ganga, K., García-Bellido, J., Gautard, V., Gaztanaga, E., Giacomini, F., Gianotti, F., Gozaliasl, G., Hall, A., Hemmati, S., Hildebrandt, H., Hjorth, J., Muñoz, A. Jimenez, Joudaki, S., Kajava, J. J. E., Kansal, V., Karagiannis, D., Kirkpatrick, C. C., Graet, J. Le, Legrand, L., Loureiro, A., Macias-Perez, J., Maggio, G., Magliocchetti, M., Mancini, C., Mannucci, F., Maoli, R., Martins, C. J. A. P., Matthew, S., Maurin, L., Metcalf, R. B., Monaco, P., Moretti, C., Morgante, G., Walton, Nicholas A., Patrizii, L., Popa, V., Potter, D., Risso, I., Rocci, P. -F., Sahlén, M., Schneider, A., Schultheis, M., Sereno, M., Simon, P., Mancini, A. Spurio, Stanford, S. A., Tanidis, K., Tao, C., Testera, G., Teyssier, R., Toft, S., Tosi, S., Troja, A., Tucci, M., Valieri, C., Valiviita, J., Vergani, D., Verza, G., Zinchenko, I. A., Rodighiero, G., Talia, M.

Publikováno v: A&A 691, A175 (2024)

Euclid will collect an enormous amount of data during the mission's lifetime, observing billions of galaxies in the extragalactic sky. Along with traditional template-fitting methods, numerous machine learning algorithms have been presented for compu

Externí odkaz: http://arxiv.org/abs/2407.07940

Zero-Painter: Training-Free Layout Control for Text-to-Image Synthesis

Autor: Ohanyan, Marianna, Manukyan, Hayk, Wang, Zhangyang, Navasardyan, Shant, Shi, Humphrey

We present Zero-Painter, a novel training-free framework for layout-conditional text-to-image synthesis that facilitates the creation of detailed and controlled imagery from textual prompts. Our method utilizes object masks and individual description

Externí odkaz: http://arxiv.org/abs/2406.04032