Nuevos sensores y aplicaciones de visión artificial impulsan avances en óptica

Apr 27, 2023

Fuente de todas las imágenes: A3

Antes de que cualquier cámara pueda capturar una imagen de un objeto, la lente debe recolectar la luz dispersa del objeto y distribuirla adecuadamente sobre el área activa del sensor. Esa es una de las razones por las que los sensores de cámara y las nuevas aplicaciones de visión artificial tienden a impulsar avances paralelos en la óptica, y los proveedores de óptica deben evolucionar continuamente a medida que avanzan las tecnologías de visión artificial.

"Constantemente vemos que las aplicaciones de visión artificial van a resoluciones más altas", dice Nick Sischka, recientemente ascendido a director de desarrollo de productos de imágenes en Edmund Optics. "Hemos dejado de notar que los píxeles se vuelven significativamente más pequeños y, en cambio, vemos que los tamaños de los sensores crecen".

A medida que empresas como Gpixel y Sony continúan lanzando sensores cada vez más grandes (por ejemplo, 152 MP), el desafío para los proveedores de productos ópticos es mantener el ritmo. Estos lentes serán bastante grandes, más grandes que los lentes de fotograma completo que se usan normalmente en fotografía, y hasta que se desarrollen otros nuevos, un lente fotográfico de formato medio puede ser la mejor opción.

"Se deben desarrollar lentes para los sensores diagonales muy grandes de 60,6 mm que ofrecen más de 150 MP", dice Mark Peterson, cofundador y vicepresidente de tecnología avanzada de Theia Technologies. "Desafortunadamente, el costo de desarrollo, el gran tamaño de la lente y el bajo volumen inicial mantendrán estas lentes a un precio superior".

Jason Baechler, presidente de MORITEX North America Inc., está de acuerdo. "Al diseñar ópticas para sensores cada vez más grandes, existen varios desafíos, especialmente si los tamaños/pasos de píxeles son bastante pequeños", dice. "Los dos desafíos principales son controlar el tamaño y el costo de las lentes/ópticas para alinearlas con las cámaras que usan sensores nuevos. Más allá del desafío de abordar todos los sensores de cámara, esos dos factores aumentan la necesidad de hacer concesiones en la óptica y diseños mecánicos".

Para lentes bi-telecéntricas, MORITEX diseña las lentes frontales/objetivas para que coincidan con el campo de visión máximo con una resolución específica. Esa parte frontal de la lente puede ser adecuada para una amplia gama de formatos de sensores de imagen, lo que minimiza la variación de componentes dentro de su cartera y optimiza el costo de los componentes de lentes telecéntricos más caros. Sin embargo, la parte posterior de la lente (lado de la imagen) varía según el formato de la imagen y el resultado es que la longitud no siempre está optimizada.

Por ese motivo, señala Baechler, "todavía ofrecemos lentes telecéntricos del lado del objeto de diferentes formatos para aplicaciones que tienen requisitos de espacio más reducidos". Sin embargo, esos lentes (MORITEX MML) solo se pueden usar con un formato de sensor específico o más pequeño, suponiendo que el tamaño de la montura sea el mismo. Para la automatización de fábricas y otras lentes de distancia focal fija no telecéntricas (donde una lente de objetivo grande o de alta potencia no impulsa el costo), las ventajas y desventajas aumentan con la versatilidad y la competitividad de costos de los productos.

Al minimizar la cantidad de elementos en una lente y simplificar los sistemas opto-mecánicos para la distancia de trabajo (WD), la apertura y el ajuste del enfoque, se puede diseñar una lente para un rango de distancia de trabajo y/o tamaño de apertura limitados. Otra forma de abordar esto es diseñar productos que cubran una variedad de formatos de sensor y ofrecer adaptadores de montura para que coincidan con diferentes cámaras.

"Este enfoque tiene la ventaja de una resolución mejorada ya que el formato de imagen del sensor se vuelve más pequeño en comparación con el formato de imagen máximo de la lente", explica Baechler. "Como resultado, una lente diseñada para una imagen de 62 mm en diagonal (o línea) y píxeles de 5 µm podría coincidir con un sensor con píxeles de 3 µm y una diagonal de 43,5 mm".

En respuesta al lanzamiento cada vez mayor de sensores más grandes, Navitar Inc. también ha desarrollado ópticas optimizadas para su uso con los formatos de cámara más grandes. Un nuevo producto es adecuado para aplicaciones industriales de gama alta, como inspección de obleas de semiconductores, inspección de FPD y MEMS, así como aplicaciones biomédicas y de ciencias de la vida, como experimentos de pozos múltiples e imágenes de células.

Jeremy Goldstein, propietario y director ejecutivo de Navitar, señala que las nuevas ópticas para aprovechar las cámaras de formato más grande "permiten a Navitar proporcionar a sus clientes campos de visión más amplios para que el cliente pueda ver más objetos a la vez. Esto aumenta el procesamiento el rendimiento y la velocidad de recopilación de datos, que es extremadamente importante para todas las industrias, tanto industriales como médicas".

Especialmente en la investigación biológica y los instrumentos, capturar un área de superficie más grande de una muestra reduce la cantidad de tiempo para recopilar datos significativos y la posibilidad de fotoblanqueo de células marcadas. El tiempo que antes se dedicaba a mover la óptica, la platina o esperar a que el software uniera varias imágenes se reduce considerablemente cuando se utiliza el sistema, según Goldstein.

Los informes de la industria esperan que las imágenes no visibles, que incluyen ultravioleta, infrarrojos de onda corta, IR e hiperespectrales y multiespectrales, crezcan más del 30 por ciento en los próximos cinco años. A medida que las opciones de sensor/cámara se expandieron rápidamente en los últimos años, los costos se redujeron, lo que provocó una explosión de nuevas aplicaciones, lo que, a su vez, aumentó la demanda de una variedad de lentes necesarios para abordar estas nuevas aplicaciones.

Peterson señala que Theia ha desarrollado lentes solo SWIR en el pasado antes de que los nuevos sensores hiperespectrales estuvieran disponibles. "Ahora estamos evaluando nuevos tipos de lentes que pueden funcionar con los sensores vis-SWIR avanzados que responden a longitudes de onda de 400 nm a 1700 nm, para proporcionar una imagen ultra ancha y eliminar la distorsión de barril sin software".

Agrega: "La 'aplicación asesina' para esta banda de longitud de onda vis-SWIR aún no se ha identificado, pero el costo decreciente de los sensores hiperespectrales requerirá la disponibilidad de lentes que complementen la banda ancha de longitud de onda".

En imágenes hiperespectrales, Sony ha introducido sensores de imágenes de banda ancha, pero hasta que haya una capa hiperespectral real sobre ellos, la mayoría de las aplicaciones usarán una banda de longitud de onda estrecha a través de ese sensor, como SWIR, según Sischka.

"A menudo tiene más sentido tener una solución multicámara con diferentes sensores que se centren en diferentes bandas de onda en lugar de tener una cámara muy costosa que pueda generar imágenes en todo el amplio espectro", dice Sischka. "Una excepción a esto sería una aplicación en la que minimizar el peso es una prioridad, como las imágenes aéreas de un dron".

Otros avances en la óptica que son significativos para el mercado de la visión artificial incluyen lentes zoom, nuevos materiales ópticos y métodos de fabricación mejorados. Por ejemplo, los lentes de zoom, que antes se consideraban indeseables debido a las preocupaciones sobre los efectos de vibración en la mecánica motorizada, se están adoptando en mayor número, según Peterson.

El aumento de la adopción está impulsado por aplicaciones en las que el sujeto no es solo un producto de forma uniforme en una línea de montaje, sino un objeto a una distancia desconocida y variable. Un ejemplo son las aplicaciones móviles, donde el objeto o la cámara o ambos pueden estar en movimiento. Mientras tanto, los robots fijos y los robots autónomos itinerantes requieren la flexibilidad de una lente de zoom para navegar e identificar objetos en un entorno dinámico.

Peterson también dice que las lentes motorizadas con zoom y enfoque ajustables brindan una mayor versatilidad y conveniencia, lo que permite el ajuste a las condiciones cambiantes, la configuración remota y la operación. Combinado con alta resolución y corrección NIR, así como inteligencia artificial y aprendizaje automático, este tipo de lente puede ser una herramienta poderosa para permitir tareas de identificación y reconocimiento de mayor nivel, como la detección de defectos, el reconocimiento óptico de caracteres (OCR) y el reconocimiento automático de matrículas. .

Una de esas aplicaciones son los sistemas de tráfico inteligente (ITS), donde la flexibilidad para optimizar el campo de visión y la distancia de enfoque después de la instalación inicial y sin la necesidad de detener el tráfico está habilitada por el zoom y el enfoque motorizados. La optimización de imágenes es fundamental para obtener el mejor rendimiento para identificar objetivos mediante OCR, IA y aprendizaje automático.

"Hay un malentendido común de que un sistema de imágenes solo es útil si tiene un límite de píxeles y funciona en la frecuencia de Nyquist", dice Sischka. "Los lentes de imágenes en realidad pueden ser muy útiles más allá de la frecuencia de Nyquist, lo que significa que el tamaño de píxel es más pequeño que el tamaño del punto enfocado de la lente. Por ejemplo, esparcir varios píxeles en una característica es útil para las soluciones de tráfico inteligente porque les permite notar pequeños diferencias entre objetos que parecen relativamente similares entre sí".

Como se mencionó anteriormente, la incorporación de metamateriales será muy emocionante, pero aún no ha llegado, dice Sischka. La ciencia de los materiales será clave para realizar más desarrollos en el servicio de sensores más grandes y rangos de longitud de onda más amplios. Las imágenes computacionales y la capacidad de usar elementos de difracción también han dado lugar a avances recientes.

Baechler está de acuerdo. "Las opciones de materiales han ayudado a mantener bajos los costos mientras aumenta el rendimiento de las lentes diseñadas para sensores IR-SWIR", dice. "Los lentes líquidos permiten soluciones novedosas y también una mayor versatilidad de los diseños ópticos básicos existentes".

Cuando Samsung, un especialista en la fabricación de pantallas LCD, estaba cambiando su enfoque de la fabricación de paneles LCD a la fabricación de paneles QD-OLED (diodo emisor de luz orgánico de visualización de puntos cuánticos), la empresa necesitaba nuevas máquinas de inspección óptica automatizada (AOI) para realizar la inspección. La solución AOI requería un sistema de microscopio modular para realizar la inspección. Samsung evaluó varias lentes de objetivo de diferentes fabricantes, pero eligió el objetivo Navitar 4X HR porque no solo brindaba un campo de visión más grande en comparación con un objetivo 5X de la competencia, sino que también ofrecía una NA más alta.

Goldstein también ve la expansión continua del uso de "técnicas de ensamblaje avanzadas que aseguran el centrado de cada elemento óptico del ensamblaje de la lente en lugar de depender simplemente de dejar caer los elementos de la lente en barriles", y agrega que Navitar está a la vanguardia de esta tecnología. "Al combinar las técnicas de ensamblaje avanzadas con el uso ampliado de equipos de integración de sensor de lente automatizados, mejoramos el rendimiento de la lente y mejoramos en gran medida el rendimiento de imagen del sistema óptico".

A medida que los fabricantes de lentes intentan seguir el ritmo con el lanzamiento de nuevos sensores de cámara y la expansión de aplicaciones de visión artificial donde las soluciones avanzadas ahora son factibles, surgen continuamente nuevas oportunidades, incluso en el campo de la robótica y las máquinas autónomas. Los aumentos en el rango dinámico permiten que los vehículos autónomos sean mucho más robustos y los robots ahora pueden realizar múltiples tareas. En las aplicaciones minoristas, pueden reconocer simultáneamente las interrupciones del producto, los riesgos de seguridad y las discrepancias en las etiquetas. Como la mayoría de los robots, automatizan tareas tediosas y repetitivas, liberando talento humano para tareas de mayor valor que requieren más matices y discreción.

Además de las nuevas aplicaciones, las aplicaciones existentes también se benefician del mayor rendimiento logrado por la óptica de formato más grande que aprovecha los sensores de formato más grande. Proporcionar más datos para mejorar la calidad de la imagen y la velocidad de procesamiento de la imagen debería mejorar la eficiencia y el rendimiento de la IA, lo que permitiría mayores avances en la automatización. Los datos y metadatos precisos sobre la óptica y los sensores son fundamentales para habilitar conceptos como el gemelo digital y la Industria 4.0.

John Lewis es gerente de desarrollo de mercado de Cognex Corp. (Natick, MA). Para obtener más información, llame al (508) 650-3000 o visite www.cognex.com.