Thuật toán xử lý hình ảnh và tìm đường đi trên xe BOSS

1. Liên kết những chướng ngại vật chuyển động

Những chướng ngại vật chuyển động được theo dõi bằng nhiều radar và LIDAR. Mỗi một cảm biến có đặc điểm cảm nhận khác nhau. Một số các cảm biến tạo ra dữ liệu thô trong khi những cảm biến khác thực hiện công việc riêng biệt như là: mô hình hóa, dự báo, và theo dõi. Mục đích chính của việc liên kết các cảm biến là cung cấp công cụ để liên kết các cảm biến khác nhau và theo dõi phương thức trong một thể thống nhất của các đối tượng được theo dõi.

Cấu trúc liên kết chướng ngại vật di chuyển bao gồm 3 phần riêng biệt: cảm nhận, liên kết, dự đoán vị trí. Cấp độ cảm nhận duy trì danh sách các cảm biến riêng biệt, dữ kiện của chúng sẽ được liên kết vào một danh sách thống nhất của đối tượng theo dõi. Dữ liệu của mỗi cảm biến được xử lý độc lập, bất kể chúng cùng loại hay khác loại. Vì vậy thuật toán liên kết chiệu trách nhiệm xử lý dữ liệu từ nhiều nguồn vào khác nhau. Mỗi phép đo được liên kết với đối tượng theo dõi hiện tại. Từ lúc ban đầu có thể mơ hồ, chẳng hạn như trong trường hợp LIDAR phát hiện một vật nhỏ bên cạch chiếc xe, thường có nhiều cách đo lường có thể được liên kết. Mỗi dữ liệu có thể được phân tích và chất lượng đo được tạo ra bằng việc kết hợp toàn bộ những dữ liệu tốt nhất của tất cả phép đo thì được chọn. Phép đo không phù hợp với đối tượng hiện tại sẽ đề nghị tạo ra một đối tượng mới. Cấp độ cảm biến còn chiệu trách nhiệm cho việc phân loại ban đầu của đối tượng cái mà phụ thuộc vào đặc điểm của cảm biến. Ví dụ, radar không có khả năng nhận biết hình dạng của đối tượng, trái lại LIDAR có thể phát hiện bất cứ đối tượng nào có hình dạng giống như chiếc xe.

Hình 1. Cấu trúc liên kết chướng ngại vật di động hổ trợ nhiều cảm biến.

Cấp độ liên kết thực hiện liên kết (và không liên kết) danh sách những phép đo của mỗi cảm biến và áp dụng toàn bộ danh sách của những đối tượng theo dõi. Cấp độ liên kết phân tích đưa ra những loại đối tượng và quyết định thay đổi một loại đối tượng rõ ràng hơn, như là một chiếc xe, thay thế loại đối tượng ít rõ ràng hơn, thì được cho phép trên cơ sở những thông tin có sẵn.

Cấp độ cao nhất của cấu trúc là dự đoán vị trí. Cấp độ này cố gắng đánh giá hoạt động của đối tượng được theo dõi bởi sự tổng hợp những chỉ số đánh giá với sự hiểu biết về các mô hình đường xung quanh xe. Bộ phận lập kế hoạch và xử lý của xe Tartan Racing cung cấp chính xác việc dự đoán vị trí của những chiếc xe khác trước 10 giây. Mô hình đối tượng điều khiển riêng biệt được tạo ra và được cập nhật độc lập vì vậy không đủ để xử lý các dự báo dài hạn, riêng biệt trong trường hợp tương tác tiềm ẩn giữa những chiếc xe ở những nút giao thông và ở nơi đậu xe. Mô hình dự đoán vị trí phụ thuộc nhiều vào khu vực được theo dõi. Ví dụ, ở những nút giao thông sẽ yêu cầu cấp độ cao hơn so với ở những nơi đậu xe. Bộ phận kết hợp chướng ngại vật chuyển động đã được thử nghiệm trong nhiều tình huống khác nhau (nhưng không giới hạn) theo dõi những chiếc xe: trong cùng một làn đường, trong làn đường đối diện, thực hiện 3 điểm quay đầu ở giữa đường ( xem hình 3.6), điều khiển xe trong nhiều địa hình không bằng phẳng và đi qua vòng cua giao thông. Phần kiểm tra này đã được thực hiện trong nhiều trường hợp nơi mà bộ phận kết hợp chướng ngại vật chuyển động có những lỗi bao gồm đối tượng theo dõi không thích hợp hoặc khởi tạo đối tượng sai lầm. Một trong những vấn đề do sự thay đổi của chiếc xe theo trục x,y,z; làm cho những cảm biến có thể mất dấu đối tượng theo dõi trong quá trình phanh gấp hay tăng tốc đột ngột. Vấn đề này sẽ được giải quyết thông qua quá trình lọc dựa trên tình trạng quán tính của chiếc xe. Thách thức thứ 2 là phân loại đúng đối tượng. Mô hình liên kết cảm biến hiện tại nhận tất cả phản hồi từ những đối tượng trên đường như là những chiếc xe. Vấn đề này đôi khi tạo ra tình trạng nhận biết “sai” cho chiếc xe. Bộ phận liên kết sẽ mở rộng việc dự đoán kích thước của đối tượng để giải quyết vấn đề này. Thêm vào đó, bộ phận liên kết sẽ chỉ lưu ý đối tượng như là một điểm cho đến khi nó được quan sát là di chuyển. Vào thời điểm đó, đối tượng sẽ được nâng cấp như một chiếc xe và được quan sát như là những chướng ngại vật chuyển động thích hợp với cuộc thi thách thức đô thị.

2. Theo dõi chướng ngại vật di chuyển

Hình 2. Bộ phận kết hợp chướng ngại vật chuyển động theo dõi chiếc xe thực hiện việc quay đầu (a)-(c). chiếc xe được theo dõi được biểu bằng hình chữ nhật màu xanh.

Mô hình rút gọn của cấu trúc liên kết chướng ngại vật được đơn giản thành mô hình xe được sử dụng để tượng trưng cho việc di chuyển của nhiều chiếc xe.

Bộ ước lượng tình trạng bộ lọc mở rộng Kalman (EKF) (Bar-Shalom 2001) được sử dụng để dự đoán và cập nhật tình trạng và những phép đo không chắc chắn của từng đối tượng được theo dõi. Cách tiếp cận của Tartan là sử dụng một chương trình hiệp biến căn bậc hai có số lượng ổn định nhiều hơn so với một công thức EKF truyền thống do việc sử dụng cái gọi là UdU của ma trận hiệp phương sai (Bierman1977). Loại truyền thống được sử dụng bởi cấu trúc gần đúng là gia tốc không đổi và hệ số trược ngang không đổi. Một cảm biến riêng biệt sử dụng một thuật toán riêng biệt để tạo ra đối tượng quan sát từ những dữ liệu ban đầu.

3. Phát hiện chướng ngại vật cố định

Thuật toán phát hiện chướng ngại vật tĩnh sử dụng cảm biến laser có hướng nhìn xuống được gắng trên mui sẽ xe tự động đánh giá địa hình xung quanh xe. Thuật toán tính toán bản đồ trở ngại biểu thị cho nơi có thể vượt qua của địa hình. Cốt lõi của thuật toán là dựa vào sự so sánh các cặp điểm laser. So sánh này tính toán trở ngại dựa trên sự khác nhau về độ cao giữa 2 điểm và góc giữa vector nối chúng, liên quan đến mặt đất. Mỗi điểm laser đến được so sánh với tất cả những điểm bên cạnh nó và trở ngại lớn nhất thì được ghi nhận như là trở ngại của điểm đó. Trở ngại lớn nhất trong khối đó thì được duy trì và thay thế trong bản đồ trở ngại.

Để đảm bảo rằng những chướng ngại vật ở độ cao nào đó thì có thể quan sát được, hệ thống duy trì lịch sử của những điểm có khoảng cách cố định được di chuyển bởi chiếc xe, đảm bảo rằng laser có hướng nhìn xuống còn có thể quét vị trí thẳng đứng không đổi cho mỗi vị trí phẳng. Để ngăn chặng sự vượt quá những điểm ghi vào bộ nhớ, máy quét laser bỏ qua với sự gia tăng tần số đến khi nào tốc độ xe giảm. Bản đồ trở ngại được cập nhật chỉ trong những khu vực nơi mà những điểm mới được đưa vào như là những trở ngại sẽ chỉ thay đổi trong những khu vực đó. Để những trở ngại của địa hình không bị lãng quên nếu những điểm laser mới được thêm vào khi mà tất cả những điểm bên cạnh nó đã được bỏ qua, khó khăn lớn nhất của khối này là việc duy trì nhiều hơn nữa những điểm riêng biệt. Khi chướng ngại vật di chuyển được phát hiện trên bản đồ trở ngại và được làm rõ là những chướng ngại vật trong khu vực đó.

Thuật toán phát hiện chướng ngại vật tĩnh kết hợp với tiêu chuẩn cảm biến hiện nay đã được chứng minh cho việc dẫn hướng tránh các chướng ngại vật là những bức tường và lái ít bị lỗi nhất. Hình 3 cho thấy bức ảnh với những hình ảnh với tòa nhà, hàng rào, và những đối tượng khác với hình ảnh giải thích thuật toán.

Hình 3. Mô tả việc tạo ra bản đồ chướng ngại vật tĩnh và hạn chế của nó

Trong sự phối hợp màu, màu xanh là địa hình an toàn, màu vàng địa hình không mong muốn, màu đỏ là nơi nguy hiểm. Bức tường của tòa nhà và bức tường (phía ngoài bên phải của bức tranh) được nhìn thấy rõ ràng trong bản đồ trở ngại với đường màu đỏ đậm nét. Thêm vào đó, những cái cây, thùng, khối còn xuất hiện như là chướng ngại vật nguy hiểm.

Hình ở trên được chọn để minh họa cho một vài thiếu sót trong thuật toán, đặc biệt là sự yếu kém của nó khi đối mặt với chuẩn không rõ ràng. Bề dày cơ sở của bức tường trong bản đồ trở ngại và các điểm ảnh màu vàng (không mong muốn) giữa tòa nhà và hàng rào nơi con đường vẫn còn tương đối bằng phẳng do việc chuyển đổi dữ liệu laser không đúng cách ở nhiều nơi. Thuật toán cũng xem những tán cây như những chướng ngại vật, chú ý khu vực nguy hiểm bởi đoạn đường dốc có cỏ trên mặt đất, những nét làm nguy hiểm bởi những chuẩn không rõ ràng.

Sự chính xác của vị trí chướng ngại vật thì hiển nhiên phụ thuộc vào sự chính xác của cảm biến và sự giải quyết của bản đồ trở ngại. Ngày nay thuật toán đúng vị trí chỉ lệch 25cm so với vị trí của chúng. Trong hầu hết các trường hợp nó đủ để dẫn hướng đi qua chướng ngại vật.

4. Ước tính hình dạng đường

Lái xe trong đô thị được phân biệt với lái xe địa hình (off-road) bằng việc phải có sự hiểu biết và tuân thủ giới hạn làn đường. Trong bối cảnh của cuộc thi thách thức đô thị, mô hình đầu tiên cho hình dáng đường đua được cung cấp cho nhiều môi trường bởi tập tin mô tả mạng lưới đường đua và hình ảnh chụp từ trên không. Tuy nhiên do sự lỗi thời của hình ảnh chụp từ trên không và sự không chính xác tuyệt đối của GPS, làn đường không thể được xác định chính xác mà không có sự quan sát từ những cảm biến như lidar, radar và cảm biến tầm nhìn. Một phương pháp tiếp cận mới là dựa trên sự kết hợp thông tin mạng lưới đường đua với hình ảnh chụp từ trên không để cải thiện dự đoán về hình dạng đường đua trước đó. Thuật toán lập kế hoạch xây dựng cách tiếp cận trực tiếp xử lý hình ảnh, nó cho phép lập kế hoạch trong không gian hình ảnh giữa điểm mốc và những nơi tách ra của đoạn đường. Thuật toán hiện tại kết hợp bộ lọc ảnh, phân loại mạng lưới, cũng như tính hiệu quả của thuật toán lập kế hoạch. Mục đích chính của phương pháp tiếp cận này là để cải thiện bất kỳ bộ phận nào giúp tăng khả năng tách xuất khỏi đường: bộ lọc tốt hơn làm cho sự nhận biết để dàng hơn, thuật toán được lập trình tốt hơn cải thiện hoạt động tổng thể và hiệu suất, lập kế hoạch tốt hơn sẽ đưa vào tính toán loại thao tác xe thực hiện trên đường thực. Hình 3.8 cho thấy một số con đường ví dụ, và mô hình đường tách ra.

Hình 4. Minh họa thuật toán hình dạng đường, (a) là hình ảnh của mạng lưới đường, (b) cho thấy những trở ngại và (c) cho thấy sự tách ra mạng lưới đường.