src/framework/mlt_frame.c
[melted] / src / framework / mlt_frame.c
index 5a86627..1e080fa 100644 (file)
@@ -92,12 +92,12 @@ int mlt_frame_is_test_card( mlt_frame this )
        return mlt_deque_count( this->stack_image ) == 0 || mlt_properties_get_int( MLT_FRAME_PROPERTIES( this ), "test_image" );
 }
 
-/** Check if we have a way to derive something than test audio.
+/** Check if we have a way to derive something other than test audio.
 */
 
 int mlt_frame_is_test_audio( mlt_frame this )
 {
-       return this->get_audio == NULL || mlt_properties_get_int( MLT_FRAME_PROPERTIES( this ), "test_audio" );
+       return mlt_deque_count( this->stack_audio ) == 0 || mlt_properties_get_int( MLT_FRAME_PROPERTIES( this ), "test_audio" );
 }
 
 /** Get the aspect ratio of the frame.
@@ -181,6 +181,22 @@ void *mlt_frame_pop_service( mlt_frame this )
        return mlt_deque_pop_back( this->stack_image );
 }
 
+/** Push a service.
+*/
+
+int mlt_frame_push_service_int( mlt_frame this, int that )
+{
+       return mlt_deque_push_back_int( this->stack_image, that );
+}
+
+/** Pop a service.
+*/
+
+int mlt_frame_pop_service_int( mlt_frame this )
+{
+       return mlt_deque_pop_back_int( this->stack_image );
+}
+
 /** Push an audio item on the stack.
 */
 
@@ -205,25 +221,61 @@ mlt_deque mlt_frame_service_stack( mlt_frame this )
        return this->stack_service;
 }
 
+/** Replace image stack with the information provided.
+
+       This might prove to be unreliable and restrictive - the idea is that a transition
+       which normally uses two images may decide to only use the b frame (ie: in the case
+       of a composite where the b frame completely obscures the a frame).
+
+       The image must be writable and the destructor for the image itself must be taken
+       care of on another frame and that frame cannot have a replace applied to it... 
+       Further it assumes that no alpha mask is in use.
+
+       For these reasons, it can only be used in a specific situation - when you have 
+       multiple tracks each with their own transition and these transitions are applied
+       in a strictly reversed order (ie: highest numbered [lowest track] is processed 
+       first).
+
+       More reliable approach - the cases should be detected during the process phase
+       and the upper tracks should simply not be invited to stack...
+*/
+
+void mlt_frame_replace_image( mlt_frame this, uint8_t *image, mlt_image_format format, int width, int height )
+{
+       // Remove all items from the stack
+       while( mlt_deque_pop_back( this->stack_image ) ) ;
+
+       // Update the information 
+       mlt_properties_set_data( MLT_FRAME_PROPERTIES( this ), "image", image, 0, NULL, NULL );
+       mlt_properties_set_int( MLT_FRAME_PROPERTIES( this ), "width", width );
+       mlt_properties_set_int( MLT_FRAME_PROPERTIES( this ), "height", height );
+       mlt_properties_set_int( MLT_FRAME_PROPERTIES( this ), "format", format );
+       this->get_alpha_mask = NULL;
+}
+
+/** Get the image associated to the frame.
+*/
+
 int mlt_frame_get_image( mlt_frame this, uint8_t **buffer, mlt_image_format *format, int *width, int *height, int writable )
 {
        mlt_properties properties = MLT_FRAME_PROPERTIES( this );
        mlt_get_image get_image = mlt_frame_pop_get_image( this );
        mlt_producer producer = mlt_properties_get_data( properties, "test_card_producer", NULL );
+       int error = 0;
 
-       *width = *width >> 1 << 1;
-       
        if ( get_image != NULL )
        {
-               int error = 0;
+               mlt_properties_set_int( properties, "image_count", mlt_properties_get_int( properties, "image_count" ) - 1 );
                mlt_position position = mlt_frame_get_position( this );
                error = get_image( this, buffer, format, width, height, writable );
+               mlt_properties_set_int( properties, "width", *width );
+               mlt_properties_set_int( properties, "height", *height );
+               mlt_properties_set_int( properties, "format", *format );
                mlt_frame_set_position( this, position );
-               return error;
        }
        else if ( mlt_properties_get_data( properties, "image", NULL ) != NULL )
        {
-               *format = mlt_image_yuv422;
+               *format = mlt_properties_get_int( properties, "format" );
                *buffer = mlt_properties_get_data( properties, "image", NULL );
                *width = mlt_properties_get_int( properties, "width" );
                *height = mlt_properties_get_int( properties, "height" );
@@ -242,6 +294,7 @@ int mlt_frame_get_image( mlt_frame this, uint8_t **buffer, mlt_image_format *for
                        mlt_properties_set_data( properties, "image", *buffer, *width * *height * 2, NULL, NULL );
                        mlt_properties_set_int( properties, "width", *width );
                        mlt_properties_set_int( properties, "height", *height );
+                       mlt_properties_set_int( properties, "format", *format );
                        mlt_properties_set_double( properties, "aspect_ratio", mlt_frame_get_aspect_ratio( test_frame ) );
                }
                else
@@ -260,9 +313,10 @@ int mlt_frame_get_image( mlt_frame this, uint8_t **buffer, mlt_image_format *for
                *height = *height == 0 ? 576 : *height;
                size = *width * *height;
 
+               mlt_properties_set_int( properties, "format", *format );
                mlt_properties_set_int( properties, "width", *width );
                mlt_properties_set_int( properties, "height", *height );
-               mlt_properties_set_int( properties, "aspect_ratio", 1 );
+               mlt_properties_set_int( properties, "aspect_ratio", 0 );
 
                switch( *format )
                {
@@ -278,6 +332,7 @@ int mlt_frame_get_image( mlt_frame this, uint8_t **buffer, mlt_image_format *for
                                        memset( *buffer, 255, size );
                                break;
                        case mlt_image_rgb24a:
+                       case mlt_image_opengl:
                                size *= 4;
                                size += *width * 4;
                                *buffer = mlt_pool_alloc( size );
@@ -308,25 +363,42 @@ int mlt_frame_get_image( mlt_frame this, uint8_t **buffer, mlt_image_format *for
                mlt_properties_set_int( properties, "test_image", 1 );
        }
 
-       return 0;
+       mlt_properties_set_int( properties, "scaled_width", *width );
+       mlt_properties_set_int( properties, "scaled_height", *height );
+
+       return error;
 }
 
 uint8_t *mlt_frame_get_alpha_mask( mlt_frame this )
 {
-       if ( this != NULL && this->get_alpha_mask != NULL )
-               return this->get_alpha_mask( this );
-       return this == NULL ? NULL : mlt_properties_get_data( &this->parent, "alpha", NULL );
+       uint8_t *alpha = NULL;
+       if ( this != NULL )
+       {
+               if ( this->get_alpha_mask != NULL )
+                       alpha = this->get_alpha_mask( this );
+               if ( alpha == NULL )
+                       alpha = mlt_properties_get_data( &this->parent, "alpha", NULL );
+               if ( alpha == NULL )
+               {
+                       int size = mlt_properties_get_int( &this->parent, "scaled_width" ) * mlt_properties_get_int( &this->parent, "scaled_height" );
+                       alpha = mlt_pool_alloc( size );
+                       memset( alpha, 255, size );
+                       mlt_properties_set_data( &this->parent, "alpha", alpha, size, mlt_pool_release, NULL );
+               }
+       }
+       return alpha;
 }
 
 int mlt_frame_get_audio( mlt_frame this, int16_t **buffer, mlt_audio_format *format, int *frequency, int *channels, int *samples )
 {
+       mlt_get_audio get_audio = mlt_frame_pop_audio( this );
        mlt_properties properties = MLT_FRAME_PROPERTIES( this );
        int hide = mlt_properties_get_int( properties, "test_audio" );
 
-       if ( hide == 0 && this->get_audio != NULL )
+       if ( hide == 0 && get_audio != NULL )
        {
                mlt_position position = mlt_frame_get_position( this );
-               this->get_audio( this, buffer, format, frequency, channels, samples );
+               get_audio( this, buffer, format, frequency, channels, samples );
                mlt_frame_set_position( this, position );
        }
        else if ( mlt_properties_get_data( properties, "audio", NULL ) )
@@ -571,75 +643,27 @@ uint8_t *mlt_resize_alpha( uint8_t *input, int owidth, int oheight, int iwidth,
 
        if ( input != NULL && ( iwidth != owidth || iheight != oheight ) && ( owidth > 6 && oheight > 6 ) )
        {
-               iwidth = iwidth - ( iwidth % 2 );
-               owidth = owidth - ( owidth % 2 );
+               uint8_t *in_line = input;
+               uint8_t *out_line;
 
                output = mlt_pool_alloc( owidth * oheight );
+               memset( output, 0, owidth * oheight );
 
-               // Coordinates (0,0 is middle of output)
-               int y;
-
-               // Calculate ranges
-               int out_x_range = owidth / 2;
-               int out_y_range = oheight / 2;
-               int in_x_range = iwidth / 2 < out_x_range ? iwidth / 2 : out_x_range;
-               int in_y_range = iheight / 2 < out_y_range ? iheight / 2 : out_y_range;
-
-               // Output pointers
-               uint8_t *out_line = output;
-               uint8_t *out_ptr = out_line;
-
-               // Calculate a middle and possibly invalid pointer in the input
-               uint8_t *in_middle = input + iwidth * ( iheight / 2 ) + ( iwidth / 2 );
-               int in_line = - in_y_range * iwidth - in_x_range;
-
-               int elements;
-
-               // Fill whole section with black
-               y = out_y_range - ( iheight / 2 );
-               int blank_elements = owidth * y;
-               elements = blank_elements;
-               while ( elements -- )
-                       *out_line ++ = 0;
-
-               int active_width = iwidth;
-               int inactive_width = out_x_range - in_x_range;
-               uint8_t *p = NULL;
-               uint8_t *end = NULL;
+               out_line = output + ( ( oheight - iheight ) / 2 ) * owidth;
+               out_line += 2 * ( int )( ( owidth - iwidth ) / 2 );
 
                // Loop for the entirety of our output height.
                while ( iheight -- )
                {
-                       // Start at the beginning of the line
-                       out_ptr = out_line;
-
-                       // Fill the outer part with black
-                       elements = inactive_width;
-                       while ( elements -- )
-                               *out_ptr ++ = 0;
-
                        // We're in the input range for this row.
-                       p = in_middle + in_line;
-                       end = out_ptr + active_width;
-                       while ( out_ptr != end )
-                               *out_ptr ++ = *p ++;
-
-                       // Fill the outer part with black
-                       elements = inactive_width;
-                       while ( elements -- )
-                               *out_ptr ++ = 0;
-       
+                       memcpy( out_line, input, iwidth );
+
                        // Move to next input line
                        in_line += iwidth;
 
                        // Move to next output line
                        out_line += owidth;
                }
-
-               // Fill whole section with black
-               elements = blank_elements;
-               while ( elements -- )
-                       *out_line ++ = 0;
        }
 
        return output;
@@ -651,11 +675,6 @@ void mlt_resize_yuv422( uint8_t *output, int owidth, int oheight, uint8_t *input
        int istride = iwidth * 2;
        int ostride = owidth * 2;
 
-       iwidth = iwidth - ( iwidth % 2 );
-       owidth = owidth - ( owidth % 2 );
-       //iheight = iheight - ( iheight % 2 );
-       //oheight = oheight - ( oheight % 2 );
-       
        // Optimisation point
        if ( output == NULL || input == NULL || ( owidth <= 6 || oheight <= 6 || iwidth <= 6 || oheight <= 6 ) )
        {
@@ -667,93 +686,33 @@ void mlt_resize_yuv422( uint8_t *output, int owidth, int oheight, uint8_t *input
                return;
        }
 
-       // Coordinates (0,0 is middle of output)
-       int y;
-
-       // Calculate ranges
-       int out_x_range = owidth / 2;
-       int out_y_range = oheight / 2;
-       int in_x_range = iwidth / 2 < out_x_range ? iwidth / 2 : out_x_range;
-       int in_y_range = iheight / 2 < out_y_range ? iheight / 2 : out_y_range;
+       uint8_t *in_line = input;
+       uint8_t *out_line;
 
-       // Output pointers
-       uint8_t *out_line = output;
-       uint8_t *out_ptr = out_line;
+       int size = owidth * oheight;
+       uint8_t *p = output;
 
-       // Calculate a middle and possibly invalid pointer in the input
-       uint8_t *in_middle = input + istride * ( iheight / 2 ) + iwidth;
-       int in_line = - in_y_range * istride - in_x_range * 2;
-
-       int elements;
-
-       // Fill whole section with black
-       y = out_y_range - ( iheight / 2 );
-       int blank_elements = ostride * y / 2;
-       elements = blank_elements;
-       while ( elements -- )
+       while( size -- )
        {
-               *out_line ++ = 16;
-               *out_line ++ = 128;
-       }
-
-       int active_width = 2 * iwidth;
-       int left_inactive_width = out_x_range - in_x_range;
-       int right_inactive_width = left_inactive_width;
-       uint8_t *p = NULL;
-       uint8_t *end = NULL;
-
-       if ( in_line % 4 )
-       {
-               active_width -= 2;
-               in_middle += 2;
-               right_inactive_width += 2;
+               *p ++ = 16;
+               *p ++ = 128;
        }
 
+       out_line = output + ( ( oheight - iheight ) / 2 ) * ostride;
+       out_line += 4 * ( int )( ( owidth - iwidth ) / 4 );
+               
        // Loop for the entirety of our output height.
        while ( iheight -- )
        {
-               // Start at the beginning of the line
-               out_ptr = out_line;
-
-               // Fill the outer part with black
-               elements = left_inactive_width;
-               while ( elements -- )
-               {
-                       *out_ptr ++ = 16;
-                       *out_ptr ++ = 128;
-               }
-
                // We're in the input range for this row.
-               p = in_middle + in_line;
-               end = out_ptr + active_width;
-               while ( out_ptr != end )
-               {
-                       *out_ptr ++ = *p ++;
-                       *out_ptr ++ = *p ++;
-               }
+               memcpy( out_line, in_line, istride );
 
-               // Fill the outer part with black
-               elements = right_inactive_width;
-               while ( elements -- )
-               {
-                       *out_ptr ++ = 16;
-                       *out_ptr ++ = 128;
-               }
+               // Move to next input line
+               in_line += istride;
 
-               // Move to next input line
-               in_line += istride;
-
-               // Move to next output line
-               out_line += ostride;
+               // Move to next output line
+               out_line += ostride;
        }
-
-       // Fill whole section with black
-       elements = blank_elements;
-       while ( elements -- )
-       {
-               *out_line ++ = 16;
-               *out_line ++ = 128;
-       }
 }
 
 /** A resizing function for yuv422 frames - this does not rescale, but simply
@@ -904,8 +863,8 @@ int mlt_frame_mix_audio( mlt_frame this, mlt_frame that, float weight_start, flo
        int i, j;
        double d = 0, s = 0;
 
-       mlt_frame_get_audio( this, &dest, format, &frequency_dest, &channels_dest, &samples_dest );
        mlt_frame_get_audio( that, &src, format, &frequency_src, &channels_src, &samples_src );
+       mlt_frame_get_audio( this, &dest, format, &frequency_dest, &channels_dest, &samples_dest );
 
        int silent = mlt_properties_get_int( MLT_FRAME_PROPERTIES( this ), "silent_audio" );
        mlt_properties_set_int( MLT_FRAME_PROPERTIES( this ), "silent_audio", 0 );
@@ -953,6 +912,7 @@ int mlt_frame_mix_audio( mlt_frame this, mlt_frame that, float weight_start, flo
        return ret;
 }
 
+/* Will this break when mlt_position is converted to double? -Zach */
 int mlt_sample_calculator( float fps, int frequency, int64_t position )
 {
        int samples = 0;
@@ -998,3 +958,32 @@ int mlt_sample_calculator( float fps, int frequency, int64_t position )
 
        return samples;
 }
+
+int64_t mlt_sample_calculator_to_now( float fps, int frequency, int64_t frame )
+{
+       int64_t samples = 0;
+
+       // TODO: Correct rules for NTSC and drop the * 100 hack
+       if ( ( int )( fps * 100 ) == 2997 )
+       {
+               samples = ( ( double )( frame * frequency ) / 30 );
+               switch( frequency )
+               {
+                       case 48000:
+                               samples += 2 * ( frame / 5 );
+                               break;
+                       case 44100:
+                               samples += frame + ( frame / 2 ) - ( frame / 30 ) + ( frame / 300 );
+                               break;
+                       case 32000:
+                               samples += ( 2 * frame ) - ( frame / 4 ) - ( frame / 29 );
+                               break;
+               }
+       }
+       else if ( fps != 0 )
+       {
+               samples = ( ( frame * frequency ) / ( int )fps );
+       }
+
+       return samples;
+}